Fichiers vers tableau d'entiers en C

Version imprimable

23/03/2017, 14h45
Syarko

Fichiers vers tableau d'entiers en C

Bonjour,

J'ai actuellement un fichier avec plein d'entiers dedans. Chaque entiers sont séparés par des espaces, et je ne connais pas le nombre d'entiers présents dans le fichier.
Je pourrais m'en sortir en placant le contenu du fichier dans un buffer, et faire un strtok() dessus afin de séparer tous les espaces, et ensuite stocker tous les entiers dans un tableau.
Mais ce que je recherche est la manière la plus rapide qu'il soit, car je traite de gros fichiers.
J'ai vu qu'il y avait les mmap, mais je sais pas si cela pourrait résoudre mon problème.

Merci par avance pour votre aide. :D
23/03/2017, 15h03
Matt_Houston

Il n'y a pas trente-six solutions, celle que tu proposes me paraît raisonnable. Tu peux adapter l'implémentation en fonction de la manière dont sont formatées les entrées et de la confiance que tu y accordes (strtok, strchr, strspn, strcspn..).
23/03/2017, 15h07
ternel
mmap ne résoudra pas magiquement ton problème, car ton fichier contient la forme textuelle de tes nombres, pas leur forme binaire.

Tu n'échapperas pas à la conversion const char* vers int, c'est à dire une des ?scanf().
Quant au problème du nombre d'entiers à lire, tu as trois solutions:
1. Avoir au début du fichier cette information. De nombreux formats procèdent ainsi (paquets IP, header HTTP, format 3D "obj", format bmp, etc)
2. Utiliser une structure plus souple qu'un tableau de taille fixe: une liste (ou une liste de petits tableaux, parfois, c'est bien aussi)
3. Lire le fichier une première fois pour les compter, puis une seconde en sachant combien il y en a.
Le premier choix est le plus "agréable", mais n'est pas toujours possible.
Le dernier est le plus mauvais, car très lent quand les fichiers sont longs.

Tes entiers sont ils indépendants, ou groupés par petits paquets ayant une signification?
Dans le second cas, je t'invite très vivement à définir une structure pour matérialiser cette sémantique. Et faire une liste de cette structure
23/03/2017, 15h25
Matt_Houston

Citation:

Envoyé par ternel

Tu n'échapperas pas à la conversion const char* vers int, c'est à dire une des ?scanf().

Ou un membre de la famille de strtol. Ça fait un bon moment que je n'ai pas touché à *scanf en « production » perso. Non que ces fonctions ne fassent pas le job, mais les contraintes inhérentes à leur utilisation limitent leur pertinence dans de nombreux cas.
23/03/2017, 15h43
ternel

Mon C commence à rouiller… J'ai souvenir qu'il y a un gros défaut avec certaines de ces fonctions (une erreur de formattage renvoie 0, qui n'est pas une valeur aberrante)
A méditer, puis retourner lire la FAQ sur les bonnes manières
23/03/2017, 16h12
Matt_Houston
En fait tu peux déterminer s'il y a eu erreur de conversion si les conditions suivantes sont réunies :
- la valeur de retour est zéro ;
- errno != ERANGE ;
- end - s != strlen(s), avec s et end les pointeurs passés en premier et second arguments respectivement.
C'est un peu lourd je te l'accorde mais ça permet une gestion robuste de la conversion.

J'ai édité mon message précédent qui mentionnait les fonctions de conversion vers des nombres à virgule flottante (strtod) et non celles vers des entiers : strtol.
23/03/2017, 16h36
picodev

Citation:

Envoyé par Syarko

Bonjour,

J'ai actuellement un fichier avec plein d'entiers dedans. Chaque entiers sont séparés par des espaces, et je ne connais pas le nombre d'entiers présents dans le fichier.
Je pourrais m'en sortir en placant le contenu du fichier dans un buffer, et faire un strtok() dessus afin de séparer tous les espaces, et ensuite stocker tous les entiers dans un tableau.
Mais ce que je recherche est la manière la plus rapide qu'il soit, car je traite de gros fichiers.

Bonjour,
gros comment ? quel est l'ordre de grandeur du nombre d'entiers à lire ? quel est l'ordre de grandeur des entiers ? Combien de fois sera-tu amené à faire cette opération ?

Ça se sont les questions qui vont t'indiquer quelles techniques employer pour avoir une version fonctionnelle. Ensuite seulement tu pourras peut-être, si le besoin s'en fait réellement ressentir, commencer à penser à l'optimisation. Et pour ce faire tu auras à ta disposition des outils qui t'indiqueront où il est rentable d'essayer d'optimiser.

Citation:

Envoyé par Syarko

J'ai vu qu'il y avait les mmap, mais je sais pas si cela pourrait résoudre mon problème.

Merci par avance pour votre aide. :D

mmap n'est pas portable ; si ce n'est pas un souci pour toi cela pourrait être une option, tout comme implémenter par toi même la lecture d'entier dans un buffer. Tout va dépendre des réponses aux premières questions ainsi qu'à l'utilisation de ton programme.