Taille maximale d'un tableau de char

**ickis69** · 27/03/2012, 08h01

Bonjour.

J'ai un problème avec la taille maximale d'un tableau de char.
Je programme en C avec le compilateur Bloodshed Dev-C++

Contexte:
Je travaille sur un programme de traitement de données.
Je dois lire un fichier entier et le stocker dans un tableau pour le traiter.

J'ai
maximum 300.000 paragraphes,
maximum 200 lignes par paragraphe
maximum 1.000 caractères par ligne
Ce sont des tailles maximales idéales, m'assurant de lire 100% des données.
Edit : en pratique, le fichier ne fait que 800Mo.

J'ai donc imaginé de le stocker dans un tableau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
char [numéro de paragraphe] [numéro de ligne] [nombre de caractère de la ligne]
char [300000][200][1000]

A la compilation -> size of array is too large :-(

Il me serait difficile de re-écrire tout le programme pour travailler " à la vollée" et donc éviter de charger le fichier entier.

Donc je cherche une solution alternative. Comme en moyenne, les paragraphes sont beaucoup plus petits que 200 lignes et 1000 caractères par lignes, j'ai pensé à utiliser une allocation dynamique, mais je ne sais pas comment m'y prendre.

Merci de votre aide.

**gerald3d** · 27/03/2012, 09h13

Honnêtement le traitement à la volée ne doit pas être la mer à boire. La modification de ton code ne doit pas être si importante que ca.

Quel type de traitement effectues-tu sur ces données pour qu'on comprenne un peu mieux tes soucis?

**souviron34** · 27/03/2012, 09h23

Envoyé par ickis69

J'ai un problème avec la taille maximale d'un tableau de char.
Je programme en C avec le compilateur Bloodshed Dev-C++
...
J'ai donc imaginé de le stocker dans un tableau :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
char [numéro de paragraphe] [numéro de ligne] [nombre de caractère de la ligne]
char [300000][200][1000]

A la compilation -> size of array is too large :-(

300 000 * 200 = 60 000 000

* 1000 = 60 000 000 000 = environ 70 Giga octets..

En C ou pas en C tu auras un problème sur la majoirité des machines

**gangsoleil** · 27/03/2012, 10h34

Envoyé par souviron34

environ 70 Giga octets..

En C ou pas en C tu auras un problème sur la majoirité des machines

Oui, et j'ajouterai surtout que tu auras des problemes en allocation statique comme en allocation dynamique.

Tu as un probleme de "passage a l'echelle", c'est a dire que l'algorithme que tu as concu s'applique bien sur un petit volume de donnees, mais pas sur un gros volume.
Il est necessaire de repenser ton algorithme si tu veux pouvoir traiter tes donnees, par exemple en faisant un traitement par lots, en travaillant sur une base de donnees, ...

**diogene** · 27/03/2012, 11h22

Tu dois malgré tout avoir une idée sur le nombre total de caractères que tu dois lire, en regardant la taille du plus gros fichier à traiter.
Si il fait 60Go, il faut revoir ta copie.
Si il a une taille de disons 1Go, tu peux effectivement envisager de passer par de l'allocation dynamique ajustée au contenu du fichier pour stocker l'intégralité du fichier. Dans ce cas, le code de chargement et d'exploitation des données sera à revoir, car la structure de données utilisée ne sera pas un tableau à 3 dimensions.

**ickis69** · 27/03/2012, 11h24

Bonjour et merci de vos réponses.

Effectivement, re-structurer mes algorithmes pour travailler par lot à la volée c'est la solution noble.

Mais je me demandais si il n'y avait pas une autre solution, plus simple et rapide. Comme je viens de le spécifier dans le post d'origine, le fichier ne fait en pratique "que 800 Mo".