Manipulation de grands tableaux

Bonjour,

je suis en train de coder une lecture de fichier bloc par bloc. Pour cela j'utilise un tableau de char dans lequel je stoque les blocs les uns après les autres. Les fichiers que je lis font plusieurs Go, donc je voudrais avoir la plus grande taille de tableau possible. J'ai donc commencé avec des lectures par blocs de 500 Mo. Pour la lecture seule cela fonctionne. Mais dès que je commence à manipuler le tableau une erreur de segmentation apparaît. En réduisant la taille du tableau, je me suis aperçu qu'à partir d'environ 5 Mo, le programme tournait. Donc ma question est comment se fait-ce ? et comment puis-je agrandir la taille de mon tableau sans obtenir d'erreur de segmentation ?

Si tu declares tes tableaux comme variables automatiques, i.e.

Code:

---

1 2	char array[ARRAY_LENGTH];

---

tu es limite par la taille de la pile qui est de quelques dizaines de Mo. Si tu veux avoir des tableaux plus grands, il faut les allouer sur le tas, via malloc:

Code:

---

1 2 3 4 5 6 7

char *array = malloc(ARRAY_LENGTH); if (array != NULL) { ... free(array); }

---

La limite de la taille d'un segment alloue est celle de la quantite de memoire (y compris virtuelle) disponible et adressable sur la machine.
Cela etant, l'allocation de gros tableaux (plusieurs centaines de Mo, voire plusieurs Go) doit etre justifiee. Est-il vraiment necessaire de conserver la totalite d'un gros fichier en memoire? En general, non.

Merci. En l'occurrence je construis un modèle statistique qui implique de gros fichiers et j'ai à disposition une assez bonne machine pour la phase d'apprentissage. Comme ce sont les accès en lecture et écriture qui prennent du temps, je pense qu'utiliser de gros tableaux est justifié. Je compte essayer plusieurs tailles pour comparer experimentalement combien cela accélère le processus et choisir en fonction des résultats.