Discussion :

[caradhras]

Bonjour à tous!

Bon... j'ai un petit problème technique à vous poser... J'ai un programme (VC++) qui insére des strings de longueur 100 (environ) dans un vector<string>.
Il doit ensuite trier ce vector puis le lire pour écrire dans des fichiers ce qu'il contient. C'est un peu résumé mais en gros c'est ça...

Bref, je m'aperçois que potentiellement, mon programme doit pouvoir extraire et stocker dans ce vector 34 000 000 de strings... Pour ensuite les trier et les lire.

Pensez-vous cela possible? J'ai du mal à croire que beaucoup de PC puissent tenir la charge...

[Goten]

Sa devrait prendre dans les 200mo... donc ça passe .

[caradhras]

Cool!

Mais quel calcul tu fais pour trouver ça? Je ne trouve que des tailles aberrantes...

[Arzar]

Bonjour,
Si ça peut aider, std::vector possède une fonction max_size() qui renvoit la longueur maximale théorique d'un vector atteignable par la machine.

Mais bon, dans ton cas, il me semble que c'est rapé :

En supposant qu'une string de longueur 100 fasse environ 100 octets :

34 000 000 * 100 = 3 400 000 000 octets
3 400 000 000 / 1024 = 3320312 ko
3320312 / 1024 = 3242 mo
3242 / 1024 = 3.1 go !

[caradhras]

Ouai voilà! C'est ce que j'avais trouvé aussi... du coup c'est grillé...

En fait pour expliquer un peu le contexte, j'ai environ 10 000 fichiers contenant chacun près de 4 000 lignes. Le tout prend entre 3 et 4 Go sur un DVD. Le but est de stocker ces lignes dans un conteneur, de les trier, puis de les réécrire (après un formatage spécial) des des fichiers séparés (A savoir un fichier pour chaque lignes commençant par les mêmes 10 caractères). Sur un traitement de 60 fichiers en entrée, ça me donne environ 800 fichiers en sortie. Je pense que ce nombre ne devrait pas exéder les 1000 quelque soit le nombre de fichiers en entrée.

Bref, toujours est-il qu'il faut que je stocke et trie 10 000 x 4 000 = 40 000 000 de lignes......

[Mat007]

Salut,

Le but est de stocker ces lignes dans un conteneur, de les trier, puis de les réécrire (après un formatage spécial) des des fichiers séparés (A savoir un fichier pour chaque lignes commençant par les mêmes 10 caractères).

Je ne vois pas bien pourquoi tu as besoin de trier toutes les chaînes d'un coup pour faire ça.
Tu commences par créer les fichiers de destination en ajoutant chaque chaîne dans son fichier, puis tu reprends chaque fichier que tu tries indépendamment des autres.

MAT.

[3DArchi]

En supposant qu'une string de longueur 100 fasse environ 100 octets :

Salut,
Pourquoi la longueur d'une string devrait être proportionnelle à sa taille ? Il peut y avoir un buffer séparé avec une allocation dynamique dédiée non ?

[Dreambeliever]

Salut,

Une string contient trois pointeurs (vers la chaine, vers la fin de la chaine et vers la fin de la zone allouée) et une allocation dynamique qui correspond à la taille de la chaîne.

Une string de 100 caractères pèse donc 103 octets (3 en statique et 100 en dynamique).

[Goten]

Bonjour,
Si ça peut aider, std::vector possède une fonction max_size() qui renvoit la longueur maximale théorique d'un vector atteignable par la machine.

Mais bon, dans ton cas, il me semble que c'est rapé :

En supposant qu'une string de longueur 100 fasse environ 100 octets :

34 000 000 * 100 = 3 400 000 00 octets
3 400 000 000 / 1024 = 3320312 ko
3320312 / 1024 = 3242 mo
3242 / 1024 = 3.1 go !

Omg... je crois que j'ai oublier un zéro dans mon calcul xD.

[Dreambeliever]

100 * 34 000 000 = 3 400 000 000 octets ~ 3 Go.

Ca passe pas...

Déjà si tu as autant de strings tu dois avoir des fichiers énormes!

Les solutions que je vois, c'est d'utiliser des choses comme le tri par fusion avec des fichiers: tout d'abord tu fais plusieurs fichiers avec par exemple dans chacun 1000 strings triées, et ensuite tu appliques le tri par fusion à ces fichiers en créant à chaque fois un fichier de la taille de la somme des deux fichiers desquels il est issu...

Le tri par fusion ne te demande que de lire les fichiers ligne à ligne, sans devoir les stocker intégralement en mémoire, ce qui fait que tu auras une consommation mémoire quasi nulle