Opération sur (gros) fichier

Bonjour,
Je dois traiter (ajout - modification - tris - supression) des fichiers textes aillant une taille de plusieurs Mo (jusqu'à 50).
La gestion de fichier aussi gros est trop gourmande en ram.
J'ai donc pensé divisé le fichier en plusieurs autre fichier (10 fichiers de 5Mo) mais du coup ça devient très lent ^^ (accès disque plus nombreux, division du fichier, reconstitution du fichier une fois le traitement fini ect).

J'aimerai savoir quel sont les possibilités me permettant d'avoir le meilleur rendu rapidité/ram possible.

Faire du mapping. Ca ira plus vite d'accèder aux données en mémoire vive que sur disque dur.

ca depend sous quelle plateforme tu es..

Sous unixoide, des outils tout faits et rapides existent pour des fichiers "plats" (sort par exemple pour le tri).

De plus, une petite routine de positionnement par recherche dychotomique sera rapide...

Bonjour,

sloshy écrit :

Citation:

---

Bonjour,
Je dois traiter (ajout - modification - tris - supression) des fichiers textes aillant une taille de plusieurs Mo (jusqu'à 50).
La gestion de fichier aussi gros est trop gourmande en ram.
J'ai donc pensé divisé le fichier en plusieurs autre fichier (10 fichiers de 5Mo) mais du coup ça devient très lent ^^ (accès disque plus nombreux, division du fichier, reconstitution du fichier une fois le traitement fini ect).

J'aimerai savoir quel sont les possibilités me permettant d'avoir le meilleur rendu rapidité/ram possible.

---

Ben c'est pas très précis comme information sur vos fichiers textes. Que fait votre application, laissez le code pour y voir mieux...

Salut.

Citation:

---

Envoyé par sloshy

Bonjour,
Je dois traiter (ajout - modification - tris - supression) des fichiers textes aillant une taille de plusieurs Mo (jusqu'à 50).
La gestion de fichier aussi gros est trop gourmande en ram.
J'ai donc pensé divisé le fichier en plusieurs autre fichier (10 fichiers de 5Mo) mais du coup ça devient très lent ^^ (accès disque plus nombreux, division du fichier, reconstitution du fichier une fois le traitement fini ect).

J'aimerai savoir quel sont les possibilités me permettant d'avoir le meilleur rendu rapidité/ram possible.

---

et si tu faisais du multi-threading sur tes 10 fichiers de 5 Mo. Je pense que le traitement de tous tes fichies peut se faire en parallèle => gain de temps...

Citation:

---

Envoyé par salseropom

et si tu faisais du multi-threading sur tes 10 fichiers de 5 Mo. Je pense que le traitement de tous tes fichies peut se faire en parallèle => gain de temps...

---

Sur un seul disque, non... La ressource est unique tout est sérialisé...
Sur 2 disques placés sur des bus différents, oui, le traitement est plus rapide, car le parallélisme est total.

Citation:

---

Envoyé par Emmanuel Delahaye

Sur un seul disque, non... La ressource est unique tout est sérialisé...
Sur 2 disques placés sur des bus différents, oui, le traitement est plus rapide, car le parallélisme est total.

---

ah oui c'est vrai ça : j'avais oublié de pensé que certes il faut plusieurs processeurs mais qu'il faut aussi plusieurs disques sur des bus différents.

Je ne l'oublierai pas.

Merci.

Bonjour,
Je vous remercie à tous pour vos réponses.

Pour répondre, l'application doit être portable.
Je n'ai pas de codes sur les opérations actuellements puisque je ne vais pas comment le concevoir ;)
L'application fera du de l'ajout - modification - tris - supression d'informations dans le fichier. je je vois pas quoi dire de plus ? si vous avez une question précise n'hésitez pas.
L'application est destinée grand publique donc je ne peux pas imposer la contraire de plusieurs disque.

Néanmoins, le gain de temps serait il conciderable dans le cas ou je couperais le fichier en 5 plus petit, de tout mapper en mémoire et de faire gerer chaque fichier par un processus unique plutot qu'un gros fichier par un seul processus?

si vous avez d'autre question ou remarque, elles sont les bienvenues.
PS: je m'excuse des réponses aussi lente, mais le net est devenu une ressource rare de pars chez moi (merci le FAI).

Citation:

---

Envoyé par sloshy

Je dois traiter (ajout - modification - tris - supression) des fichiers textes aillant une taille de plusieurs Mo (jusqu'à 50).

---

Citation:

---

Envoyé par sloshy

L'application est destinée grand publique donc je ne peux pas imposer la contraire de plusieurs disque.

---

euh !!!! 8O

Primo, au depart j'avais lu 50 Go.. 50 Mo, c'est rien et les operations vont vite la dessus...

Ensuite, je suis comme les autres, on est dans le flou en ce qui concerne tes demandes...

"Ce qui se concoit bien s'enonce clairement"...