Discussion :

[TonyJ]

Bonjour !
Alors, je vous explique mon problème :
Pour trier un fichier, ce que je faisait avant etait simple, je recupere les entiers de mon fichier dans une arraylist et je trie simplement avec sort


Mais mon problèeme, c'est que les fichiers que je devrai lire peuvent etre tres tres volumineux , et ne tiennent plus en mémoire lorsqu'on les stocke dans des arraylist

D'ou ma question : que préconisez vous pour remédier à ce problème ?
J'ai aussi pensé à couper le fichier en plusieurs petits morceaux, les trier et les fusionner, mais le problème est justement la fusion

Merci d'avance pour votre réponse

[in]

je ne sais pas trop, mais je pense que java n'est pas le maitre dans ce domaine.

Peut etre que tes perf et la memoire se porteraient mieux en utilisant un script perl par exemple ...

Sinon pour le faire en java, à part comme tu dis, découper, trier, fusionner je vois pas trop. Par contre, même si tu fonctionne par fusion successive, à un moment ou à un autre (la dernière fusion) tu va avoir besoin en mémoire de toutes les valeurs ... ce qui revient à ton problème de départ ...

[TonyJ]

Par contre, même si tu fonctionne par fusion successive, à un moment ou à un autre (la dernière fusion) tu va avoir besoin en mémoire de toutes les valeurs ... ce qui revient à ton problème de départ ...

Oui le problème est justement là
et pour l'instant, je n'ai pas eu d'idée vraiment géniale pour y remédier

[yann2]

Bonsoir,

Il y aurait eu plus de réponses sur le forum algo

Tu dois utiliser un tri externe. Renseigne toi sur le tri par fusion naturelle.

bon courage.

[adiGuba]

Salut,

Par curiosité : quel est la taille de ces fichiers ? Et comment tu les lis ?

a++

[Razgriz]

ce que tu peux faire sinon c'est utiliser ton fichier à trier en lecture et considérer chacunes de ses lignes commes leséléments d'un tableau.

Aces la classe RandomAccesFile tu peux accéder à n'importe quelle ligne sans trop de souci, ce que tu peux donc faire est considérer un tri qui trie soit par le début, soit par la fin (car l'écritures dans les fichiers n'est pas dynamique i.e. tu peux pas écrire à la ligne 2 sans effacer tout le contenu) et à chaque fois que tu possède un élément que tu sais trié tu l'écris dans le deuxièe fichier. Je pense par exemple au tri par tas,de complexité n log n et qui trie par la fin. Ce qui va passer en mémoire sera donc la seule ligne du fichier considérée, ça devrait aller.
Un inconvéniant majeur néanmoins : parcourir tout le tems le fichier source, et écrire à chaque fois dans le fichier cible le nouvel élément va considérablement ralentir le programme à cause de la faible vitesse des IO.

Bon à mon avis ça devrait marcher ce que je te dis là, mais j'en suis pas vraiment sur, tape pas si ça foire lol