Discussion :

[fred1599]

Bonjour,

Au stade actuel de mes connaissances, la question qui suit n'a pas trop d'importance. Mais par curiosité, je me demande tout de même si trier les lignes d'un très gros fichier texte en passant par une liste est une méthode acceptable. Les listes peuvent t'elles contenir une grosse quantité de données ?

Comme cela a déjà été expliqué ça dépendra de la RAM, cependant il y a des moyens de limiter le nombre de données dans une liste en lisant par partie dans le fichier.

En gros le plan serait

Diviser les données en morceaux triables en mémoire

1. Lisez une partie du fichier qui tient en mémoire.
2. Triez cette partie en utilisant un algorithme de tri standard.
3. Écrivez la partie triée dans un fichier temporaire.
4. Répétez les étapes 1 à 3 jusqu'à ce que toute la donnée soit traitée.

Fusionner les morceaux triés

1. Ouvrez tous les fichiers temporaires triés (les morceaux).
2. Utilisez un algorithme de fusion pour combiner ces morceaux en un seul ensemble ordonné.
3. Pendant la fusion, écrivez la sortie dans un nouveau fichier.

En utilisant le module heapq et sa méthode merge, ça se fait très efficacement pour le tri final.

Il y a pas mal de solutions avant d'utiliser le marteau pour écraser une mouche, le tout est de tester et vérifier que les temps sont raisonnables tout en considérant que raisonnables est suivi de critères précis pour le définir.

[scalpel]

J'ai réfléchi un bon moment à l'algorithme que tu me présente, ce serait un super exercice pour moi de le transformer en script.

Mais c'est le tri final qui m'intrigue :

fichier=(a,x,f,b,z,y,u,i,s,q,p,m,r,e,c,e,d,f,k,e,o)

Diviser les données en morceaux ...

fichier1=(a,x,f,b,z,y,u)
fichier2=(i,s,q,p,m,r,)
fichier3=(e,c,e,d,f,k,e,o)

... triables en mémoire

fichier1=(a,b,f,u,x,y,z)
fichier2=(i,m,p,q,r,s)
fichier3=(c,d,e,e,f,k,o)

Fusionner les morceaux triés

La méthode merge va être capable de lire en même temps plusieurs fichiers pour extraire les éléments dans le bon ordre ?

a dans le fichier1
b dans le fichier1
c dans le fichier3
d dans le fichier3
e dans le fichier3
e dans le fichier3
f dans le fichier3
i dans le fichier2
...

[Sve@r]

Mais c'est le tri final qui m'intrigue :

Tri fusion: https://fr.wikipedia.org/wiki/Tri_fusion

[papajoker]

La méthode merge va être capable de lire en même temps plusieurs fichiers pour extraire les éléments dans le bon ordre ?

oops, il s'agit de "tri de fusion"

Je ne comprends pas la question car ici c'est le plus facile, il suffit de lire chaque fichier a la suite et d'écrire dans un unique
Et pour l'"ordre", c'était un de tes anciens sujets ici par exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
for i in range(ord("a"), ord("z")):
    c = chr(i)
    #print(i, c)
    with open(f"fichier.{c}.partiel") as fin:   # voir read/write tout le fichier en une passe
        for line in fin:
            # fout.write(line)

ps: cet "ordre" a déjà été écrit dans ton code lorsque tu as découpé le fichier initial (dans cet exemple, 24 découpes), il te suffit de réutiliser le même (une fonction ou statique)

[scalpel]

Merci, il me manquait cette observation.

Le principe de l'algorithme de tri fusion repose sur cette observation : le plus petit élément de la liste à construire est soit le plus petit élément de la première liste, soit le plus petit élément de la deuxième liste.

Je comprends mieux l'intérêt de découper le gros fichier en plusieurs plus petits fichiers triés.

[fred1599]

J'ai réfléchi un bon moment à l'algorithme que tu me présente, ce serait un super exercice pour moi de le transformer en script.

Tu as tous les éléments pour le faire je pense et utiliser de nouveaux modules comme heapq par ex. donne une expérience pratique intéressante...