Discussion :

[Raoul555]

Bonjour,

J'ai deux gros fichiers de 20.000.000 lignes environ.

Dans le premier, j'ai un champs par ligne.
Dans le second, 2 champs.

Je souhaite obtenir les lignes de mon second fichier dont le champs 1 est présent dans mon premier fichier.

Vu le nombre important de lignes, je n'arrive pas à faire un script suffisament performant.

Avez-vous des idée?

Raoul555

[becket]

Un peu plus de précision ne serait pas inutile

Pour commencer, je dirais qu'il semble évident qu'il faille TRIER ! L'ordre d'une recherche dichotomique ( qsort ) est de n log n par rapport à une recherche linéaire d'ordre n, il n'y a pas photo

[BlaireauOne]

Je souhaite obtenir les lignes de mon second fichier dont le champs 1 est présent dans mon premier fichier.

join

http://man.developpez.com/man1/join.1.php


$ cat fic_1
1
2
4

$ cat fic_2
1 fic2_lig1
2 fic2_lig2
3 fic2_lig3
4 fic2_lig4
5 fic2_lig5

$ join fic_1 fic_2
1 fic2_lig1
2 fic2_lig2
4 fic2_lig4

[Raoul555]

Merci BlaireauOne!

C'est exactement ce que je cherchais.

J'ai perdu beaucoup de temps à bricoler des trucs, mais quand on connait les bons outils, c'est quand même vachement plus facile.