Discussion :

[djibril]

J'essaye de trouver un module à tester pour trier un fichier text (2 colonnes numériques) de 2 Go (et 130 millions de ligne).
sous linux en console, un sort -n me le fait en 4 minutes
sous perl, j'ai testé File::Sort, j'ai lancé le script mais ça fait plus d'une heure que ça dure et toujours rien

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
use File::Sort qw(sort_file);
my %option_sort = (
  I => "sort.txt",
  o => "sorted.txt",
  n => 1,               # 
);
sort_file(\%option_sort);

[knarf87]

Cela peut paraître idiot mais pourquoi ne lance-tu pas la commande shell de tri via ton script Perl? Si ca ne te prend que 4 minutes sur un fichier aussi gros, je doute que cela prenne moins de temps avec l'interpréteur perl...
En ce qui concerne ton problème.. c'est étrange. Je n'ai pas encore installer la lib pour la tester mais.. ca devrait marcher
Voili voilou
FX

[djibril]

je sais bien évidemment qu'en lançant une commande system ça fonctionnera .
Je veux juste tester une solution pure perl par curiosité. Et puis on ne sais jamais, on travail pas toujours sous linux, donc question portabilité, c'est mieux.

voilà

[djibril]

personne n'a l'air inspiré par ce module

[knarf87]

personne n'a l'air inspiré par ce module

Perso je m'y suis un peu pencher et je n'arrive pas à comprendre pourquoi cela ne marche pas.
Le problème étant en fait de savoir par quelle méthode le fichier est trié. En effet si il s'agit d'un quick sort, ca ne devrait pas saturer comme ca a l'air de le faire chez toi.
Le mieux que tu puisse faire à mon avis est reprendre le code du sort à la linux et d'essayer d'en faire un a ta sauce en perl étant donné que le module ne semble pas marcher.
Une petite question, est-ce que la fonction de tri fonctionne sur des fichiers moins gros?
Si c'est le cas je pense que c'est l'interpréteur perl qui ne doit pas réussir à gérer des fichier aussi gros (si il fonctionne par recopie on se retrouve avec le même problème que sur ton post )
Sinon, ben c'est tout simplement que le module ne marche pas ou qu'il te manque quelque chose. Mais je doute que cette option soit envisageable compte tenu de la maitrise de perl dont tu fait preuve.
Voili Voulou
FX

[djibril]

Le module fonctionne sur de petits fichiers. C'est uniquement sur ce gros fichier qu'il merdouille.
Ou puis trouver le code source de sort (linux)? car /usr/bin/sort est un binaire.

Merci