Discussion :

[Bahan_auboulot]

Bonsoir à toutes et à tous.

J'ai un petit soucis.

J'ai un fichier texte très important en taille (90 Mo soit 172 000 lignes).

Je fais un contrôle syntaxique de ce fichier et donc j'analyse chaque ligne de ce fichier :
-> à la fois la ligne en elle-même (pas de symbole de commentaire, un certain nombre de champ nécessaire)
--> et les champs qu'elle contient (numérique, date etc...)

Pour l'instant, pour le contrôle, je parcourais le fichier avec bash et je passais chaque ligne en paramètre d'un script perl qui s'occupait de les analyser.

Cependant, je me rends compte que c'est trèèès lent. Aussi me demandais comment grappiller du temps par-ci par-là, et si j'avais bien fait mon script :

--> Vaut-il mieux lancer un script perl qui va lui-même parcourir un fichier texte et analyser chaque ligne ?
--> Ou plutôt lancer un script bash qui parcourt lui-même et analyse chaque ligne ?
--> Ou plutôt lancer un script bash qui boucle et qui va appeler un script perl qui va analyser la ligne ? (<-- ma méthode)

Merci d 'avance pour votre aide.

Cdt.

Bahan

[GnuVince]

Perl.

[Invité]

--> Vaut-il mieux lancer un script perl qui va lui-même parcourir un fichier texte et analyser chaque ligne ?

Oui je pense que c'est la meilleure solution, tu auras moins d'appels système, et tu n'auras qu'un seul code à maintenir.

Le parcours de fichiers avec Perl est très simple, et une fois l'expression régulière compilée à la première exécution, les appels suivants en sont accélérés.

Dans ta méthode, l'expression régulière (car j'imagine que tu en utilises une) est compilée à chaque appel de ton script perl, soit une fois par ligne ( 172 000 foid donc...). C'est effectivement très long.

Mais bon, tout ça, GnuVince te l'a déjà dit

[Bahan_auboulot]

Merci beaucoup pour vos réponses.

Cdt.

Bahan