Discussion :

[shalfat]

Bonjour à tous.

J'écris car j'ai besoin de réaliser un parsing de fichier en utilisant perl.
J'ai déjà écrit un programme qui me permet de parser un seul fichier texte et de chercher les informations qui m’intéressent afin d'écrire les résultats sur un fichier excel comprenant plusieurs feuilles.

Mais à présent, je souhaiterais faire le parsing de tout un dossier contenant les mêmes styles de fichiers que j'ai réussi à parser grâce à mon premier programme.

En faisant des recherches sur le forum j'ai pu lire que j'aurais besoin d'un base de donnée et du module DBi. J'aimerais savoir s'il s'agit de la seule solution car je débute en perl ?

Le résultat que j'aimerai obtenir est un fichier excel comme celui que j'ai créer avec les mêmes informations pour tous les fichiers de mon dossier.

Merci de votre aide.

[Philou67430]

Pour parcourir un dossier, il y a plus simple, et plusieurs solutions (cela dit, il est intéressant de savoir sur quel "système d'exploitation" ton script va tourner).

D'abord, la solution d'utiliser la fonction glob (dans le Core de perl).
Ensuite, la solution d'utiliser les fonctions opendir/readdir (dans le Core de perl).
Et pour aller profondément dans l'arborescence, le module File::Find

[shalfat]

Pour parcourir un dossier, il y a plus simple, et plusieurs solutions (cela dit, il est intéressant de savoir sur quel "système d'exploitation" ton script va tourner).

Mon script tourne sur windows xp actuellement.

D'abord, la solution d'utiliser la fonction glob (dans le Core de perl).
Ensuite, la solution d'utiliser les fonctions opendir/readdir (dans le Core de perl).
Et pour aller profondément dans l'arborescence, le module File::Find

Sinon j'avais vu la fonction glob sur des forums et c'est vrai qu'elle m'avait parut la plus simple d'utilisation. Mais je ne sais pas laquelle est la meilleure pour mon script

C'est pour faire du parsing de tout les fichiers d'un même dossier et affiché le résultat sur excel, classé par différent fichier.

[shalfat]

D'abord, la solution d'utiliser la fonction glob (dans le Core de perl).

Bonjour Philou


J'ai fais ce programme pour tester la fonction glob.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
use strict;
use warnings;
 
 
my @files = glob ("C:\\Log\\test\\*.log");
 
foreach my $file (@files)
	{
 
	my $fichier_txt = "C:\\Documents and Settings\\multiple_hip_log.txt";	# Emplacement du fichier "fichier_txt"
	my $fh_txt;
 
	open (my $FIC, "<", $file) or die "ouverture impossible de $file $! \n";
	open ($fh_txt, '>', $fichier_txt) or die "Impossible d'ouvrir le fichier en ecriture";	# Ouverture du fichier pour l'écriture
 
	my $start_time;	# Initialisation de la variable start_time
 
		while (my $ligne = <$FIC>)
			{
 
			my $end_time;	# Initialisation de la variable end_time
			my($heure, $minute, $seconde, $milliseconde)=$ligne =~ /(\d\d):(\d\d):(\d\d).(\d\d\d)/;	# Initialisation des variables de l'heure
 
				if ($ligne =~ /Starting 3D/)	# Si "Starting sterEOS 3D" est écrit dans une ligne
				{
				print $fh_txt "Le logiciel s'est correctement ouvert\nLOG : $ligne\n\n";	# Ecrire dans le fichier Fonctionnement_SterEOS.txt
				print "Le logiciel s'est correctement ouvert\nLOG : $ligne \n\n";	# Ecrire dans la console
				my($heure, $minute, $seconde, $milliseconde)=$ligne =~ /(\d\d):(\d\d):(\d\d).(\d\d\d)/;
				$start_time = (((($heure * 60)+ $minute) *60 + ($seconde+($milliseconde/1000)))/60); # Calculer la valeur de start_time
				}
 
				elsif ($ligne =~ /Closing application/)	# Si "Closing application" est écrit dans une ligne
				{
				print $fh_txt "Le logiciel s'est correctement fermé\nLOG : $ligne\n\n";	# Ecrire dans le fichier Fonctionnement_SterEOS.txt
				print "Le logiciel s'est correctement ferme\nLOG : $ligne \n\n";	# Ecrire dans la console
				my($heure, $minute, $seconde, $milliseconde)=$ligne =~ /(\d\d):(\d\d):(\d\d).(\d\d\d)/;
				$end_time = (((($heure * 60)+ $minute) *60 + ($seconde+($milliseconde/1000)))/60);	# Calculer la valeur de end_time
				}
 
				if (defined $end_time && $start_time)	# Si end_time existe 
				{
				my $temps = ($end_time) - ($start_time) if defined $end_time; # Calculer la valeur de temps
				$temps = sprintf("%0.2f", $temps);	# Arrondir la valeur de temps avec 2 chiffres après la virgule
				my $temps_heures = $temps/60;	# Calculer la valeur de temps_heures
				$temps_heures = sprintf("%0.2f", $temps_heures);	# Arrondir la valeur de temps_heures avec 2 chiffres après la virgule 
				print $fh_txt "Temps d'utilisation du logiciel : $temps minutes = $temps_heures heures\n\n\n";	# Ecrire dans le fichier Fonctionnement_SterEOS.txt
				print "Temps d'utilisation du logiciel : $temps minutes = $temps_heures heures\n\n\n";	# Ecrire dans la console
				}	
 
			}
 
	close($FIC);
	close $fh_txt;	# Fermeture du fichier fh_txt
	}
 
 
 
<>;	# Pause

Le programme n'a pas d'erreur et affiche en console 1 message comme celui - ci par fichier
qu'il y a dans mon dossier C:\\Log\\test.
ex :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Le logiciel s'est correctement ouvert
LOG : 06/10/2014 | 10:09:09.062 | Starting 3D 
 
 
Le logiciel s'est correctement fermé
LOG : 06/10/2014 | 12:39:50.796 | Closing application
 
 
Temps d'utilisation du logiciel : 30.69 minutes = 0.51 heures
		.
		.
		.
		.
Le logiciel s'est correctement ouvert
LOG : 06/19/2014 | 10:39:26.062 | Starting 3D 
 
 
Le logiciel s'est correctement fermé
LOG : 06/19/2014 | 12:07:03.796 | Closing application
 
 
Temps d'utilisation du logiciel : 87.63 minutes = 1.46 heures

Mais c'est bizarre car lorsque j'ouvre le fichier multiple_hip_log.txt censé contenir le même affichage
que la console, il ne m'affiche que le dernier message comme ceci.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
Le logiciel s'est correctement ouvert
LOG : 06/19/2014 | 10:39:26.062 | Starting 3D 
 
 
Le logiciel s'est correctement fermé
LOG : 06/19/2014 | 12:07:03.796 | Closing application
 
 
Temps d'utilisation du logiciel : 87.63 minutes = 1.46 heures

Vois tu ou est le problème ?

Merci.

[Philou67430]

Tu ouvres (avec l'option ">" : donc en écrasant un fichier éventuellement déjà présent) le fichier $fichier_txt pour chaque élément dans la liste de fichier retournée par glob.
Ainsi, tu ne stockes que les informations du dernier fichier.

Soit :
- tu ouvres ce fichier (et tu le fermes) en dehors de la boucle
- tu ouvres le fichier avec l'option ">>" (sauf la première fois).

De loin, il est préférable d'utiliser la première solution.

[shalfat]

Tu ouvres (avec l'option ">" : donc en écrasant un fichier éventuellement déjà présent) le fichier $fichier_txt pour chaque élément dans la liste de fichier retournée par glob.
Ainsi, tu ne stockes que les informations du dernier fichier.

Soit :
- tu ouvres ce fichier (et tu le fermes) en dehors de la boucle
- tu ouvres le fichier avec l'option ">>" (sauf la première fois).

De loin, il est préférable d'utiliser la première solution.

Ok merci sa marche nickel. Et est ce que tu aurais une solution qui me permetrait d'écrire le nom de chaque fichier avant l'affichage de chaque résultat comme ceux-ci (il y en a un par fichier)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
Le logiciel s'est correctement ouvert
LOG : 06/10/2014 | 10:09:09.562 | Starting 3D 
 
 
Le logiciel  s'est correctement fermé
LOG : 06/10/2014 | 10:39:50.859 | Closing application
 
 
Temps d'utilisation du logiciel : 30.69 minutes = 0.51 heures

merci philou

[Philou67430]

Tu n'as qu'à écrire, après cette ligne :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open (my $FIC, "<", $file) or die "ouverture impossible de $file $! \n";

celle-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

print "Ouverture du fichier $file\n";

Ou alors j'ai pas bien compris

[shalfat]

Bonjour,

J'ai réaliser un programme qui fait du parsing de plusieurs fichiers texte contenu dans un dossier et qui renvoit le résultat que j'ai programmé sur un fichier excel.

A présent j'aimerais pouvoir faire le parsing d'un répertoire contenant des dossiers avec chacun d'entre eux des fichiers texte. Le problème est que je n'arrive pas à sélectionner tout les fichiers des dossiers de mon répertoire.

Sur mon premier programme, j'utilisais la fonction glob

Par exemple, avec ce code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
use strict;
use warnings;
use File::Find;
 
my @files = glob ("C:\\Log\\Trace*.log");	# Emplacement et nom des fichiers contenus dans @files
 
my $nb_fichier;
 
sub recherche 
	{
	if (-f){++$nb_fichier if $File::Find::name =~ /Trace/;}
	}
 
find(\&recherche,"C:\\Log");
 
print "Il y a $nb_fichier\n"

J'obtient uniquement le nombre de fichier contenu directement dans C:\\Log alors que j'aimerais aussi que le programme compte mes fichiers qui sont des des sous dossiers (répertoire C:\\Log\\Clinique par exemple)

J'ai aussi utilisé ce code pour tester

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
use strict;
use warnings;
 
my %h;
my $rep = "C:/Log/";
opendir(REP,$rep) or die "E/S : $!\n";
 
while(defined(my $fic=readdir REP)){
  my $f="${rep}/$fic";
  if($fic=~/.*\.log/){
    open FIC, "$f" or warn "$f E/S: $!\n";
    while(<FIC>){}
    $h{$f}=$.;
    close FIC;
  }
}
printf "%-35s - $h{$_} ligne(s)\n",$_ for sort keys %h;
 
 
<>;

Mais je n'obtient également que les fichiers contenus dans le répertoire C:\Log et pas ceux dans les sous dossiers.

Avez - vous la solution pour régler mon problème ? Merci d'avance pour votre temps

[djibril]

Bonjour,

Cherche dans la FAQ. Tu as un programme pour lister les fichiers d'un répertoire de façon récursive.

[shalfat]

Bonjour,

Cherche dans la FAQ. Tu as un programme pour lister les fichiers d'un répertoire de façon récursive.

J'avais lu sa FAQ pour lister les fichiers d'un répertoire de façon récursive, mais mon but n'est pas de lister les fichiers mais de pouvoir effectuer beaucoup d'opération sur chaque fichier contenu dans un répertoire (et contenu ou non dans des dossiers de ce répertoire) grâce à la boucle :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while (my $ligne = <$FIC>)

Je voulais donc savoir si avec la fonction glob c'était possible car elle me parait plus simple que cela

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
#!/usr/bin/perl 
use warnings; 
use strict; 
 
my $repertoire = 'C:/tmp'; 
foreach my $fichier ( lister_fichiers( $repertoire, 1 ) ) { 
  print "Fichier : $fichier\n"; 
} 
 
#====================================================== 
# Nombre d'arguments : 1 ou 2 
# Argument(s)        : un répertoire et valeur 0 ou 1 
# Retourne           : Tableau de fichier (@fichiers) 
#====================================================== 
sub lister_fichiers { 
  my ( $repertoire, $recursivite ) = @_; 
 
  require Cwd; 
  require File::Spec; 
 
  my $cwd = Cwd::getcwd(); 
 
  # Recherche dans les sous-répertoires ou non 
  if ( ( not defined $recursivite ) || ( $recursivite != 1 ) ) { $recursivite = 0; } 
 
  # Verification répertoire 
  if ( not defined $repertoire ) { die "Aucun repertoire de specifie\n"; } 
 
  # Ouverture d'un répertoire 
  opendir my $fh_rep, $repertoire or die "impossible d'ouvrir le répertoire $repertoire\n"; 
 
  # Liste fichiers et répertoire sauf (. et ..) 
  my @fic_rep = grep { !/^\.\.?$/ } readdir $fh_rep; 
 
  # Fermeture du répertoire 
  closedir $fh_rep or die "Impossible de fermer le répertoire $repertoire\n"; 
 
  chdir $repertoire; 
  $repertoire = Cwd::getcwd(); 
 
  # On récupère tous les fichiers 
  my @fichiers; 
  foreach my $nom (@fic_rep) { 
    my $notre_fichier = File::Spec->catfile( $repertoire, $nom ); 
 
    if ( -f $notre_fichier ) { 
      push @fichiers, $notre_fichier; 
    } 
    elsif ( -d $notre_fichier and $recursivite == 1 ) { 
      push @fichiers, lister_fichiers($notre_fichier, $recursivite);    # recursivité 
    } 
  } 
 
  chdir $cwd; 
 
  return @fichiers; 
}

Mais si c'est la seul solution pour traiter des fichiers contenu dans des sous dossiers d'un répertoire, je ferais avec

Merci.

[shalfat]

De plus, lorsque je compile le code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
#!/usr/bin/perl 
use warnings; 
use strict; 
 
my $repertoire = 'C:\Log'; 
foreach my $fichier ( lister_fichiers( $repertoire, 1 ) ) { 
  print "Fichier : $fichier\n"; 
} 
 
 
sub lister_fichiers { 
  my ( $repertoire, $recursivite ) = @_; 
 
  require Cwd; 
  require File::Spec; 
 
  my $cwd = Cwd::getcwd(); 
 
  # Recherche dans les sous-répertoires ou non 
  if ( ( not defined $recursivite ) || ( $recursivite != 1 ) ) { $recursivite = 0; } 
 
  # Verification répertoire 
  if ( not defined $repertoire ) { die "Aucun repertoire de specifie\n"; } 
 
  # Ouverture d'un répertoire 
  opendir my $fh_rep, $repertoire or die "impossible d'ouvrir le répertoire $repertoire\n"; 
 
  # Liste fichiers et répertoire sauf (. et ..) 
  my @fic_rep = grep { /Trace/} readdir $fh_rep; 
 
  # Fermeture du répertoire 
  closedir $fh_rep or die "Impossible de fermer le répertoire $repertoire\n"; 
 
  chdir $repertoire; 
  $repertoire = Cwd::getcwd(); 
 
  # On récupère tous les fichiers 
  my @fichiers; 
  foreach my $nom (@fic_rep) { 
    my $notre_fichier = File::Spec->catfile( $repertoire, $nom ); 
 
    if ( -f $notre_fichier ) { 
      push @fichiers, $notre_fichier; 
    } 
    elsif ( -d $notre_fichier and $recursivite == 1 ) { 
      push @fichiers, lister_fichiers($notre_fichier, $recursivite);    # recursivité 
    } 
  } 
 
  chdir $cwd; 
 
  return @fichiers; 
}
<>;

J'obtient uniquement les fichiers du type Trace... contenue dans le répertoire C:\Log alors que j'ai des fichiers de type Trace... contenu dans le répertoire C:\Log\Clinique

Je ne comprend pas pourquoi

[Lolo78]

La variable @fichiers est locale à ta procédure. Quand tu appelles la procédure récursivement, c'est un autre exemplaire de cette variable qui est utilisée et, quand tu sors de l'appel récursif, son contenu est perdu.