[XML] [scan folder] Recherche nouveaux fichiers XML+parsing

**Larry8409** · 20/10/2004, 10h31

Bonjour à tous,

Je débute en Perl et j'aurais quelques questions à vous poser.
Je suis en train de faire un script Perl qui me permet de parser un fichier XML, d'en tirer le contenu et de l'ajouter dans une BD MySQL. Jusqu'ici tout va bien.

La chose est telle: il faudrait que le script scanne le répertoire où viennnent se mettre (tous seuls comme des grands) ces fichiers XML et sache lesquels il a déjà traité. De plus il faudrait être sûr que le fichier à parser a bien été copié dans son intégralité (je pense pour cela simplement regarder si la balise racine du ficheir XML a bien été fermée. Possible?).

Quelqu'un peut-il me donner une piste pour une telle "surveillance de répertoire"? Une fonction à utiliser ou peut-être un module?

Merci d'avance et bonne journée!
A+

**Fanch.g** · 20/10/2004, 14h12

J'utilise trois repertoire

in : les fichier qui arrive
old:les fichier traiter
bad: les fichier qui on poser probleme

Je scan regulierement le repertoir in a l'aide
d'opendir http://www.enstimac.fr/Perl/DocFr/pe...l#item_opendir

Et je deplace le fichier dans le bon repertoir (old ou bad)
en fonction du resultat de
mon parsing XMl et/ou de mon integration en db

**Larry8409** · 21/10/2004, 10h51

Bonjour,

Merci pour votre réponse!

Pourriez-vous me montrer votre code?
J'ai quelques problèmes pour copier les fichiers des répertoires...

Merci d'avance!

**Fanch.g** · 21/10/2004, 11h46

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
sub get_indir_file {
    print "\n-NewsFtp2Db : get_indir_file $option{indir} \n";
    opendir(DIR, $option{indir}) or  die "can't opendir  $option{indir}: $!";
    my @dots =  readdir(DIR);
    closedir DIR;
    foreach my $file (@dots) {
	if (substr($file,0,1) ne ".") {
	    eval {	
		_parse_xml_file($option{indir}."/".$file); 
	    };
	    if ($@) { 
		print "\nErreur lors de du parsing \n";
		print  $@."\n";
		print $file."\n";		
		system("mv ".$option{indir}."/".$file." ".$option{baddir}."/".$file);
	    }
	    else {
		system("mv ".$option{indir}."/".$file." ".$option{olddir}."/".$file);
	    }
	}
    }
}

**Larry8409** · 21/10/2004, 12h01

Merci beaucoup!

Ca m'a l'air compliqué mais je vais regarder tout ça!

A+

**Larry8409** · 22/10/2004, 11h25

Bonjour,

Tout d'abord, merci pour vos réponses!

Dans le répertoire où je souhaite prendre des fichiers et les copier dans un autre dossier, on trouve des fichiers de ce type:

328983-20040914-200044.xml.processed

Ils ont tous la même construction, dont la date au millieu qui serait très utile. En effet, je voudrais copier uniquement ceux dont la date est égale à "20040914" (par exemple). Y-a-t-il une fonction me permettant d'analyser les noms de ces fichiers et d'en tirer la date en question?

Merci d'avance! a+

**Fanch.g** · 23/10/2004, 14h10

Normalement tu peut traiter ton nom de fichier comme n'importe quel chaine de caractere en Perl

**Mr6** · 25/10/2004, 08h00

Franch.g t'a donné un bon tuyau avec le site de l'enstimac, pour plus de détails sur tes noms de fichiers à déplacer, fais le tri dès le départ : http://www.enstimac.fr/Perl/DocFr/perlfunc.html#item_readdir

Donc, pour compléter :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
opendir(DIR, $option{indir}) or  die "can't opendir  $option{indir}: $!"; 
    my @dots =  grep {/\d*-20040914-\d*\.xml/ && -f $option{indir}} readdir(DIR); 
closedir DIR;

devrait te permettre de trouver tes fichiers xml avec ta date.

@+
Mr6

**Larry8409** · 25/10/2004, 10h40

C'est tout bon, ça marche, je vous remercie pour vos réponses!

Autre question, pensez-vous qu'il serait possible d'enlever l'extension .processed de ces fichiers pour en arriver à des fichier en .xml? Il s'agit en fait de l'extension, je n'arrive pas à savoir s'il est possible de la traiter...

Merci encore à vous et bonne semaine!

**Mr6** · 25/10/2004, 11h24

bah en stockant ds une nouvelle variable le nom ke tu veux donner à ton fichier, et en faisant ton mv en conséquence... (cf la substition pour renommer le contenu de $file)

@+
Mr6

**Larry8409** · 25/10/2004, 11h32

J'ai fait comme ça, ça a l'air de fonctionner:

$ext1 = ".processed";
$ext2 = ".";

foreach $file(@in_list){
$newfile = $file;
$newfile=~ s/$ext1/$ext2/g;
rename("$in_path/$file","$in_path/$newfile");
}

Avec $ext1 pour ancienne extension et $ext2 pour la nouvelle (en l'occurence, rien).

Le fichier devient donc en .xml

A+ merci!

**Larry8409** · 25/10/2004, 19h14

Bonjour,

Tout d'abord merci pour votre aide, j'ai bien pu avancer dans mon travail.

J'aurais une autre question. Ci-dessous un bout de code qui m'ouvre et me liste deux dossiers:

$in_path = "c:/myscripts/dir/in/";
opendir (IN, $in_path) || die ("Impossible d'ouvrir le répertoire");
@in_list = grep(/\.xml/i, readdir IN);

$old_path = "c:/myscripts/dir/old/";
opendir (OLD, $old_path) || die ("Impossible d'ouvrir le répertoire");
@old_list = grep(/\.xml/i, readdir OLD);

Je voudrais comparer les fichiers par leur nom en pouvant savoir s'il l'un ou l'autre se trouve dans les deux dossier ou non.

J'ai essayé cela:

foreach $in_element(@in_list) {

if ($in_element =~ $old_element) {
print $in_element.": A double\n";
}
else {
print $in_element.": OK\n";
}
}

Mais cela ne marche pas, puisqu'il ne prend pas tous les éléments de @old_list en compte...

Quelqu'un peut-il m'aider?
Je vous remercie d'avance

**Larry8409** · 25/10/2004, 19h16

[quote="Larry8409"]Bonjour,

Tout d'abord merci pour votre aide, j'ai bien pu avancer dans mon travail.

J'aurais une autre question. Ci-dessous un bout de code qui m'ouvre et me liste deux dossiers:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$in_path = "c:/myscripts/dir/in/";
opendir (IN, $in_path) || die ("Impossible d'ouvrir le répertoire");
@in_list = grep(/\.xml/i, readdir IN);
 
$old_path = "c:/myscripts/dir/old/";
opendir (OLD, $old_path) || die ("Impossible d'ouvrir le répertoire");
@old_list = grep(/\.xml/i, readdir OLD);

Je voudrais comparer les fichiers par leur nom en pouvant savoir s'il l'un ou l'autre se trouve dans les deux dossier ou non.

J'ai essayé cela:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
foreach $in_element(@in_list) {
 
  if ($in_element =~ $old_element) {
    print $in_element.": A double\n";
  }
  else {
    print $in_element.": OK\n";
  }
}

Mais cela ne marche pas, puisqu'il ne prend pas tous les éléments de @old_list en compte...

Quelqu'un peut-il m'aider?
Je vous remercie d'avance

**Jedai** · 25/10/2004, 20h29

C'est l'astuce classique en Perl : utiliser un hash ! Il y a 50 variations, mais en voici une relativement compréhensible :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
my %double_list;
@double_list{@old_list} = (1) x (@old_list);
 
foreach $elt (@in_list) {
  if $double_list{$elt}{
    print $elt.": A double\n" ;
  }
  else{ 
    print $elt.": OK\n"  
  }
}