[XML] [scan folder] Recherche nouveaux fichiers XML+parsing

Version imprimable

20/10/2004, 10h31
Larry8409

[XML] [scan folder] Recherche nouveaux fichiers XML+parsing

Bonjour à tous,

Je débute en Perl et j'aurais quelques questions à vous poser.
Je suis en train de faire un script Perl qui me permet de parser un fichier XML, d'en tirer le contenu et de l'ajouter dans une BD MySQL. Jusqu'ici tout va bien.

La chose est telle: il faudrait que le script scanne le répertoire où viennnent se mettre (tous seuls comme des grands) ces fichiers XML et sache lesquels il a déjà traité. De plus il faudrait être sûr que le fichier à parser a bien été copié dans son intégralité (je pense pour cela simplement regarder si la balise racine du ficheir XML a bien été fermée. Possible?).

Quelqu'un peut-il me donner une piste pour une telle "surveillance de répertoire"? Une fonction à utiliser ou peut-être un module?

Merci d'avance et bonne journée!
A+
20/10/2004, 14h12
Fanch.g

J'utilise trois repertoire

in : les fichier qui arrive
old:les fichier traiter
bad: les fichier qui on poser probleme

Je scan regulierement le repertoir in a l'aide
d'opendir http://www.enstimac.fr/Perl/DocFr/pe...l#item_opendir

Et je deplace le fichier dans le bon repertoir (old ou bad)
en fonction du resultat de
mon parsing XMl et/ou de mon integration en db
21/10/2004, 10h51
Larry8409

Bonjour,

Merci pour votre réponse!

Pourriez-vous me montrer votre code?
J'ai quelques problèmes pour copier les fichiers des répertoires...

Merci d'avance!

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
sub get_indir_file {
    print "\n-NewsFtp2Db : get_indir_file $option{indir} \n";
    opendir(DIR, $option{indir}) or  die "can't opendir  $option{indir}: $!";
    my @dots =  readdir(DIR);
    closedir DIR;
    foreach my $file (@dots) {
	if (substr($file,0,1) ne ".") {
	    eval {	
		_parse_xml_file($option{indir}."/".$file); 
	    };
	    if ($@) { 
		print "\nErreur lors de du parsing \n";
		print  $@."\n";
		print $file."\n";		
		system("mv ".$option{indir}."/".$file." ".$option{baddir}."/".$file);
	    }
	    else {
		system("mv ".$option{indir}."/".$file." ".$option{olddir}."/".$file);
	    }
	}
    }
}

21/10/2004, 12h01
Larry8409

Merci beaucoup! :D

Ca m'a l'air compliqué mais je vais regarder tout ça!

A+
22/10/2004, 11h25
Larry8409

Bonjour,

Tout d'abord, merci pour vos réponses!

Dans le répertoire où je souhaite prendre des fichiers et les copier dans un autre dossier, on trouve des fichiers de ce type:

328983-20040914-200044.xml.processed

Ils ont tous la même construction, dont la date au millieu qui serait très utile. En effet, je voudrais copier uniquement ceux dont la date est égale à "20040914" (par exemple). Y-a-t-il une fonction me permettant d'analyser les noms de ces fichiers et d'en tirer la date en question?

Merci d'avance! a+
23/10/2004, 14h10
Fanch.g

Normalement tu peut traiter ton nom de fichier comme n'importe quel chaine de caractere en Perl
25/10/2004, 08h00
Mr6
Franch.g t'a donné un bon tuyau avec le site de l'enstimac, pour plus de détails sur tes noms de fichiers à déplacer, fais le tri dès le départ : http://www.enstimac.fr/Perl/DocFr/perlfunc.html#item_readdir

Donc, pour compléter :
Code:

1 2 3 4 opendir(DIR, $option{indir}) or die "can't opendir $option{indir}: $!"; my @dots = grep {/\d*-20040914-\d*\.xml/ && -f $option{indir}} readdir(DIR); closedir DIR;
devrait te permettre de trouver tes fichiers xml avec ta date.

@+
Mr6
25/10/2004, 10h40
Larry8409

C'est tout bon, ça marche, je vous remercie pour vos réponses!

Autre question, pensez-vous qu'il serait possible d'enlever l'extension .processed de ces fichiers pour en arriver à des fichier en .xml? Il s'agit en fait de l'extension, je n'arrive pas à savoir s'il est possible de la traiter...

Merci encore à vous et bonne semaine!
25/10/2004, 11h24
Mr6

bah en stockant ds une nouvelle variable le nom ke tu veux donner à ton fichier, et en faisant ton mv en conséquence... (cf la substition pour renommer le contenu de $file)

@+
Mr6
25/10/2004, 11h32
Larry8409

J'ai fait comme ça, ça a l'air de fonctionner:

Citation:

$ext1 = ".processed";
$ext2 = ".";

foreach $file(@in_list){
$newfile = $file;
$newfile=~ s/$ext1/$ext2/g;
rename("$in_path/$file","$in_path/$newfile");
}

Avec $ext1 pour ancienne extension et $ext2 pour la nouvelle (en l'occurence, rien).

Le fichier devient donc en .xml

A+ merci!
25/10/2004, 19h14
Larry8409

Bonjour,

Tout d'abord merci pour votre aide, j'ai bien pu avancer dans mon travail.

J'aurais une autre question. Ci-dessous un bout de code qui m'ouvre et me liste deux dossiers:

Citation:

$in_path = "c:/myscripts/dir/in/";
opendir (IN, $in_path) || die ("Impossible d'ouvrir le répertoire");
@in_list = grep(/\.xml/i, readdir IN);

$old_path = "c:/myscripts/dir/old/";
opendir (OLD, $old_path) || die ("Impossible d'ouvrir le répertoire");
@old_list = grep(/\.xml/i, readdir OLD);

Je voudrais comparer les fichiers par leur nom en pouvant savoir s'il l'un ou l'autre se trouve dans les deux dossier ou non.

J'ai essayé cela:

Citation:

foreach $in_element(@in_list) {

if ($in_element =~ $old_element) {
print $in_element.": A double\n";
}
else {
print $in_element.": OK\n";
}
}

Mais cela ne marche pas, puisqu'il ne prend pas tous les éléments de @old_list en compte...

Quelqu'un peut-il m'aider?
Je vous remercie d'avance

[quote="Larry8409"]Bonjour,

Tout d'abord merci pour votre aide, j'ai bien pu avancer dans mon travail.

J'aurais une autre question. Ci-dessous un bout de code qui m'ouvre et me liste deux dossiers:
Code:

1 2 3 4 5 6 7 $in_path = "c:/myscripts/dir/in/"; opendir (IN, $in_path) || die ("Impossible d'ouvrir le répertoire"); @in_list = grep(/\.xml/i, readdir IN); $old_path = "c:/myscripts/dir/old/"; opendir (OLD, $old_path) || die ("Impossible d'ouvrir le répertoire"); @old_list = grep(/\.xml/i, readdir OLD);
Je voudrais comparer les fichiers par leur nom en pouvant savoir s'il l'un ou l'autre se trouve dans les deux dossier ou non.

J'ai essayé cela:
Code:

1 2 3 4 5 6 7 8 9 foreach $in_element(@in_list) { if ($in_element =~ $old_element) { print $in_element.": A double\n"; } else { print $in_element.": OK\n"; } }
Mais cela ne marche pas, puisqu'il ne prend pas tous les éléments de @old_list en compte...

Quelqu'un peut-il m'aider?
Je vous remercie d'avance

C'est l'astuce classique en Perl : utiliser un hash ! Il y a 50 variations, mais en voici une relativement compréhensible :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 my %double_list; @double_list{@old_list} = (1) x (@old_list); foreach $elt (@in_list) { if $double_list{$elt}{ print $elt.": A double\n" ; } else{ print $elt.": OK\n" } }
Il y a plus idiomatique mais cette version est plutôt compréhensible et fait exactement la même chose que ce que ton script est censé faire.
:D

--
Jedaï

25/10/2004, 21h33
Larry8409

Ca marche à merveille!
Merci infiniment!
A+