Discussion :

[nodules]

Salut !

Pour vous faire le topo :

J'ai un capteur qui me crache dans un fichier (qui change tous les jours) des données, une ligne par donnée dont le format est connu "date;val1;val2;val3"
Ces données je dois les écrire (quasiment) en temps réèl dans une base de donnée. A titre d'info, j'ai un capteur1 qui ecrit dans un fichier toute les secondes et un autre capteur2 toutes les 3 minutes dans un autre fichier.

Je pensais faire ça avec PERL.
Pour pas faire d'ouverture/fermeture intampestive de la connexion à la base je pensais ouvrir/fermer la connexion à chaque changement de fichier à savoir tous les jours.

Seulement je me retrouve chaque jour avec un fichier qui est rempli (chaque seconde ou chaque 3 minutes en fonction du capteur considéré) en continu, et moi je ne voudrais lire à chaque fois que les nouvelles entrées ... un peu comme un tail -F sous Linux, pour n'écrire que les nouvelles entrées dans ma base de données !

Et là je pêche parce que je sais pas faire et que je trouve rien là-dessus ...

Des infos ? ou suggestions ?
Et aussi pensez vous que PERL soit le mieux adapté pour cette tâche ?

Merci !

[djibril]

Perl est en effet bien adapté pour . Par contre, pour la lecture de tes fichiers, tu ne devrais plus faire de lecture ligne à ligne, mais par taille d'octets en utilisant sysread. Ainsi, tu pourrais commencer la lecture là où tu veux.

[Philou67430]

Autre solution, tu conserves pour chaque fichier le nombre de ligne déjà lue (cas d'un script démon : tu les conserves en mémoire ; cas d'un script lancé ponctuellement : tu le conserves dans un fichier d'initialisation) et tu lis l'entête sans l'analyser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
open my $F1, "<", "file1.txt" or die "Can't open file $F1: $!\n";
<$F1> foreach 1 .. $old_lines_count1;
while (my $new_line = $F1) {
  ...
}

[djibril]

Bonne idée également. Dans tous les cas, tu devras avoir un étape intermédiaire de stockage d'information.

[Philou67430]

Il existe aussi des solutions, un peu plus ardues, utilisant les pipes et select : dans ce cas, ton script perl pourra lancer les processus d'acquisition lui même, mais pour cela, il faut que ces processus acceptent de retourner leur résultat sur la sortie standard (par une option par exemple).

Cela dit, c'est une solution qui peut s'avérer problématique (notamment si les processus des capteurs ne flushent pas les données émises).

[nodules]

Autre solution, tu conserves pour chaque fichier le nombre de ligne déjà lue (cas d'un script démon : tu les conserves en mémoire ; cas d'un script lancé ponctuellement : tu le conserves dans un fichier d'initialisation) et tu lis l'entête sans l'analyser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
open my $F1, "<", "file1.txt" or die "Can't open file $F1: $!\n";
<$F1> foreach 1 .. $old_lines_count1;
while (my $new_line = $F1) {
  ...
}

Tout aussi interressant que la précedent mais semble t'il plus facile à mettre en oeuvre pour un presque novice comme moi ...

Pour ma compréhension,
- tu ouvre le fichier files.txt que tu balance dans la variable $F1
- LOL et après j'ai du mal à saisir ....
- <$F1> foreach 1 .. $old_lines_count1; je suis pas sur de comprendre ce que ça fait ... lecture ligne par ligne ? et ?
- while (my $new_line = $F1) et ça non plus ...

pourtant je suis pas novice en programmation mais là je suis un peu perdu .... pourtant l'idée de départ me semblait bien claire mais ta façon de l'écrire m'échappe un peu et je suis très interessé d'avoir quelques petites explication pour pallier à mon ignorance ...

Merci,
Aurélien.

[djibril]

Le concept de philou est le suivant. Ton programme est censé remplir ta base de données et lire le fichier qui se rempli au fur et à mesure. Pour ce faire il va faire ceci :
- A la première lecture, le fichier fait 10 lignes par exemple. Donc il lit 10 lignes. et stocke le numéro 10 dans un fichier init_line.txt
- A la deuxième lecture, 15 minutes après par exemple, il lit init_line.txt, récupère 10. puis relis le fichier. Sauf qu'il va parcourir les 10 premières lignes sans rien faire, D'où le code de philou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<$F1> foreach 1 .. $old_lines_count1;

avec $old_lines_count1 égal au 10 récupéré dans le fichier init_line.txt. Puis à partir de la ligne 11 il fait son traitement.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
while (my $new_line = <$F1>) {
 # ...
}

Puis il stocke le numéro de la dernière ligne lue dans le fichier init_line.txt en écrasant le fichier. Et ainsi de suite.

Est ce clair ?

[Philou67430]

Pour ma compréhension,
- tu ouvre le fichier files.txt que tu balance dans la variable $F1

Je ne balance pas le fichier dans $F1, mais son FileHandle

- <$F1> foreach 1 .. $old_lines_count1; je suis pas sur de comprendre ce que ça fait ... lecture ligne par ligne ? et ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<$F1> foreach 1 .. $old_lines_count1;

<$F1> signifie : lire dans $F1 une ligne. Comme je ne fait rien de cette ligne, je ne l'affecte à aucune variable.
foreach 1 .. $old_lines_count1 est une forme syntaxique "modificative" (voir perldoc perlsyn "Statement Modifiers"). Dans le cas de foreach, elle permet d'itérer la commande précédent foreach pour autant d'élément que dans la liste suivant foreach, à savoir ici 1 .. $old_lines_count1
Quand à 1 .. $old_lines_count1, c'est l'opérateur d'étendue .. appliqué aux opérandes 1 et $old_lines_count (c'est à dire la liste des entiers compris entre 1 et $old_lines_count1). Voir perldoc perlop.

- while (my $new_line = $F1) et ça non plus ...

J'ai fait une erreur en écrivant ce code, il fallait y lire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

while (my $new_line = <$F1>) {

Avec les éléments précédent, tu devrais comprendre ce qu'elle signifie.

[nodules]

Merci les gars ... très très clair maintenant.

En fait, c'était pas tant la structure que je comprenanit pas mais plutôt la syntaxe à laquelle en fait je me rend compte que je ne suis pas du tout habitué.

Même si j'avais compris le rôle du foreach, l'opérateur .. m'avais un peu perturbé dans la mesure où je ne le connaissais pas. Bref ...

Et puis j'avais pas capté le fichier intermédiaire et d'où sortait $old_lines_count1


Un grand merci, je vais mettre ça en oeuvre en espérant ne plus vous embêter ce qui sera bon signe !