Comment ajouter des valeurs dans un fichier CSV avec PERL?

Version imprimable

25/05/2018, 22h59
GandalfLeGris1

1 pièce(s) jointe(s)

Comment ajouter des valeurs dans un fichier CSV avec PERL?

Bonjour à toutes et à tous,

Dans le cadre d'un cours de Statistiques, je dois matcher des mots dans un tableur en CSV et afficher dans une colonne le nombre de mot par ligne afin de pouvoir les exploiter.
par exemple, si je dois matcher le mot "je":

"je dois manger une pomme", 1
"j'ai mangé une pomme et je suis content", 2
"coucou", 0

J'ai donc dévellopé le script suivant:
Pièce jointe 383421

J'arrive bien à matcher les mots qui m'intéressent mais pas à inscrire le résultat dans le fichier. C'est la ligne 19 qui me pose problème.
J'ai bien cherché une solution un peu partout mais je n'ai rien trouvé de concluant.
J'espère avoir été précis dans l'explication de mon problème.

Je vous remercie d'avance pour votre aide.

Bien cordialement,

Gandalf
26/05/2018, 13h24
disedorgue

Bonjour,

Tu dois travailler avec 2 fichiers, l'un en lecture pour lire tes données à traiter et un autre en écriture pour y mettre le résultat que tu veux.

Le $csv->getline, c'est pour lire et le $csv->print pour écrire.

PS: Utilise les balise code (le bouton avec le '#' ) pour mettre ton code au lieu d'une copie d'écran.
26/05/2018, 19h07
Lolo78
J'ajoute que, même à supposer qu'il suffise de modifier le record pour modifier le fichier (ce qui n'est pas le cas), la logique du code est fausse.

Les deux lignes:
Code:

1 2 3 $record->[6] = $count; $count = 0;
devraient se trouver après l'accolade fermante qui les suit actuellement (après l'accolade qui ferme le foreach).

Mais, bon, dans l'immédiat, la priorité est déjà d'écrire dans un fichier différent de celui que tu lis.

Bonsoir à vous deux,

Merci pour votre aide, j'y vois déjà plus clair.
J'ai modifié le script ainsi:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 use strict; use warnings; use Text::CSV; use Text::CSV_XS; my $csv = Text::CSV->new({ binary => 1 }) or die "Error creating CSV object: ".Text::CSV->error_diag (); open my $fh, "<:encoding(utf8)", "CorpusSMS.csv" or die "Error reading CSV file: $!"; my $linea = <$fh>; my $count = 0; my @tab; while ( my $record = $csv->getline( $fh ) ) { my @tab = split (/ /, $record->[5]); foreach my $elem (@tab){ if ($elem =~ /^je$/){ $count++; } } my $csv2 = Text::CSV->new ( { binary => 1 } ) or die "Cannot use CSV: ".Text::CSV->error_diag (); open my $fh2, ">>:encoding(utf8)", "Test.csv" or die "Test.csv: $!"; $csv2->print($fh2, [$count.',']); close $fh2; $count= 0; } $csv->eof or $csv->error_diag(); close $fh;
J'arrive bien à lire dans le premier fichier et à écrire dans le second, ça avance donc!
Il y a cependant encore un détail que je n'ai pas compris, comment fait-on pour ne pas écrire les valeurs dans une même cellule mais bien en une colonne?
J'ai été voir la doc mais je pense être passé à côté de la subtilité.

D'avance merci et bonne soirée!

Gandalf

27/05/2018, 10h50
Lolo78
Bonjour,

je ne suis pas sûr de bien comprendre ta question, mais si veux juste aller à la ligne, il suffit sans doute d'ajouter un caractère nouvelle ligne (\n) à la ligne en sortie:
Code:

1 2 $csv2->print($fh2, [$count . ",\n"]); # NB: il faut des guillemets doubles pour que la chaîne "\n" soit interpolée en nouvelle ligne
J'ajoute que tu ouvres et fermes ton fichier de sortie pour chaque ligne en entrée, ce qui marche certainement mais est très inefficace. Il est bien préférable d'ouvrir le fichier de sortie une seule fois avant d'entrer dans la boucle while et de le fermer une fous pour toutes après être sorti de ladite boucle.

Enfin, si c'est juste pour écrire un compteur par ligne (si j'ai bien compris), il n'est pas nécessaire d'utiliser le module Text::CSV ou Text::CSV_XS pour le fichier de sortie qui n'est apparemment qu'un simple fichier texte et non un CSV.
27/05/2018, 12h02
GandalfLeGris1

2 pièce(s) jointe(s)

Bonjour,

Je pense en effet n'avoir pas été très clair, je vais préciser mon problème ici.
En somme, une fois que j'ouvre le fichier de sortie dans un tableur pour vérifier si je peux l'utiliser à des fins statistiques, je tombe sur ceci:
Pièce jointe 383657

Toutes les valeurs du compteur sont donc comprises dans une seule cellule, ce qui est problématique.
Je souhaiterais en effet pouvoir utiliser la dite colonne de cette façon (DEIC):
Pièce jointe 383659

Et lorsque j'ajoute un \n quand j'écris mon compteur, j'ai le même problème mais dans l'autre sens, c'est-à-dire qu'au lieu de s'enchainer horizontalement, les valeurs se suivent de façon verticale et toujours dans une même cellule. Le problème est donc de pouvoir décider pour chaque valeur du compteur, à chaque fin de boucle, que la valeur doit être isolée dans la cellule en-dessous de la cellule précédente. Et ainsi pour tout le fichier. Cela me permettrait donc d'avoir les valeurs du compteur dans une colonne et de pouvoir mettre en relation cette variable avec d'autres.

J'espère avoir été plus clair.

Encore merci pour vos éclaircissements, j'ai corrigé la fermeture de fichier problématique.

Cordialement,

Gandalf.

En gros, ce que tu veux, c'est quelque chose comme ça (ici, c'est juste un exemple rapide, bien sur) ?
Code:

1 2 3 4 5 6 7 8 $ cat /tmp/text1.txt je suis là je mange, je bois coucou $ perl -ne 'chomp;printf "\"%s\",%i\n" , $_ , (s/je/je/g)' /tmp/text1.txt "je suis là",1 "je mange, je bois",2 "coucou",0

27/05/2018, 17h20
GandalfLeGris1

En somme oui mais appliqué à un corpus en fichier CSV.
Lire en entrée une colonne de textes, compter pour chaque cellule les occurences d'un mot et stocker le nombre d'occurences dans une autre colonne.
Ainsi un logiciel de stats (SPSS) pourra faire le lien entre les deux variables.
Mon problème réside principalement à mettre en forme le résultat du compteur pour que cela concorde avec la colonne de textes.
C'est pour cela que je veux écrire en csv, pour le filer à SPSS pour ensuite faire mes analyses.

Cordialement,

Gandalf.

1 pièce(s) jointe(s)

Après avoir bidouillé, j'arrive enfin à un résultat presque parfait!

Pièce jointe 383721

J'ai une dernière question: d'où viennent les guillements dans le tableur? Ils risquent en effet de poser problème dans mes analyses statistiques.
Voici mon code:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
use strict;
use warnings;
use Text::CSV;
use Text::CSV_XS;
 
 my $csv = Text::CSV->new({ binary => 1 }) or die "Error creating CSV object: ".Text::CSV->error_diag ();
 
 open my $fh, "<:encoding(utf8)", "CorpusSMS.csv" or die "Error reading CSV file: $!";
 my $csv2 = Text::CSV->new ( { binary => 1 } ) or die "Cannot use CSV: ".Text::CSV->error_diag ();                      
 open my $fh2, ">>:encoding(utf8)", "Test.csv" or die "Test.csv: $!";         
 my $linea = <$fh>;
 my $count = 0;
 my @tab;
 my $ponc = ", \n";
 while ( my $record = $csv->getline( $fh ) ) {
 	my @tab = split (/ /, $record->[5]);
 	foreach my $elem (@tab){
 		if ($elem =~ /^je$/){
 			$count++;
 		}
 	}
	$csv2->print($fh2, [$count.$ponc]);                                        
	$count= 0;
 }
 
 $csv->eof or $csv->error_diag();
 close $fh;
 close $fh2;

Un grand merci pour votre aide et vos conseils, ça m'a permis d'y voir plus clair.

Cordialement,

Gandalf

06/06/2018, 20h24
GandalfLeGris1

Bonsoir,

J'ai finalement réussi à enregistrer mes données sans ces " " en sauvegardant les données dans un fichier texte simple. Il semblerait en effet que les modules CSV lisent très bien mais écrivent moins facilement.

Problème résolu!

Bonne soirée,

Gandalf