[bash] utilisation de CAT/AWK pour parser un fichier CSV

Bonjour,

J'aimerai parser un fichier CSV qui contient 3 colonnes.

J'ai essayé avec awk et une boucle for, mais cela ne fonctionne pas. J'aimerai aussi récupérer la valeur d'une colonne/ligne dans des variables $NOM, $PRENOM, $ PASSWORD pour effectuer un traitement par la suite.
Je pense que tout le traitement doit se faire dans une boucle final pour effectuer le traitement de toutes mes lignes/colonnes de mon fichier CSV

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#!/bin/bash # file_read   for i in `cat /home/afourquemin/file.csv` do echo $i   $USER=`echo $i | awk '{ print $1 }'` echo $USER   done   #cat /home/afourquemin/file.csv | awk '{ print $2 }' #cat /home/afourquemin/file.csv | awk '{ print $3 }'

---

Merci d'avance

La boucle me semble inutile puisque awk travaille ligne par ligne. Mais sans exemple, c'est difficile de se prononcer.

Donne-nous un exemple typique en expliquant bien ce que tu veux capturer.

ok désolé ;)

fichier CSV :

Arnaud;stan;gtfED45
Toto;robert;4554d
Mickeal;dupont;554fd

ensuite j'aimerai pouvoir lire ce fichier ligne par ligne, en récupérant :

$PRENOM="arnaud"
$NOM="stan"
$PASSWORD="gtfED45"

pour ensuite traiter ces variables... jusqu'a la fin du fichier

Ça doit correspondre à ce que tu veux ;)

Code:

---

1 2 3 4 5 6 7 8 9 10 11

for enreg in `cat /home/afourquemin/file.csv` do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

J'avais fais quelque chose de similaire, mais avec ton script, comme le mien, il y a une erreur :

line 5:syntax error near unexpected token 'do
line 5:'do

Je ne comprend pas pourquoi ca ne fonctionne pas ! J'ai un bouquin sous les yeux et ils écrivent le for de la même manière !!!

Citation:

---

Envoyé par arnaudperfect

J'avais fais quelque chose de similaire, mais avec ton script, comme le mien, il y a une erreur :

line 5:syntax error near unexpected token 'do
line 5:'do

---

Si tu pouvais mettre en ligne la partie de ton script posant problème, ce serait plus facile pour t'aider :?

bah j'ai repris ton script en faite...

Si tu veux juste récupérer une colonne, cut marche très bien aussi.

Code:

---

cut -d';' -f2

---

Si le but est de lire le fichier ligne par ligne, utiliser while read sera plus rapide et plus propre.

Le script de BlaireauOne marche bien chez moi (sous sh, bash et zsh). Je ne vois pas d'où peut venir le problème. Tu utilises bien Bash ?

Eventuellement, essaie ça :

Code:

---

1 2 3 4 5 6 7

while read enreg; do echo $enreg USER=`echo $enreg | cut -d';' -f1` NOM=`echo $enreg | cut -d';' -f2` PASSWORD=`echo $enreg | cut -d';' -f3` echo "$USER - $NOM - $PASSWORD" done < /home/afourquemin/file.csv

---

Citation:

---

Envoyé par arnaudperfect

bah j'ai repris ton script en faite...

---

Un PB de copier/coller car chez moi, ça marche :mouarf:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

cat > liste.txt <<EOD Arnaud;stan;gtfED45 Toto;robert;4554d Mickeal;dupont;554fd EOD   for enreg in `cat liste.txt` do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

Résultat :

Code:

---

1 2 3 4 5 6 7

Arnaud;stan;gtfED45 Arnaud - stan - gtfED45 Toto;robert;4554d Toto - robert - 4554d Mickeal;dupont;554fd Mickeal - dupont - 554fd

---

bah merde c'est bizarre !

oui j'utilise bash sous fedora !

je vais recopier le script !

j'avais le même problème au boulot sur une fedora aussi !!

oué rien à faire, sur fedora aucun des scripts proposés ici ne marche... :cry:

Je ne comprend pas...

bon, j'ai fais des petits exo sur le for,do,done pour me familliariser avec la syntaxe :

exemple :

Code:

---

1 2 3 4 5 6

ensemble="element1 element2 element3" ... ... for var in $ensemble ; do echo $var done

---

Sur notre script

Code:

---

1 2 3 4 5 6 7 8 9 10 11

for enreg in `cat /home/afourquemin/file.csv` do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

je pense que le problème vient de `cat /home/afourquemin/file.csv`...

j'ai testé de faire :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

FICHIER=`cat /home/afourquemin/file.csv`   for enreg in $FICHIER do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

mais tjr le même problème !

pourtant j'ai tester le cat et il semble bien fonctionné...

Très étrange.

Que donne "bash --version" ?
Ni la version avec le for, ni celle avec le while ne fonctionnent ? Testes-tu en mode interactif ou par un script exécutable (essaie avec les deux) ?
Essaie de simplifier les exemples donnés pour trouver d'où vient l'erreur.

Code:

---

1 2 3 4

for i in 1 2 3 4; do echo $i done

---

Est-ce que ce code fonctionne chez toi ?

EDIT: je viens de voir ta réponse entre temps. Si le problème vient du cat, est-ce que ça marche avec le while read ?

tien une question,

si je fais :

Code:

---

1 2 3 4 5 6 7 8 9

#!/bin/bash # file_read FICHIER=`cat /home/afourquemin/file.cvs` echo $FICHIER   Reponse : ./file_read: line 3: Jean;lapin;gjjfjdeje : command not found   fin

---

c'est normale le "command not found" ? et le blanc entre l'erreur et "fin"...

Visiblement, on n'a vraiment pas la même version de Bash...

Essaie :

Code:

---

FICHIER=$(cat /home/afourquemin/file.cvs)

---

Comment appelles-tu ton script ? Pourquoi "fin" s'affiche ? La ligne vide, c'est parce que ton $FICHIER est vide (à cause de l'erreur). Essaie de donner des copier-coller exacts de ce que tu fais.

Code:

---

1 2 3

for i in 1 2 3 4; do echo $i done

---

oui ca fonctionne !

bash --version :

GNU bash, version 3.1.17(1) - release (1686-redhat-linux-gnu)
Copyright (c) 2005 Free Software Foundation, Inc.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

#!/bin/bash # file_read while read enreg; do echo $enreg USER=`echo $enreg | cut -d';' -f1` NOM=`echo $enreg | cut -d';' -f2` PASSWORD=`echo $enreg | cut -d';' -f3` echo "$USER - $NOM - $PASSWORD" done < /home/root/scripts/file.csv       [root@localhost scripts]# ./file_read ./file_read: line 9: syntax error near unexpected token `done' ./file_read: line 9: `done < /home/root/scripts/file.csv'

---

:evilred:

Citation:

---

Envoyé par LLB

Code:

---

FICHIER=$(cat /home/afourquemin/file.cvs)

---

---

ca marche cette syntaxe !!! je vais testé avec le reste du script >

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

#!/bin/bash # file_read FICHIER=$(cat /home/root/scripts/file.csv) echo $FICHIER   for enreg in $FICHIER ; do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done       [root@localhost scripts]# ./file_read Jean;lapin;ghsdfjkdf antoine;petit;54sfsdf Jean-François;Saint-James;55454df Mikeal;dubois;; emmanuel;grout;dfklpsdf arnaud;fourquemin;; '/file_read: line 6: syntax error near unexpected token `do '/file_read: line 6: `for enreg in $FICHIER ; do

---

le soucie va rester que j'espère que cette syntaxe soit portable... :?

Citation:

---

Envoyé par arnaudperfect

le soucie va rester que j'espère que cette syntaxe soit portable... :?

---

Je suppose que ce code va marcher aussi :

Code:

---

FICHIER="`cat /home/afourquemin/file.cvs`"

---

Personnellement, je préfère $( ).

Ton fichier d'entrée, c'est bien celui que tu avais donné avant ?

En protégeant bien les variables, ça donne :

Code:

---

1 2 3 4 5 6 7

while read enreg; do echo $enreg USER=$(echo "$enreg" | cut -d';' -f1) NOM=$(echo "$enreg" | cut -d';' -f2) PASSWORD=$(echo "$enreg" | cut -d';' -f3) echo "$USER - $NOM - $PASSWORD" done < /home/root/scripts/file.csv

---

je pense que les ; sont interprétés avec le for...

je vais tester tes lignes de codes