[bash] utilisation de CAT/AWK pour parser un fichier CSV

Bonjour,

J'aimerai parser un fichier CSV qui contient 3 colonnes.

J'ai essayé avec awk et une boucle for, mais cela ne fonctionne pas. J'aimerai aussi récupérer la valeur d'une colonne/ligne dans des variables $NOM, $PRENOM, $ PASSWORD pour effectuer un traitement par la suite.
Je pense que tout le traitement doit se faire dans une boucle final pour effectuer le traitement de toutes mes lignes/colonnes de mon fichier CSV

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

#!/bin/bash # file_read   for i in `cat /home/afourquemin/file.csv` do echo $i   $USER=`echo $i | awk '{ print $1 }'` echo $USER   done   #cat /home/afourquemin/file.csv | awk '{ print $2 }' #cat /home/afourquemin/file.csv | awk '{ print $3 }'

---

Merci d'avance

La boucle me semble inutile puisque awk travaille ligne par ligne. Mais sans exemple, c'est difficile de se prononcer.

Donne-nous un exemple typique en expliquant bien ce que tu veux capturer.

ok désolé ;)

fichier CSV :

Arnaud;stan;gtfED45
Toto;robert;4554d
Mickeal;dupont;554fd

ensuite j'aimerai pouvoir lire ce fichier ligne par ligne, en récupérant :

$PRENOM="arnaud"
$NOM="stan"
$PASSWORD="gtfED45"

pour ensuite traiter ces variables... jusqu'a la fin du fichier

Ça doit correspondre à ce que tu veux ;)

Code:

---

1 2 3 4 5 6 7 8 9 10 11

for enreg in `cat /home/afourquemin/file.csv` do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

J'avais fais quelque chose de similaire, mais avec ton script, comme le mien, il y a une erreur :

line 5:syntax error near unexpected token 'do
line 5:'do

Je ne comprend pas pourquoi ca ne fonctionne pas ! J'ai un bouquin sous les yeux et ils écrivent le for de la même manière !!!

Citation:

---

Envoyé par arnaudperfect

J'avais fais quelque chose de similaire, mais avec ton script, comme le mien, il y a une erreur :

line 5:syntax error near unexpected token 'do
line 5:'do

---

Si tu pouvais mettre en ligne la partie de ton script posant problème, ce serait plus facile pour t'aider :?

bah j'ai repris ton script en faite...

Si tu veux juste récupérer une colonne, cut marche très bien aussi.

Code:

---

cut -d';' -f2

---

Si le but est de lire le fichier ligne par ligne, utiliser while read sera plus rapide et plus propre.

Le script de BlaireauOne marche bien chez moi (sous sh, bash et zsh). Je ne vois pas d'où peut venir le problème. Tu utilises bien Bash ?

Eventuellement, essaie ça :

Code:

---

1 2 3 4 5 6 7

while read enreg; do echo $enreg USER=`echo $enreg | cut -d';' -f1` NOM=`echo $enreg | cut -d';' -f2` PASSWORD=`echo $enreg | cut -d';' -f3` echo "$USER - $NOM - $PASSWORD" done < /home/afourquemin/file.csv

---

Citation:

---

Envoyé par arnaudperfect

bah j'ai repris ton script en faite...

---

Un PB de copier/coller car chez moi, ça marche :mouarf:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

cat > liste.txt <<EOD Arnaud;stan;gtfED45 Toto;robert;4554d Mickeal;dupont;554fd EOD   for enreg in `cat liste.txt` do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

Résultat :

Code:

---

1 2 3 4 5 6 7

Arnaud;stan;gtfED45 Arnaud - stan - gtfED45 Toto;robert;4554d Toto - robert - 4554d Mickeal;dupont;554fd Mickeal - dupont - 554fd

---

bah merde c'est bizarre !

oui j'utilise bash sous fedora !

je vais recopier le script !

j'avais le même problème au boulot sur une fedora aussi !!

oué rien à faire, sur fedora aucun des scripts proposés ici ne marche... :cry:

Je ne comprend pas...

bon, j'ai fais des petits exo sur le for,do,done pour me familliariser avec la syntaxe :

exemple :

Code:

---

1 2 3 4 5 6

ensemble="element1 element2 element3" ... ... for var in $ensemble ; do echo $var done

---

Sur notre script

Code:

---

1 2 3 4 5 6 7 8 9 10 11

for enreg in `cat /home/afourquemin/file.csv` do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

je pense que le problème vient de `cat /home/afourquemin/file.csv`...

j'ai testé de faire :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

FICHIER=`cat /home/afourquemin/file.csv`   for enreg in $FICHIER do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done

---

mais tjr le même problème !

pourtant j'ai tester le cat et il semble bien fonctionné...

Très étrange.

Que donne "bash --version" ?
Ni la version avec le for, ni celle avec le while ne fonctionnent ? Testes-tu en mode interactif ou par un script exécutable (essaie avec les deux) ?
Essaie de simplifier les exemples donnés pour trouver d'où vient l'erreur.

Code:

---

1 2 3 4

for i in 1 2 3 4; do echo $i done

---

Est-ce que ce code fonctionne chez toi ?

EDIT: je viens de voir ta réponse entre temps. Si le problème vient du cat, est-ce que ça marche avec le while read ?

tien une question,

si je fais :

Code:

---

1 2 3 4 5 6 7 8 9

#!/bin/bash # file_read FICHIER=`cat /home/afourquemin/file.cvs` echo $FICHIER   Reponse : ./file_read: line 3: Jean;lapin;gjjfjdeje : command not found   fin

---

c'est normale le "command not found" ? et le blanc entre l'erreur et "fin"...

Visiblement, on n'a vraiment pas la même version de Bash...

Essaie :

Code:

---

FICHIER=$(cat /home/afourquemin/file.cvs)

---

Comment appelles-tu ton script ? Pourquoi "fin" s'affiche ? La ligne vide, c'est parce que ton $FICHIER est vide (à cause de l'erreur). Essaie de donner des copier-coller exacts de ce que tu fais.

Code:

---

1 2 3

for i in 1 2 3 4; do echo $i done

---

oui ca fonctionne !

bash --version :

GNU bash, version 3.1.17(1) - release (1686-redhat-linux-gnu)
Copyright (c) 2005 Free Software Foundation, Inc.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

#!/bin/bash # file_read while read enreg; do echo $enreg USER=`echo $enreg | cut -d';' -f1` NOM=`echo $enreg | cut -d';' -f2` PASSWORD=`echo $enreg | cut -d';' -f3` echo "$USER - $NOM - $PASSWORD" done < /home/root/scripts/file.csv       [root@localhost scripts]# ./file_read ./file_read: line 9: syntax error near unexpected token `done' ./file_read: line 9: `done < /home/root/scripts/file.csv'

---

:evilred:

Citation:

---

Envoyé par LLB

Code:

---

FICHIER=$(cat /home/afourquemin/file.cvs)

---

---

ca marche cette syntaxe !!! je vais testé avec le reste du script >

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

#!/bin/bash # file_read FICHIER=$(cat /home/root/scripts/file.csv) echo $FICHIER   for enreg in $FICHIER ; do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done       [root@localhost scripts]# ./file_read Jean;lapin;ghsdfjkdf antoine;petit;54sfsdf Jean-François;Saint-James;55454df Mikeal;dubois;; emmanuel;grout;dfklpsdf arnaud;fourquemin;; '/file_read: line 6: syntax error near unexpected token `do '/file_read: line 6: `for enreg in $FICHIER ; do

---

le soucie va rester que j'espère que cette syntaxe soit portable... :?

Citation:

---

Envoyé par arnaudperfect

le soucie va rester que j'espère que cette syntaxe soit portable... :?

---

Je suppose que ce code va marcher aussi :

Code:

---

FICHIER="`cat /home/afourquemin/file.cvs`"

---

Personnellement, je préfère $( ).

Ton fichier d'entrée, c'est bien celui que tu avais donné avant ?

En protégeant bien les variables, ça donne :

Code:

---

1 2 3 4 5 6 7

while read enreg; do echo $enreg USER=$(echo "$enreg" | cut -d';' -f1) NOM=$(echo "$enreg" | cut -d';' -f2) PASSWORD=$(echo "$enreg" | cut -d';' -f3) echo "$USER - $NOM - $PASSWORD" done < /home/root/scripts/file.csv

---

je pense que les ; sont interprétés avec le for...

je vais tester tes lignes de codes

Code:

---

FICHIER="`cat /home/afourquemin/file.cvs`"

---

oui ca marche aussi ca...

Code:

---

1 2 3 4 5 6 7

while read enreg; do echo $enreg USER=$(echo "$enreg" | cut -d';' -f1) NOM=$(echo "$enreg" | cut -d';' -f2) PASSWORD=$(echo "$enreg" | cut -d';' -f3) echo "$USER - $NOM - $PASSWORD" done < /home/root/scripts/file.csv

---

marche pas !! sérieux ca me soule !!

je ne sais pas se qu'il se passe ! j'ai l'impression que les ; foute la merde !

Non mais sérieu, je ne suis pas plus con qu'un autre !!!


regardez :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21

#!/bin/bash # file_read FICHIER=$(cat /home/root/scripts/file.csv) echo $FICHIER   for enreg in $FICHIER ; do echo $enreg USER=`echo $enreg | awk -F";" '{ print $1 }'` NOM=`echo $enreg | awk -F";" '{ print $2 }'` PASSWORD=`echo $enreg | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" # ### ton traitement # done     [root@localhost scripts]# ./file_read Jean;lapin;ghsdfjkdf antoine;petit;54sfsdf Jean-François;Saint-James;55454df Mikeal;dubois;; emmanuel;grout;dfklpsdf arnaud;fourquemin;; '/file_read: line 6: syntax error near unexpected token `do '/file_read: line 6: `for enreg in $FICHIER ; do

---

des erreurs !

Je viens de testé avec un fichier sans ;, tjr le même problème !

Vous savez quoi ?

Je suis un DIEU ! :lol: j'ai trouvé l'erreur !!!

for var in $FILE ;do

le ;do, il faut le collé !

Sinon j'ai une drole de découpe du fichier CSV :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35

File.CSV : Jean;lapin;ghsdfjkdf antoine;petit;54sfsdf Jean-François;Saint-James;55454df; Mikeal;dubois; emmanuel;grout;dfklpsdf arnaud;fourquemin;   >ATTENTION car certain login sont sans mot de passe, dans ce cas, $PASSWORD sera vide   Script :   #!/bin/bash # file_read   FILE=$(cat /home/root/scripts/file.csv) echo $FILE   for var in $FILE ;do USER=`echo $var | awk -F";" '{ print $1 }'` NOM=`echo $var | awk -F";" '{ print $2 }'` PASSWORD=`echo $var | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" done   Réponse :   [root@localhost scripts]# ./file_read Jean;lapin;ghsdfjkdf; antoine;petit;54sfsdf; Jean-François;Saint-James;55454df; Mikeal;dubois;; emmanuel;grout;dfklpsdf; arnaud;fourquemin;; - ghsdfjkdf - 54sfsdf - 55454dfames - dubois - dfklpsdf - fourquemin

---

Ca doit être du au faite que certain login sont sans mot de passe et donc ca merde sur la possition...

Comment faire pour eviter ce problème ?

Salut

Citation:

---

Envoyé par arnaudperfect

Comment faire pour eviter ce problème ?

---

Ne pas laisser la touche maj enfoncée quand on appuis sur espace... Selon la configuration, ça insère une espace insécable qui ne compte pas comme une espace (et pour cause...).

Je ne fais pas d'espace avec la touche MAJ enfoncé...

le soucie c'est que je ne peux meme pas faire mon traitement après car des que je met des variable en ligne, ca sucre la 1er variable ecrite

salut,

J'ai résolu le problème :

Code:

---

1 2 3 4 5 6 7 8 9 10

#!/bin/bash # file_read   FILE=$(cat /home/root/scripts/file.csv) echo $FILE   for var in $FILE ;do USER=`echo $var | awk -F";" '{ print $1 }'`NOM=`echo $var | awk -F";" '{ print $2 }'`PASSWORD=`echo $var | awk -F";" '{ print $3 }'` echo "$USER - $NOM - $PASSWORD" done

---

Tout s'affiche correctement, et je peux faire mes différents traitements par la suite.

J'ai une autre question cependant : existe il un moyen pour dire "passe à l'enregistrement suivant"

exemple, le script m'affiche

Toto martin
[différents traitements]
utilisateur existant dans le systeme, voulez vous passez au suivant ?
...
...

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

#!/bin/bash # file_read   FILE=$(cat /home/root/scripts/file.csv) echo $FILE   for var in $FILE ;do USER=`echo $var | awk -F";" '{ print $1 }'`NOM=`echo $var | awk -F";" '{ print $2 }'`PASSWORD=`echo $var | awk -F";" '{ print $3 }'`   ----- Si (utilisateur présent dans /etc/passwd) alors Utilisateur présent dans le système voulez vous passer à un autre enregistrement ? o/n ----   done

---

merci d'avance ;)

man bash:

Code:

---

1 2 3 4 5 6

continue [n] Reprendre l’exécution à l’itération suivante d’une boucle for, while, until ou encore select. Si n est indiqué, reprendre l’exécution à la n-ième boucle imbriquée. n doit être ≥ 1. Si n est supérieur au nombre de boucles imbriquées, l’exécution reprend à la boucle la plus externe (la boucle « au som‐ met »). La valeur renvoyée est 0, à moins que l’interpréteur ne soit pas en train d’exécuter une boucle lorsqu’il rencontre l’instruction continue.

---

ok, et avec un exemple ca donnerai quoi ?

Code:

---

1 2 3 4

for i in 1 2 3 4 ;do echo $i n done

---

???

Citation:

---

Envoyé par arnaudperfect

ok, et avec un exemple ca donnerai quoi ?

for i in 1 2 3 4 ;do
echo $i
n
done

???

---

Exemple pratique ;)

Code:

---

1 2 3 4 5 6 7 8 9 10 11

for i in 1 2 3 4 ; do ((modulo=i%2)) if [[ $modulo != 0 ]] ; then echo "* nombre impair, je continue" continue fi echo "* nombre pair, je cumule ..." ((total=total+i)) done echo "* $total"

---

Résultat :

* nombre impair, je continue
* nombre pair, je cumule ...
* nombre impair, je continue
* nombre pair, je cumule ...
* 6

d'accord

il suffit donc de mettre "continue" pour refaire un tour de boucle dans executer la suite du script contenu dans la boucle... j'ai bien compris ?

Citation:

---

Envoyé par arnaudperfect

d'accord

il suffit donc de mettre "continue" pour refaire un tour de boucle SANS executer la suite du script contenu dans la boucle... j'ai bien compris ?

---

Tu as tout compris :king:

ok, je l'ai utilisé ! nickel ! ca optimise l'execution du script !

en faite je l'utilise car si jamais je veux ajouter un utilisateur sur le système (avec un fichier de réponse > cat, for) et qu'il est déjà présent, je refais un tour de boucle pour faire l'utilisateur suivant sans passé par les étape de génération d'un mot de passe, addgroup, adduser... ca évite d'avoir des messages de ces deux dernières commandes !