Discussion :

[AralVor]

Bonjour à tous

je dois traiter un fichier texte (toto.txt) qui contient des lignes de ce type :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

947924674,PRESSE,2008-08-03,le roi est là\,mais oui,<autres champs séparés par des virgules>

J'utilise le programme Awk suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
awk 
'BEGIN 
{ FS = "\([^\\\]\),";} 
{ print $4; }' 
toto.txt

Je définis donc le séparateur de champs comme étant "," mais pas "\," (c'est un export de base de données vers un fichier csv ou j'ai spécifié que "," était le séparateur de champs)

Le problème c'est que l'expression régulière du field separator me bouffe une lettre (normal) et que je n'arrive pas à utiliser les expressions régulières "marquées" en utilisant les parenthèses

Comment est-ce que je pourrais faire ?

Pour info le résultat à ma commande est le suivant

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

le roi est là\,mais ou

(notez le i tronqué à la fin de "mais oui")

D'avance merci à ceux qui trouveront un peu de temps pour me guider la-dessus !

[Sve@r]

T'es sûr que tu veux le faire en awk ? Parce que j'ai une solution en Python

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
#!/usr/bin/env python
# coding: Latin-1 -*-
 
fp=open(fichier, "r")
 
for lig in fp:
    print lig.replace("\,", "\\").split(",")[3].replace("\\", "\,")
 
fp.close()

Sinon il y a une solution qui permet d'utiliser awk

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e "s/\\\\,/\\\\\\\\/g" fichier |awk -F, '{print $4}' |sed -e "s/\\\\\\\\/\\\\,/g"

[AralVor]

Je préfèrerais awk (ou sed), je n'ai pas trop l'habitude d'utiliser du python

Sinon je vois que tu substitues les chaînes pour pouvoir passer outre, c'est une bonne idée mais je risque de me retrouver à rajouter des virgules dans mon texte, si quelque part se trouvent des doubles backslash

mais en y réfléchissant ce n'est pas un trop gros problème

Merci !

[Sve@r]

Je préfèrerais awk (ou sed), je n'ai pas trop l'habitude d'utiliser du python

Ben c'est du langage de script comme un autre donc si le coeur t'en dis...

Sinon je vois que tu substitues les chaînes pour pouvoir passer outre, c'est une bonne idée mais je risque de me retrouver à rajouter des virgules dans mon texte, si quelque part se trouvent des doubles backslash

Ben c'est mon habitude. Si j'ai une data qui n'est pas au bon format, je la mets au bon format. Toutefois comme tu dis, ce n'est pas forcément un gros problème. On peut aussi faire différemment et remplacer "\," par "\;" voire par des patterns plus compliqués...

[AralVor]

Salut !

Alors j'ai opté pour sed pour changer mes formats de données et les restituer

mais j'ai un problème assez étrange

mon fichier est le suivant : (cat entree/215515originalLinuxUTF8.csv | more)

10000000018422686,215515,Presse écrite,2009-01-02 07:27:22,3,Nicolas Sarkozy,0,Racine,LE FIGARO,410067,\N,International,International La difficile médiation de Sarkozy au Proche-Orient P
our « chercher les chemins de la paix » au Proche-Orient\, selon son expression\, après le rejet

(en gros, un fichier csv comme on en a déjà parlé, avec des champs séparés par des virgules, et des backslash pour les virgules non séparatrices de champs)

sauf que quand je fais :

cat entree/215515originalLinuxUTF8.csv | while read foo; do echo $foo; done

j'ai :

10000000018422686,215515,Presse écrite,2009-01-02 07:27:22,3,Nicolas Sarkozy,0,Racine,LE FIGARO,410067,N,International,International La difficile médiation de Sarkozy au Proche-Orient Po
ur « chercher les chemins de la paix » au Proche-Orient, selon son expression, après le rejet

le "echo" me supprime les backslash (alors que je suis censé les utiliser pour différencier les virgules séparatrices de champs des virgules non séparatrices de champs !)

du coup je suis coincé. Man echo dis bien que -E permet d'ignorer les backslash mais ça ne change rien, et de toute façon c'est le fonctionnement par défaut..

Une idée de ce qui m'arrive?

[Sve@r]

le "echo" me supprime les backslash

Ce n'est qu'un effet d'affichage

du coup je suis coincé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

echo "$foo"

Une idée de ce qui m'arrive?

Oui. Et tu le comprendras tout seul dès que tu compareras ce code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
rep=`ls -l`
echo $rep

avec ce code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
rep=`ls -l`
echo "$rep"

Ou si tu exécutes ce code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
echo "entrez une valeur :"
read var
test $var != non && echo "gagné"

En le comparant avec celui-là

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
echo "entrez une valeur :"
read var
test "$var" != "non" && echo "gagné"

En tapant dans les 2 cas "return" à la question (sans mettre de valeur)

Ensuite... ben je pense que plus jamais tu n'oublieras les guillemets dans tes codes...

[AralVor]

Bizarre, j'avais testé de mettre les variables entre guillemets et ça n'a rien changé...

Je retesterais demain, mais effectivement ça m'était venu à l'esprit en testant avec et sans les guillemets directement sur l'invite de commande.

Merci pour les précisions !

[Sve@r]

Bizarre, j'avais testé de mettre les variables entre guillemets et ça n'a rien changé...

Exact. Je viens de tester. C'est le read qui chie.
Exemple 1: read f => je tape "eee\,fff" puis j'affiche "$f" => j'obtiens "eee,fff"
Exemple 2: read f => je tape "eee\\,fff" puis j'affiche "$f" => j'obtiens "eee\,fff"

Si tu veux traiter tes backslash dans du read, faut d'abord les dédoubler. Ou alors utilise une autre méthode..

Merci pour les précisions !

Elles restent valable pour les autres exemples, surtout celui du test sur une saisie...