Discussion :

[mikebzh44]

Bonjour.

Je cherche à traiter un fichier qu'on reçoit et qu'on intègre dans notre entrepôt.

Les lignes du fichiers se finissent avec un CRLF :



(mode Hexa sous Notepad++)

Mais il arrive qu'on reçoive des lignes avec un caractère à la noix (le A0) et un CRLF qui coupe la ligne en 2 :



j'arrive à virer le A0 avec un sed :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/[\xA0]//g'

mais j'aimerais virer le CRLF parasite tout en gardant les CRLF qui sont en fin de toutes les lignes du fichier.

J'ai essayé

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/[\xA0\x0D\x0A]//g'

mais ça ne marche pas !!

Vous connaissez une solution soit avec des commandes Linux soit avec un petit programme Perl par exemple ?

Merci de votre aide.

[disedorgue]

Attention, CRLF c'est 0D 0A, les A0 n'ont rien à voir avec ça.

Donc, soit plus clair sur ton besoin en donnant des exemple (avant/après) qui soit exhaustif si possible.

[disedorgue]

Le A0 est ce que l'on appelle l'espace insécable.

[mikebzh44]

OK, donc il se trouve qu'on reçoit un fichier d'une application et que les utilisateurs vous surement saisir des caractères "à la noix"

Le problème, c'est que même si le A0 ne pose pas de problème, on se retrouve avec un 0D 0A dans le champs Numéro de téléphone.

Voici un petit extrait du fichier qu'on reçoit (3 lignes ) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
1234567\123456789\Name1\Surname1\*
01*02*03*04*05\1\
1234567\123456789\Name2\Surname2\01.02.03.04.05.\1\

Et voilà ce qu'on devrait recevoir (2 lignes) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
1234567\123456789\Name1\Surname1\01*02*03*04*05\1\
1234567\123456789\Name2\Surname2\01.02.03.04.05.\1\

Le problème c'est donc que dans le champs téléphone, avant même le numéro, on a le retour charriot qui génère un saut de ligne parasite.

D'où mon besoin de remplacer la séquence hexa A0 0D 0A par rien ou par A0 au pire.

[Flodelarab]

Bonjour

Windows : CR LF Carriage Return Line Feed, "\r\n", 0d0a en hexa.
Apple : CR Carriage Return, "\r", 0d en hexa.
Linux : LF Line Feed, "\n", 0a en hexa.

La première chose que vous devriez faire, en recevant un fichier texte venu de windows, est de le transformer pour GNU Linux ou UNIX, avec des outils comme dos2unix, par exemple, avant toute manipulation.

Pour le moment, si tu n'as que 4 contre-obliques (anti-slashes), c'est que la ligne n'est pas complète. Il faut la compléter.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed ':z;/\(\\.*\)\{5,\}/!{N;s/\n//;tz};s'

Si la ligne n'a pas assez de contre-obliques (ici 5), on ajoute la ligne suivante, et on enlève \n (ou \r\n, si tu veux).

Enfin, si ton fichier est vraiment organisé en champs comme ci-dessus, utiliser awk peut être plus intuitif.

[mikebzh44]

Merci pour la commande sed mais elle ne semble pas complète.

J'ai ce message quand je l'exécute sur notre serveur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
>sed ':z;/\(\\.*\)\{41,\}/!{N;s/\n//;tz};s' fic_in.txt > fic_out.txt
sed: -e expression n°1, caractère 36: commande `s' inachevée

J'ai changé le 5 en 41 car je travaille sur mon fichier complet et il contient 41 champs séparés par un \

[disedorgue]

Question: est-ce que le dernier caractère d'une ligne est le '\' ?

Si ce n'est pas le cas, on ne pourra pas résoudre tous les cas comme par exemple un CRLF en plein milieu du dernier champs.

Par contre, si c'est le cas, il suffirait de virer la totalité des CRLF puis d'en remettre un tout les n '\' selon le nombre n de champs par ligne.

[mikebzh44]

Je pense que 99% du temps, ça finit par un \

Par contre, on sait combien de \ une ligne complète doit voir : 41

Donc l'histoire avec le sed ':z;/\(\\.*\)\{41,\}/!{N;s/\n//;tz};s' doit s'approcher de ma solution.

On a contourné le problème avec notre progiciel (SAS) de la manière suivante :

on lit la ligne
on compte le nombre de \
si 41 alors on écrit la ligne dans un nouveau fichier
sinon on garde la ligne en mémoire et on la concatène à la prochaine ligne

[Flodelarab]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
$ awk -F\\ -vOFS=\\ '(mem!=""){$0=mem""$0;mem="";} (NF<41){mem=$0;next;} {gsub(/[^0-9]/,"",$5);} 1' fichier.txt
1234567\123456789\Name1\Surname1\0102030405\1\
1234567\123456789\Name2\Surname2\0102030405\1\

[mikebzh44]

C'est parfait !!!

Merci à tous.