IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Shell et commandes GNU Discussion :

Enlever CRLF au milieu d'une ligne mais pas à la fin des lignes


Sujet :

Shell et commandes GNU

  1. #1
    Nouveau Candidat au Club
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    mai 2021
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Santé

    Informations forums :
    Inscription : mai 2021
    Messages : 5
    Points : 1
    Points
    1
    Par défaut Enlever CRLF au milieu d'une ligne mais pas à la fin des lignes
    Bonjour.

    Je cherche à traiter un fichier qu'on reçoit et qu'on intègre dans notre entrepôt.

    Les lignes du fichiers se finissent avec un CRLF :



    (mode Hexa sous Notepad++)

    Mais il arrive qu'on reçoive des lignes avec un caractère à la noix (le A0) et un CRLF qui coupe la ligne en 2 :



    j'arrive à virer le A0 avec un sed :

    mais j'aimerais virer le CRLF parasite tout en gardant les CRLF qui sont en fin de toutes les lignes du fichier.

    J'ai essayé
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    sed 's/[\xA0\x0D\x0A]//g'
    mais ça ne marche pas !!

    Vous connaissez une solution soit avec des commandes Linux soit avec un petit programme Perl par exemple ?

    Merci de votre aide.

  2. #2
    Expert éminent sénior Avatar de disedorgue
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    décembre 2012
    Messages
    3 805
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : décembre 2012
    Messages : 3 805
    Points : 11 112
    Points
    11 112
    Par défaut
    Attention, CRLF c'est 0D 0A, les A0 n'ont rien à voir avec ça.

    Donc, soit plus clair sur ton besoin en donnant des exemple (avant/après) qui soit exhaustif si possible.
    Cordialement.

  3. #3
    Expert éminent sénior Avatar de disedorgue
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    décembre 2012
    Messages
    3 805
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : décembre 2012
    Messages : 3 805
    Points : 11 112
    Points
    11 112
    Par défaut
    Le A0 est ce que l'on appelle l'espace insécable.
    Cordialement.

  4. #4
    Nouveau Candidat au Club
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    mai 2021
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Santé

    Informations forums :
    Inscription : mai 2021
    Messages : 5
    Points : 1
    Points
    1
    Par défaut
    OK, donc il se trouve qu'on reçoit un fichier d'une application et que les utilisateurs vous surement saisir des caractères "à la noix"

    Le problème, c'est que même si le A0 ne pose pas de problème, on se retrouve avec un 0D 0A dans le champs Numéro de téléphone.

    Voici un petit extrait du fichier qu'on reçoit (3 lignes ) :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    1234567\123456789\Name1\Surname1\*
    01*02*03*04*05\1\
    1234567\123456789\Name2\Surname2\01.02.03.04.05.\1\

    Et voilà ce qu'on devrait recevoir (2 lignes) :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    1234567\123456789\Name1\Surname1\01*02*03*04*05\1\
    1234567\123456789\Name2\Surname2\01.02.03.04.05.\1\
    Le problème c'est donc que dans le champs téléphone, avant même le numéro, on a le retour charriot qui génère un saut de ligne parasite.

    D'où mon besoin de remplacer la séquence hexa A0 0D 0A par rien ou par A0 au pire.

  5. #5
    Expert éminent sénior Avatar de Flodelarab
    Homme Profil pro
    Inscrit en
    septembre 2005
    Messages
    4 685
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente (Poitou Charente)

    Informations forums :
    Inscription : septembre 2005
    Messages : 4 685
    Points : 11 760
    Points
    11 760
    Par défaut
    Bonjour

    Windows : CR LF Carriage Return Line Feed, "\r\n", 0d0a en hexa.
    Apple : CR Carriage Return, "\r", 0d en hexa.
    Linux : LF Line Feed, "\n", 0a en hexa.

    La première chose que vous devriez faire, en recevant un fichier texte venu de windows, est de le transformer pour GNU Linux ou UNIX, avec des outils comme dos2unix, par exemple, avant toute manipulation.

    Pour le moment, si tu n'as que 4 contre-obliques (anti-slashes), c'est que la ligne n'est pas complète. Il faut la compléter.
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    sed ':z;/\(\\.*\)\{5,\}/!{N;s/\n//;tz};s'
    Si la ligne n'a pas assez de contre-obliques (ici 5), on ajoute la ligne suivante, et on enlève \n (ou \r\n, si tu veux).

    Enfin, si ton fichier est vraiment organisé en champs comme ci-dessus, utiliser awk peut être plus intuitif.
    Cette réponse vous apporte quelque chose ? Cliquez sur en bas à droite du message.

  6. #6
    Nouveau Candidat au Club
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    mai 2021
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Santé

    Informations forums :
    Inscription : mai 2021
    Messages : 5
    Points : 1
    Points
    1
    Par défaut
    Merci pour la commande sed mais elle ne semble pas complète.

    J'ai ce message quand je l'exécute sur notre serveur :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    >sed ':z;/\(\\.*\)\{41,\}/!{N;s/\n//;tz};s' fic_in.txt > fic_out.txt
    sed: -e expression n°1, caractère 36: commande `s' inachevée
    J'ai changé le 5 en 41 car je travaille sur mon fichier complet et il contient 41 champs séparés par un \

  7. #7
    Expert éminent sénior Avatar de disedorgue
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    décembre 2012
    Messages
    3 805
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : décembre 2012
    Messages : 3 805
    Points : 11 112
    Points
    11 112
    Par défaut
    Question: est-ce que le dernier caractère d'une ligne est le '\' ?

    Si ce n'est pas le cas, on ne pourra pas résoudre tous les cas comme par exemple un CRLF en plein milieu du dernier champs.

    Par contre, si c'est le cas, il suffirait de virer la totalité des CRLF puis d'en remettre un tout les n '\' selon le nombre n de champs par ligne.
    Cordialement.

  8. #8
    Nouveau Candidat au Club
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    mai 2021
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Santé

    Informations forums :
    Inscription : mai 2021
    Messages : 5
    Points : 1
    Points
    1
    Par défaut
    Je pense que 99% du temps, ça finit par un \

    Par contre, on sait combien de \ une ligne complète doit voir : 41

    Donc l'histoire avec le sed ':z;/\(\\.*\)\{41,\}/!{N;s/\n//;tz};s' doit s'approcher de ma solution.

    On a contourné le problème avec notre progiciel (SAS) de la manière suivante :

    on lit la ligne
    on compte le nombre de \
    si 41 alors on écrit la ligne dans un nouveau fichier
    sinon on garde la ligne en mémoire et on la concatène à la prochaine ligne

  9. #9
    Expert éminent sénior Avatar de Flodelarab
    Homme Profil pro
    Inscrit en
    septembre 2005
    Messages
    4 685
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Charente (Poitou Charente)

    Informations forums :
    Inscription : septembre 2005
    Messages : 4 685
    Points : 11 760
    Points
    11 760
    Par défaut
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    $ awk -F\\ -vOFS=\\ '(mem!=""){$0=mem""$0;mem="";} (NF<41){mem=$0;next;} {gsub(/[^0-9]/,"",$5);} 1' fichier.txt
    1234567\123456789\Name1\Surname1\0102030405\1\
    1234567\123456789\Name2\Surname2\0102030405\1\
    Cette réponse vous apporte quelque chose ? Cliquez sur en bas à droite du message.

  10. #10
    Nouveau Candidat au Club
    Homme Profil pro
    Développeur décisionnel
    Inscrit en
    mai 2021
    Messages
    5
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur décisionnel
    Secteur : Santé

    Informations forums :
    Inscription : mai 2021
    Messages : 5
    Points : 1
    Points
    1
    Par défaut
    C'est parfait !!!

    Merci à tous.

Discussions similaires

  1. Réponses: 5
    Dernier message: 18/03/2009, 19h31
  2. Variable au milieu d'une ligne de code
    Par supertoms dans le forum VBA Access
    Réponses: 2
    Dernier message: 23/04/2008, 15h29
  3. Réponses: 1
    Dernier message: 21/08/2007, 08h25
  4. [String]Enlever espaces au debut d'une ligne
    Par julien1981 dans le forum Débuter avec Java
    Réponses: 1
    Dernier message: 28/06/2006, 18h00
  5. Réponses: 3
    Dernier message: 14/03/2006, 11h34

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo