Traitement de plusieurs fichiers textes

Bonjour,
J'ai plusieurs fichiers textes et je veux les mettre en forme pour pourvoir les insérer dans une base oracle.
mais avant je dois faire des traitements, j'ai commencé à faire quelques uns avec la commande "sed".
je note que mon dossier contient plusieurs fichier texte, fichier_0001 .... fichier_N.
Par exemple j'ai appliqué cette commande pour supprimer les 4 premieres lignes sur tout les fichiers textes

Code:

---

sed -i "1,4d" *.txt

---

je suis arrivé à cette forme de fichier.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

Code 0001 Coordonnées du truc ; 620000 ; 2681000 ; 6 ; (X,Y,Z, trucc) 19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0; 19580802; 0.0; 0.0; 14.6; 9.8; 8.0; 2861.0; 2139.7; 0.441; -0.999; 3.0; 3.4; 19580803; 0.0; 0.2; 15.5; 4.5; 9.0; 3168.4; 873.8; 0.433; -0.999; 3.2; 2.1; 19580804; 0.0; 0.4; 15.8; 8.5; 10.0; 3376.1; 497.3; 0.433; -0.999; 3.2; 1.5; 19580805; 0.0; 1.4; 16.6; 8.5; 10.0; 3447.7; 829.7; 0.427; -0.999; 3.3; 2.2; 19580806; 0.0; 1.1; 15.5; 7.4; 9.0; 3181.5; 1037.2; 0.423; -0.999; 3.1; 2.4; 19580807; 0.0; 7.9; 13.8; 4.9; 9.0; 3228.9; 951.5; 0.467; -0.999; 2.8; 1.5; 19580808; 0.0; 0.6; 15.7; 7.5; 10.0; 3126.7; 756.1; 0.464; -0.999; 3.1; 1.6; 19580809; 0.0; 0.9; 17.5; 4.9; 12.0; 3443.4; 670.4; 0.462; -0.999; 3.3; 1.2; 19580810; 0.0; 0.0; 21.2; 4.6; 13.0; 3023.0; 2186.8; 0.446; -0.999; 3.9; 4.0; 19580811; 0.0; 0.4; 17.6; 4.3; 11.0; 3288.2; 509.1; 0.441; -0.999; 3.3; 1.6; 19580812; 0.0; 0.9; 15.7; 6.8; 10.0; 3348.8; 943.3; 0.437; -0.999; 3.0; 1.7; 19580813; 0.0; 5.8; 16.1; 8.1; 10.0; 3256.0; 1153.7; 0.437; -0.999; 3.1; 2.1;

---

le but c'est mettre les infos en gras sur chaque ligne
voici la forme que je cherche à avoir:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Code 0001 Coordonnées du centre ; 620000 ; 2681000 ; 6 ; (X,Y,Z, Lambert II étendu) 19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0;0001;620000;2681000 19580802; 0.0; 0.0; 14.6; 9.8; 8.0; 2861.0; 2139.7; 0.441; -0.999; 3.0; 3.4;0001;620000;2681000 19580803; 0.0; 0.2; 15.5; 4.5; 9.0; 3168.4; 873.8; 0.433; -0.999; 3.2; 2.1;0001;620000;2681000 19580804; 0.0; 0.4; 15.8; 8.5; 10.0; 3376.1; 497.3; 0.433; -0.999; 3.2; 1.5;0001;620000;2681000 19580805; 0.0; 1.4; 16.6; 8.5; 10.0; 3447.7; 829.7; 0.427; -0.999; 3.3; 2.2;0001;620000;2681000 19580806; 0.0; 1.1; 15.5; 7.4; 9.0; 3181.5; 1037.2; 0.423; -0.999; 3.1; 2.4;0001;620000;2681000 19580807; 0.0; 7.9; 13.8; 4.9; 9.0; 3228.9; 951.5; 0.467; -0.999; 2.8; 1.5;0001;620000;2681000 19580808; 0.0; 0.6; 15.7; 7.5; 10.0; 3126.7; 756.1; 0.464; -0.999; 3.1; 1.6;0001;620000;2681000 19580809; 0.0; 0.9; 17.5; 4.9; 12.0; 3443.4; 670.4; 0.462; -0.999; 3.3; 1.2;0001;620000;2681000 19580810; 0.0; 0.0; 21.2; 4.6; 13.0; 3023.0; 2186.8; 0.446; -0.999; 3.9; 4.0;0001;620000;2681000 19580811; 0.0; 0.4; 17.6; 4.3; 11.0; 3288.2; 509.1; 0.441; -0.999; 3.3; 1.6;0001;620000;2681000 19580812; 0.0; 0.9; 15.7; 6.8; 10.0; 3348.8; 943.3; 0.437; -0.999; 3.0; 1.7;0001;620000;2681000 19580813; 0.0; 5.8; 16.1; 8.1; 10.0; 3256.0; 1153.7; 0.437; -0.999; 3.1; 2.1;0001;620000;2681000

---

Si vous avez des pistes pour m'aider merci par avance.

Bonjour,

pour faire simple, je partirais sur du awk :

Code:

---

1 2 3 4 5 6 7 8 9 10

si #ligne = 5 L= ligne v1= ligne - 'code ' afficher L si #ligne = 6 v2= 2e col v3= 3e col afficher ligne si #ligne > 6 afficher ligne;v1;v2;v3

---

à répéter pour chaque fichier, et on oublie la commande sed.

Salut,

Citation:

---

Envoyé par N_BaH

et on oublie la commande sed.

---

Ah ben pourquoi ??? :(

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36

$ cat plop Code 0001 Coordonnées du truc ; 620000 ; 2681000 ; 6 ; (X,Y,Z, trucc) 19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0; 19580802; 0.0; 0.0; 14.6; 9.8; 8.0; 2861.0; 2139.7; 0.441; -0.999; 3.0; 3.4; 19580803; 0.0; 0.2; 15.5; 4.5; 9.0; 3168.4; 873.8; 0.433; -0.999; 3.2; 2.1; 19580804; 0.0; 0.4; 15.8; 8.5; 10.0; 3376.1; 497.3; 0.433; -0.999; 3.2; 1.5; 19580805; 0.0; 1.4; 16.6; 8.5; 10.0; 3447.7; 829.7; 0.427; -0.999; 3.3; 2.2; 19580806; 0.0; 1.1; 15.5; 7.4; 9.0; 3181.5; 1037.2; 0.423; -0.999; 3.1; 2.4; 19580807; 0.0; 7.9; 13.8; 4.9; 9.0; 3228.9; 951.5; 0.467; -0.999; 2.8; 1.5; 19580808; 0.0; 0.6; 15.7; 7.5; 10.0; 3126.7; 756.1; 0.464; -0.999; 3.1; 1.6; 19580809; 0.0; 0.9; 17.5; 4.9; 12.0; 3443.4; 670.4; 0.462; -0.999; 3.3; 1.2; 19580810; 0.0; 0.0; 21.2; 4.6; 13.0; 3023.0; 2186.8; 0.446; -0.999; 3.9; 4.0; 19580811; 0.0; 0.4; 17.6; 4.3; 11.0; 3288.2; 509.1; 0.441; -0.999; 3.3; 1.6; 19580812; 0.0; 0.9; 15.7; 6.8; 10.0; 3348.8; 943.3; 0.437; -0.999; 3.0; 1.7; 19580813; 0.0; 5.8; 16.1; 8.1; 10.0; 3256.0; 1153.7; 0.437; -0.999; 3.1; 2.1;   $ sed '1{N;H;s/[^;0-9]//g;s/\(.*\);.*;$/\1/;x;b};G;s/\n//' plop   Code 0001 Coordonnées du truc ; 620000 ; 2681000 ; 6 ; (X,Y,Z, trucc) 19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0;0001;620000;2681000 19580802; 0.0; 0.0; 14.6; 9.8; 8.0; 2861.0; 2139.7; 0.441; -0.999; 3.0; 3.4;0001;620000;2681000 19580803; 0.0; 0.2; 15.5; 4.5; 9.0; 3168.4; 873.8; 0.433; -0.999; 3.2; 2.1;0001;620000;2681000 19580804; 0.0; 0.4; 15.8; 8.5; 10.0; 3376.1; 497.3; 0.433; -0.999; 3.2; 1.5;0001;620000;2681000 19580805; 0.0; 1.4; 16.6; 8.5; 10.0; 3447.7; 829.7; 0.427; -0.999; 3.3; 2.2;0001;620000;2681000 19580806; 0.0; 1.1; 15.5; 7.4; 9.0; 3181.5; 1037.2; 0.423; -0.999; 3.1; 2.4;0001;620000;2681000 19580807; 0.0; 7.9; 13.8; 4.9; 9.0; 3228.9; 951.5; 0.467; -0.999; 2.8; 1.5;0001;620000;2681000 19580808; 0.0; 0.6; 15.7; 7.5; 10.0; 3126.7; 756.1; 0.464; -0.999; 3.1; 1.6;0001;620000;2681000 19580809; 0.0; 0.9; 17.5; 4.9; 12.0; 3443.4; 670.4; 0.462; -0.999; 3.3; 1.2;0001;620000;2681000 19580810; 0.0; 0.0; 21.2; 4.6; 13.0; 3023.0; 2186.8; 0.446; -0.999; 3.9; 4.0;0001;620000;2681000 19580811; 0.0; 0.4; 17.6; 4.3; 11.0; 3288.2; 509.1; 0.441; -0.999; 3.3; 1.6;0001;620000;2681000 19580812; 0.0; 0.9; 15.7; 6.8; 10.0; 3348.8; 943.3; 0.437; -0.999; 3.0; 1.7;0001;620000;2681000 19580813; 0.0; 5.8; 16.1; 8.1; 10.0; 3256.0; 1153.7; 0.437; -0.999; 3.1; 2.1;0001;620000;2681000   $

---

Certes, c'est indigeste, mais c'est mangeable, non ? :mouarf:

Citation:

---

Ah ben pourquoi ???

---

c'est tout sed, ou tout awk, pas les deux :)

Citation:

---

Envoyé par N_BaH

c'est tout sed, ou tout awk, pas les deux :)

---

Alors j'ai tout bon :D

Merci pour vos réponses.

pour le sed après exécution ce me donne ça :

Code:

---

sed -i '1{N;H;s/[^;0-9]//g;s/\(.*\);.*;$/\1/;x;b};G;s/\n//' fichier.txt

---

et la ligne qu'on a ajouté revient à la ligne !!!

Code:

---

1 2 3 4 5 6 7 8

Code 0001 Coordonnées du truc ; 620000 ; 2681000 ; 6 ; (X,Y,Z, trucc) 19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0; 0001é;620000;2681000;6;é 19580802; 0.0; 0.0; 14.6; 9.8; 8.0; 2861.0; 2139.7; 0.441; -0.999; 3.0; 3.4; 0001é;620000;2681000é .....

---

Sur quel système es-tu ? Micro$oft que ça ne m'étonnerait pas :(

Il y a aussi un résidu de lettre accentuée (0001é;620000;2681000;6;é) :?

Je suis sous Linux, centos exactement!!

Et ton ton fichier source il est au format Unix ?

Je n'avais pas vu, mais faire un "sed -i" c'est quelque part assez irresponsable :(
Affiche le résultat à l'écran pour commencer, tu auras tout le temps ensuite de faire les modifications "en place" quand tu seras sûr que la syntaxe est la bonne :?

Il est possible d'obtenir un bout de ton fichier histoire de tester ?

J'ai une sauvegarde de mes fichiers de Départ, pas de souci à ce niveau :)
Je ne crois pas que c'est des fichiers unix!!!
ce qui est bizard!! quand j’exécute le sed sans le -i, s'affiche l'inverse de ce que je veux,

Code:

---

0004�;604000;2673000;2;1.7; 1.5; 7.0; 3036.1; 1514.6; 0.742; 0.578; 2.1; 2.2;

---

Que te retourne la commande file ton_fichier et cat -A ton_fichier ?

File monfichier => ISO-8859 text whith CRLF line terminators
cat monfichier => à la fin de chaque ligne ^M$

Ben te reste plus qu'à convertir ton fichier au format Unix (dos2unix) ;)

J'ai converti mon fichier ça fonctionne :)
meme si il ya toutjours les 'è'!! au moins j'ai ma ligne complète maintenant.
Merci pour ton aide

Au cas ou, voilà les explications concernant la commande "sed . J'ai juste changé le "H" (ajoute à la mémoire secondaire) par "h" (écrase la mémoire secondaire).

Le code :

Code:

---

1 2 3 4 5 6 7 8 9 10

1 { N h s/[^;0-9]//g s/\(.*\);.*;$/\1/ x b } G s/\n//

---

Les explications :

Citation:

---

1 {
Adressage de la 1ère ligne. Ce qui se trouve entre accolades ne s'appliquera qu'à cette ligne (et la suivante à cause de la commande qui suit (N))

N
Commande N (Next). Ajoute la ligne suivante dans l'espace de travail (mémoire principale de sed)

h
On sauvegarde ces 2 lignes dans la mémoire secondaire de sed. Un exemplaire étant toujours présent dans la mémoire principale.

s/[^;0-9]//g
On supprime tout ce qui ne ressemble pas à un point virgule ( ; ) ou à des chiffres. Ce qui nous laisse dans l'espace de travail un truc comme "0001;620000;2681000;6;"

s/\(.*\);.*;$/\1/
On supprime les 2 derniers points-virgules et ce qui se trouve entre. Reste donc "0001;620000;2681000"


x
On échange le contenu des 2 mémoires avec la commande "x" (exchange)

b
On se branche à la fin su script pour attaquer un nouveau cycle commençant après la 2nd ligne du fichier. Le contenu de la mémoire principale (les deux premières lignes sauvegardées en tout début de traitement) étant envoyé sur la sortie standard

}
Fin des commandes ne s'appliquant qu'aux deux premières lignes

G
A partir de là, pour toutes lignes lues, le contenu de la mémoire secondaire sera ajouté à la fin

s/\n//
Comme tout ajout génère un saut de ligne (\n) entre les deux parties, on supprime ce saut de ligne

---

;)

Merci pour les explications :)

Bonjour,
j'ai presque fini le traitement de mes fichiers mais il me reste juste ce caractère � qui apparaît comme "é",
je n'arrive pas à virer les accents et quand je fais "cat -A monfichier" ça donne :
19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0;
0001M-i;620000;2681000;6;M-i$
si vous avez des explications je suis prenant, merci!

Salut,

Essaie de les supprimer avec sed 's/\xc3\xa9//g' ;)

ça n'a rien donné sur mon fichier!! :s
et ça marche si je le teste sur un fichier que je me crée moi même avec des accents!!

Alors essaie de déterminer quel est le code hexa de ton "é" dans ton fichier avec la commande od -x.

j'ai pas trouvé autre méthode pour avoir le hexa de mon "é"
alors je l'ai copié dans un fichier et ça donne!!!

Code:

---

1 2	0000000 0ae9 0000002

---

Essaie avec sed 's/\xe9//'. Mais je doute, le copier/coller ayant peut être faussé la donne :?

Ca donne toujours rien :s

Citation:

---

Envoyé par yaboki

Ca donne toujours rien :s

---

Mea culpa j'ai oublié le "x" : sed 's/\e9//' => sed 's/\xe9//' :oops:

Citation:

---

Envoyé par zipe31

Mea culpa j'ai oublié le "x" : sed 's/\e9//' => sed 's/\xe9//' :oops:

---

Ca marche :)
Merci pour votre aide.
donc j'ajoute le g pour supprimer toute les occurrences de la ligne
et ça donne:

Code:

---

sed 's/\xe9//g'

---

Je deviens fun de cette fonction sed :)