Traitement de plusieurs fichiers textes

**yaboki** · 05/03/2012, 15h59

Bonjour,
J'ai plusieurs fichiers textes et je veux les mettre en forme pour pourvoir les insérer dans une base oracle.
mais avant je dois faire des traitements, j'ai commencé à faire quelques uns avec la commande "sed".
je note que mon dossier contient plusieurs fichier texte, fichier_0001 .... fichier_N.
Par exemple j'ai appliqué cette commande pour supprimer les 4 premieres lignes sur tout les fichiers textes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i "1,4d" *.txt

je suis arrivé à cette forme de fichier.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Code 0001
Coordonnées du truc ;     620000 ;    2681000  ;    6 ; (X,Y,Z, trucc)
19580801;  0.0;  3.4; 15.2;  3.5;  9.0;  3023.6;   935.8;   0.454;  -0.999;  3.1;    2.0;
19580802;  0.0;  0.0; 14.6;  9.8;  8.0;  2861.0;  2139.7;   0.441;  -0.999;  3.0;    3.4;
19580803;  0.0;  0.2; 15.5;  4.5;  9.0;  3168.4;   873.8;   0.433;  -0.999;  3.2;    2.1;
19580804;  0.0;  0.4; 15.8;  8.5; 10.0;  3376.1;   497.3;   0.433;  -0.999;  3.2;    1.5;
19580805;  0.0;  1.4; 16.6;  8.5; 10.0;  3447.7;   829.7;   0.427;  -0.999;  3.3;    2.2;
19580806;  0.0;  1.1; 15.5;  7.4;  9.0;  3181.5;  1037.2;   0.423;  -0.999;  3.1;    2.4;
19580807;  0.0;  7.9; 13.8;  4.9;  9.0;  3228.9;   951.5;   0.467;  -0.999;  2.8;    1.5;
19580808;  0.0;  0.6; 15.7;  7.5; 10.0;  3126.7;   756.1;   0.464;  -0.999;  3.1;    1.6;
19580809;  0.0;  0.9; 17.5;  4.9; 12.0;  3443.4;   670.4;   0.462;  -0.999;  3.3;    1.2;
19580810;  0.0;  0.0; 21.2;  4.6; 13.0;  3023.0;  2186.8;   0.446;  -0.999;  3.9;    4.0;
19580811;  0.0;  0.4; 17.6;  4.3; 11.0;  3288.2;   509.1;   0.441;  -0.999;  3.3;    1.6;
19580812;  0.0;  0.9; 15.7;  6.8; 10.0;  3348.8;   943.3;   0.437;  -0.999;  3.0;    1.7;
19580813;  0.0;  5.8; 16.1;  8.1; 10.0;  3256.0;  1153.7;   0.437;  -0.999;  3.1;    2.1;

le but c'est mettre les infos en gras sur chaque ligne
voici la forme que je cherche à avoir:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Code 0001
Coordonnées du centre ;     620000 ;    2681000  ;    6 ; (X,Y,Z, Lambert II étendu)
19580801;  0.0;  3.4; 15.2;  3.5;  9.0;  3023.6;   935.8;   0.454;  -0.999;  3.1;    2.0;0001;620000;2681000
19580802;  0.0;  0.0; 14.6;  9.8;  8.0;  2861.0;  2139.7;   0.441;  -0.999;  3.0;    3.4;0001;620000;2681000
19580803;  0.0;  0.2; 15.5;  4.5;  9.0;  3168.4;   873.8;   0.433;  -0.999;  3.2;    2.1;0001;620000;2681000
19580804;  0.0;  0.4; 15.8;  8.5; 10.0;  3376.1;   497.3;   0.433;  -0.999;  3.2;    1.5;0001;620000;2681000
19580805;  0.0;  1.4; 16.6;  8.5; 10.0;  3447.7;   829.7;   0.427;  -0.999;  3.3;    2.2;0001;620000;2681000
19580806;  0.0;  1.1; 15.5;  7.4;  9.0;  3181.5;  1037.2;   0.423;  -0.999;  3.1;    2.4;0001;620000;2681000
19580807;  0.0;  7.9; 13.8;  4.9;  9.0;  3228.9;   951.5;   0.467;  -0.999;  2.8;    1.5;0001;620000;2681000
19580808;  0.0;  0.6; 15.7;  7.5; 10.0;  3126.7;   756.1;   0.464;  -0.999;  3.1;    1.6;0001;620000;2681000
19580809;  0.0;  0.9; 17.5;  4.9; 12.0;  3443.4;   670.4;   0.462;  -0.999;  3.3;    1.2;0001;620000;2681000
19580810;  0.0;  0.0; 21.2;  4.6; 13.0;  3023.0;  2186.8;   0.446;  -0.999;  3.9;    4.0;0001;620000;2681000
19580811;  0.0;  0.4; 17.6;  4.3; 11.0;  3288.2;   509.1;   0.441;  -0.999;  3.3;    1.6;0001;620000;2681000
19580812;  0.0;  0.9; 15.7;  6.8; 10.0;  3348.8;   943.3;   0.437;  -0.999;  3.0;    1.7;0001;620000;2681000
19580813;  0.0;  5.8; 16.1;  8.1; 10.0;  3256.0;  1153.7;   0.437;  -0.999;  3.1;    2.1;0001;620000;2681000

Si vous avez des pistes pour m'aider merci par avance.

**N_BaH** · 05/03/2012, 16h11

Bonjour,

pour faire simple, je partirais sur du awk :

Code pseudo-code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
si #ligne = 5
   L= ligne
   v1= ligne - 'code '
   afficher L
si #ligne = 6
   v2= 2e col
   v3= 3e col
   afficher ligne
si #ligne > 6
   afficher ligne;v1;v2;v3

à répéter pour chaque fichier, et on oublie la commande sed.

**zipe31** · 05/03/2012, 16h47

Salut,

Envoyé par N_BaH

et on oublie la commande sed.

Ah ben pourquoi ???

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
$ cat plop 
Code 0001
Coordonnées du truc ;     620000 ;    2681000  ;    6 ; (X,Y,Z, trucc)
19580801;  0.0;  3.4; 15.2;  3.5;  9.0;  3023.6;   935.8;   0.454;  -0.999;  3.1;    2.0;
19580802;  0.0;  0.0; 14.6;  9.8;  8.0;  2861.0;  2139.7;   0.441;  -0.999;  3.0;    3.4;
19580803;  0.0;  0.2; 15.5;  4.5;  9.0;  3168.4;   873.8;   0.433;  -0.999;  3.2;    2.1;
19580804;  0.0;  0.4; 15.8;  8.5; 10.0;  3376.1;   497.3;   0.433;  -0.999;  3.2;    1.5;
19580805;  0.0;  1.4; 16.6;  8.5; 10.0;  3447.7;   829.7;   0.427;  -0.999;  3.3;    2.2;
19580806;  0.0;  1.1; 15.5;  7.4;  9.0;  3181.5;  1037.2;   0.423;  -0.999;  3.1;    2.4;
19580807;  0.0;  7.9; 13.8;  4.9;  9.0;  3228.9;   951.5;   0.467;  -0.999;  2.8;    1.5;
19580808;  0.0;  0.6; 15.7;  7.5; 10.0;  3126.7;   756.1;   0.464;  -0.999;  3.1;    1.6;
19580809;  0.0;  0.9; 17.5;  4.9; 12.0;  3443.4;   670.4;   0.462;  -0.999;  3.3;    1.2;
19580810;  0.0;  0.0; 21.2;  4.6; 13.0;  3023.0;  2186.8;   0.446;  -0.999;  3.9;    4.0;
19580811;  0.0;  0.4; 17.6;  4.3; 11.0;  3288.2;   509.1;   0.441;  -0.999;  3.3;    1.6;
19580812;  0.0;  0.9; 15.7;  6.8; 10.0;  3348.8;   943.3;   0.437;  -0.999;  3.0;    1.7;
19580813;  0.0;  5.8; 16.1;  8.1; 10.0;  3256.0;  1153.7;   0.437;  -0.999;  3.1;    2.1;
 
$ sed '1{N;H;s/[^;0-9]//g;s/\(.*\);.*;$/\1/;x;b};G;s/\n//' plop
 
Code 0001
Coordonnées du truc ;     620000 ;    2681000  ;    6 ; (X,Y,Z, trucc)
19580801;  0.0;  3.4; 15.2;  3.5;  9.0;  3023.6;   935.8;   0.454;  -0.999;  3.1;    2.0;0001;620000;2681000
19580802;  0.0;  0.0; 14.6;  9.8;  8.0;  2861.0;  2139.7;   0.441;  -0.999;  3.0;    3.4;0001;620000;2681000
19580803;  0.0;  0.2; 15.5;  4.5;  9.0;  3168.4;   873.8;   0.433;  -0.999;  3.2;    2.1;0001;620000;2681000
19580804;  0.0;  0.4; 15.8;  8.5; 10.0;  3376.1;   497.3;   0.433;  -0.999;  3.2;    1.5;0001;620000;2681000
19580805;  0.0;  1.4; 16.6;  8.5; 10.0;  3447.7;   829.7;   0.427;  -0.999;  3.3;    2.2;0001;620000;2681000
19580806;  0.0;  1.1; 15.5;  7.4;  9.0;  3181.5;  1037.2;   0.423;  -0.999;  3.1;    2.4;0001;620000;2681000
19580807;  0.0;  7.9; 13.8;  4.9;  9.0;  3228.9;   951.5;   0.467;  -0.999;  2.8;    1.5;0001;620000;2681000
19580808;  0.0;  0.6; 15.7;  7.5; 10.0;  3126.7;   756.1;   0.464;  -0.999;  3.1;    1.6;0001;620000;2681000
19580809;  0.0;  0.9; 17.5;  4.9; 12.0;  3443.4;   670.4;   0.462;  -0.999;  3.3;    1.2;0001;620000;2681000
19580810;  0.0;  0.0; 21.2;  4.6; 13.0;  3023.0;  2186.8;   0.446;  -0.999;  3.9;    4.0;0001;620000;2681000
19580811;  0.0;  0.4; 17.6;  4.3; 11.0;  3288.2;   509.1;   0.441;  -0.999;  3.3;    1.6;0001;620000;2681000
19580812;  0.0;  0.9; 15.7;  6.8; 10.0;  3348.8;   943.3;   0.437;  -0.999;  3.0;    1.7;0001;620000;2681000
19580813;  0.0;  5.8; 16.1;  8.1; 10.0;  3256.0;  1153.7;   0.437;  -0.999;  3.1;    2.1;0001;620000;2681000
 
$

Certes, c'est indigeste, mais c'est mangeable, non ?

**N_BaH** · 05/03/2012, 16h59

Ah ben pourquoi ???

c'est tout sed, ou tout awk, pas les deux

**zipe31** · 05/03/2012, 17h04

Envoyé par N_BaH

c'est tout sed, ou tout awk, pas les deux

Alors j'ai tout bon

**yaboki** · 05/03/2012, 17h19

Merci pour vos réponses.

pour le sed après exécution ce me donne ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i '1{N;H;s/[^;0-9]//g;s/\(.*\);.*;$/\1/;x;b};G;s/\n//' fichier.txt

et la ligne qu'on a ajouté revient à la ligne !!!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
Code 0001
Coordonnées du truc ;     620000 ;    2681000  ;    6 ; (X,Y,Z, trucc)
19580801;  0.0;  3.4; 15.2;  3.5;  9.0;  3023.6;   935.8;   0.454;  -0.999;  3.1;    2.0;
0001é;620000;2681000;6;é
19580802;  0.0;  0.0; 14.6;  9.8;  8.0;  2861.0;  2139.7;   0.441;  -0.999;  3.0;    3.4;
0001é;620000;2681000é
.....

**zipe31** · 05/03/2012, 17h32

Sur quel système es-tu ? Micro$oft que ça ne m'étonnerait pas

Il y a aussi un résidu de lettre accentuée (0001é;620000;2681000;6;é)

**yaboki** · 05/03/2012, 17h37

Je suis sous Linux, centos exactement!!

**zipe31** · 05/03/2012, 17h45

Et ton ton fichier source il est au format Unix ?

Je n'avais pas vu, mais faire un "sed -i" c'est quelque part assez irresponsable

Affiche le résultat à l'écran pour commencer, tu auras tout le temps ensuite de faire les modifications "en place" quand tu seras sûr que la syntaxe est la bonne

Il est possible d'obtenir un bout de ton fichier histoire de tester ?

**yaboki** · 05/03/2012, 17h59

J'ai une sauvegarde de mes fichiers de Départ, pas de souci à ce niveau

Je ne crois pas que c'est des fichiers unix!!!
ce qui est bizard!! quand j’exécute le sed sans le -i, s'affiche l'inverse de ce que je veux,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0004�;604000;2673000;2;1.7;  1.5;  7.0;  3036.1;  1514.6;   0.742;   0.578;  2.1;    2.2;

**zipe31** · 05/03/2012, 18h12

Que te retourne la commande file ton_fichier et cat -A ton_fichier ?

**yaboki** · 05/03/2012, 18h24

File monfichier => ISO-8859 text whith CRLF line terminators
cat monfichier => à la fin de chaque ligne ^M$

**zipe31** · 05/03/2012, 18h26

Ben te reste plus qu'à convertir ton fichier au format Unix (dos2unix)

**yaboki** · 05/03/2012, 18h35

J'ai converti mon fichier ça fonctionne

meme si il ya toutjours les 'è'!! au moins j'ai ma ligne complète maintenant.
Merci pour ton aide

**zipe31** · 05/03/2012, 18h52

Au cas ou, voilà les explications concernant la commande "sed . J'ai juste changé le "H" (ajoute à la mémoire secondaire) par "h" (écrase la mémoire secondaire).

Le code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
1 {                                    
    N                                  
    h                                  
    s/[^;0-9]//g                       
    s/\(.*\);.*;$/\1/                  
    x                                  
    b                                  
}                                      
G                                      
s/\n//

Les explications :

1 {
Adressage de la 1ère ligne. Ce qui se trouve entre accolades ne s'appliquera qu'à cette ligne (et la suivante à cause de la commande qui suit (N))

N
Commande N (Next). Ajoute la ligne suivante dans l'espace de travail (mémoire principale de sed)

h
On sauvegarde ces 2 lignes dans la mémoire secondaire de sed. Un exemplaire étant toujours présent dans la mémoire principale.

s/[^;0-9]//g
On supprime tout ce qui ne ressemble pas à un point virgule ( ; ) ou à des chiffres. Ce qui nous laisse dans l'espace de travail un truc comme "0001;620000;2681000;6;"

s/$.*$;.*;$/\1/
On supprime les 2 derniers points-virgules et ce qui se trouve entre. Reste donc "0001;620000;2681000"

x
On échange le contenu des 2 mémoires avec la commande "x" (exchange)

b
On se branche à la fin su script pour attaquer un nouveau cycle commençant après la 2nd ligne du fichier. Le contenu de la mémoire principale (les deux premières lignes sauvegardées en tout début de traitement) étant envoyé sur la sortie standard

}
Fin des commandes ne s'appliquant qu'aux deux premières lignes

G
A partir de là, pour toutes lignes lues, le contenu de la mémoire secondaire sera ajouté à la fin

s/\n//
Comme tout ajout génère un saut de ligne (\n) entre les deux parties, on supprime ce saut de ligne

**yaboki** · 05/03/2012, 21h28

Merci pour les explications

**yaboki** · 06/03/2012, 11h03

Bonjour,
j'ai presque fini le traitement de mes fichiers mais il me reste juste ce caractère � qui apparaît comme "é",
je n'arrive pas à virer les accents et quand je fais "cat -A monfichier" ça donne :
19580801; 0.0; 3.4; 15.2; 3.5; 9.0; 3023.6; 935.8; 0.454; -0.999; 3.1; 2.0;
0001M-i;620000;2681000;6;M-i$
si vous avez des explications je suis prenant, merci!