Lecture de fichier ligne à ligne

Version imprimable

30/12/2015, 16h21
Takezoshi

3 pièce(s) jointe(s)

Lecture de fichier ligne à ligne

Bonjour,

je suis actuellement en train d'écrire un script shell pour récupérer les informations utiles dans un fichier .csv.

J'ai dévellopé ce script sur une distibution linux propre à EDF et basé sur une souche debian 8.

Jusque là aucun problème. Les ennuis commence après avoir copié mon script sur un cluster de calcul qui tourne sous debian 7.

J'ai copié le fichier csv également en prenant bien soin de faire un md5sum pour vérifier l'intégrité de ma copie, et l'intégrité du script. RAS !!

Le problème que j'ai identifié viendrait du while read line... Ci dessous de copie d'écran du while read line faite sur le même fichier csv sur deux machine différente, une sur mon poste, l'autre sur le cluster.
(j'ai ajouté un head -5, le fichier csv faisant plus de 8000 lignes)

Sur mon poste:
Pièce jointe 196668

Sur le Cluster:
Pièce jointe 196669

Voila dans un cas le read ne lit pas la ligne jusqu'au bout, ce qui fout en l'air tous les tests que j'avais pu faire par la suite dans mon script.
Dans le doute j'ai eu l'idée d'afficher les deux premieres lignes sur le cluster histoire d'être sur que le fichier csv était intègre, et sans surprise il l'est....
Pièce jointe 196670

Bref je sèche et cela m'empêche d'avancer. Si jamais une bonne âme avait un début d'idée sur la nature de mon problème je lui en saurai gré.

PLS HELP !!!!
30/12/2015, 16h52
Christophe

Déjà les signes cabalystiques c'est pas top.

Un prob d'encodage ne pourrait t'il pas poser problème ?
30/12/2015, 16h57
jack-ft

Citation:

Envoyé par Takezoshi

Bref je sèche et cela m'empêche d'avancer. Si jamais une bonne âme avait un début d'idée sur la nature de mon problème je lui en saurai gré.

PLS HELP !!!!

Bizarre, en effet!

Peux-tu copier/coller le texte (et non une copie d'écran, please) du résultat de la commande (sur le cluster), de préférence entre balises CODE (cliquer sur le dièse):

Code:

head -5 Fe-59.pst.csv

et aussi (pour voir s'il y a des caractères bizarres (notamment autour du 5ème champ)) le résultat de :

Code:

head -5 Fe-59.pst.csv | od -c

Peux-tu faire un essai en remplaçant dans ton script echo $line par echo "$line" (juste pour voir).

Et peut-être aussi un essai en remplaçant read line par read -r line (juste pour voir...)

Bonjour :coucou:

J'ai eu le même réflexe que Jack-ft sur l'absence de double-quote. Mais en fait c'est plus simple: Tu n'as pas défini ton séparateur ! Et par défaut, c'est l'espace. Il faut dire que c'est la virgule.

Je copie-colle tous mes tests:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$ vline=''
$ echo $vline;echo toto
 
toto
$ read a b c d < <(echo 'a, b,, c, d')                                                                                                                                                                   
$ echo $a
a,
$ echo $b
b,,
$ echo $c
c,
$ echo $d
d
$ IFS=',' read a b c d < <(echo 'a, b,, c, d')                                                                                                                                                           
$ echo $a
a
$ echo $b
b
$ echo $c
 
$ echo $d
c, d
$

Dans le deuxième read, il a bien compris que le séparateur était la virgule.
Attention ! Définir l'IFS avant la commande ne le modifie QUE pour la commande.

Conseil perso: si tu manipules des csv, pense à utiliser awk.

Par rapport à ce que tu disais Flodelarab, changer l'IFS ne change rien au problème. Ce qui ne me surprend pas, en effet si c'était un problem d'IFS et que le premier avait compris que l'IFS courant était la virgule, il n'y aurait que le champs correspondant à l'année dans $line (cad 2006), où alors c'est que j'ai vraiment rien compris au schmilblick =)
Après tu as peut etre un début de piste...

Sinon, j'ai fait les test que tu me demandais jack-ft, et ca n'avance pas tellement

Code:

1
2
3
4
5
6
7
 
Cluster# head -5 Fe-59.pst.csv 
 Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|FE-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source773|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr
 2006,    1,    0,     -999,,     500.00,       0.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
 2006,    1,    0,     -999,,     500.00,      10.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
 2006,    1,    0,     -999,,     500.00,      20.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
 2006,    1,    0,     -999,,     500.00,      30.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03

et voila pour la représentation octal:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
 
Cluster# head -5 Fe-59.pst.csv | od -c
0000000       Y   e   a   r   ,   D   a   y   ,   H   o   u   r   ,   T
0000020   i   m   e   (   s   )   ,   R   e   c   e   p   t   o   r    
0000040   n   a   m   e   ,   R   (   m   )   ,   T   h   e   t   a   (
0000060   d   e   g   r   e   e   s   )   ,   Z   (   m   )   ,   C   o
0000100   n   c   |   B   q   /   m 263   |   F   E   -   5   9   |   S
0000120   o   u   r   c   e   7   7   3   |   -   |       1   h   r   ,
0000140   D   r   y   |   B   q   /   m 262   /   s   |   F   E   -   5
0000160   9   |   S   o   u   r   c   e   7   7   3   |   -   |       1
0000200   h   r   ,   W   e   t   |   B   q   /   m 262   /   s   |   F
0000220   E   -   5   9   |   S   o   u   r   c   e   7   7   3   |   -
0000240   |       1   h   r   ,   T   o   t   |   B   q   /   m 262   /
0000260   s   |   F   E   -   5   9   |   S   o   u   r   c   e   7   7
0000300   3   |   -   |       1   h   r   ,   C   o   n   c   |   B   q
0000320   /   m 263   |   C   O   -   5   9   |   S   o   u   r   c   e
0000340   7   7   3   |   -   |       1   h   r   ,   D   r   y   |   B
0000360   q   /   m 262   /   s   |   C   O   -   5   9   |   S   o   u
0000400   r   c   e   7   7   3   |   -   |       1   h   r   ,   W   e
0000420   t   |   B   q   /   m 262   /   s   |   C   O   -   5   9   |
0000440   S   o   u   r   c   e   7   7   3   |   -   |       1   h   r
0000460   ,   T   o   t   |   B   q   /   m 262   /   s   |   C   O   -
0000500   5   9   |   S   o   u   r   c   e   7   7   3   |   -   |    
0000520   1   h   r  \r  \n       2   0   0   6   ,                   1
0000540   ,                   0   ,                       -   9   9   9
0000560   ,  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
0000600  \0  \0  \0  \0  \0   ,                       5   0   0   .   0
0000620   0   ,                               0   .   0   0   ,        
0000640                       1   .   0   0   ,       -   0   .   9   9
0000660   9   0   0   0   E   +   0   3   ,       -   0   .   9   9   9
0000700   0   0   0   E   +   0   3   ,       -   0   .   9   9   9   0
0000720   0   0   E   +   0   3   ,       -   0   .   9   9   9   0   0
0000740   0   E   +   0   3   ,       -   0   .   9   9   9   0   0   0
0000760   E   +   0   3   ,       -   0   .   9   9   9   0   0   0   E
0001000   +   0   3   ,       -   0   .   9   9   9   0   0   0   E   +
0001020   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0001040   3  \r  \n       2   0   0   6   ,                   1   ,    
0001060               0   ,                       -   9   9   9   ,  \0
0001100  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
0001120  \0  \0  \0   ,                       5   0   0   .   0   0   ,
0001140                           1   0   .   0   0   ,                
0001160               1   .   0   0   ,       -   0   .   9   9   9   0
0001200   0   0   E   +   0   3   ,       -   0   .   9   9   9   0   0
0001220   0   E   +   0   3   ,       -   0   .   9   9   9   0   0   0
0001240   E   +   0   3   ,       -   0   .   9   9   9   0   0   0   E
0001260   +   0   3   ,       -   0   .   9   9   9   0   0   0   E   +
0001300   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0001320   3   ,       -   0   .   9   9   9   0   0   0   E   +   0   3
0001340   ,       -   0   .   9   9   9   0   0   0   E   +   0   3  \r
0001360  \n       2   0   0   6   ,                   1   ,            
0001400       0   ,                       -   9   9   9   ,  \0  \0  \0
0001420  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
0001440  \0   ,                       5   0   0   .   0   0   ,        
0001460                   2   0   .   0   0   ,                        
0001500       1   .   0   0   ,       -   0   .   9   9   9   0   0   0
0001520   E   +   0   3   ,       -   0   .   9   9   9   0   0   0   E
0001540   +   0   3   ,       -   0   .   9   9   9   0   0   0   E   +
0001560   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0001600   3   ,       -   0   .   9   9   9   0   0   0   E   +   0   3
0001620   ,       -   0   .   9   9   9   0   0   0   E   +   0   3   ,
0001640       -   0   .   9   9   9   0   0   0   E   +   0   3   ,    
0001660   -   0   .   9   9   9   0   0   0   E   +   0   3  \r  \n    
0001700   2   0   0   6   ,                   1   ,                   0
0001720   ,                       -   9   9   9   ,  \0  \0  \0  \0  \0
0001740  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0   ,
0001760                       5   0   0   .   0   0   ,                
0002000           3   0   .   0   0   ,                               1
0002020   .   0   0   ,       -   0   .   9   9   9   0   0   0   E   +
0002040   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0002060   3   ,       -   0   .   9   9   9   0   0   0   E   +   0   3
0002100   ,       -   0   .   9   9   9   0   0   0   E   +   0   3   ,
0002120       -   0   .   9   9   9   0   0   0   E   +   0   3   ,    
0002140   -   0   .   9   9   9   0   0   0   E   +   0   3   ,       -
0002160   0   .   9   9   9   0   0   0   E   +   0   3   ,       -   0
0002200   .   9   9   9   0   0   0   E   +   0   3  \r  \n
0002215

Et la effectivement on peut voir qu'après le champs avec 999, il ya une suite d' \0 pour le champs supposés être vide. Est ce que l'erreur pourrait venir de là ?

Enfin pour répondre à chrtophe, il y a effectivement un problème d'encodage, doù les signes cabbalistiques, mais ceci sont situé à la première ligne et ce sont les autres qui coincent, je ne pense donc pas que le problème puisse venir de là.

En tout cas merci à tous pour vos réponses.

Bonjour,
Ce qui serait bien dans ton cas, ce serait de pouvoir supprimer les '\0' à la source, sinon voici des exemples...

Le fichier:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
$ sed -n 'l' bob.txt
 Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq\
/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|\
-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|F\
E-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq\
/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source77\
3|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr$
 2006,    1,    0,     -999,\000\000\000\000\000\000\000\000\000\000,\
     500.00,       0.00,       1.00, -0.999000E+03, -0.999000E+03, -0\
.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+\
03, -0.999000E+03$
 2006,    1,    0,     -999,\000\000\000\000\000\000\000\000\000\000,\
     500.00,      10.00,       1.00, -0.999000E+03, -0.999000E+03, -0\
.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+\
03, -0.999000E+03$
 2006,    1,    0,     -999,\000\000\000\000\000\000\000\000\000\000,\
     500.00,      20.00,       1.00, -0.999000E+03, -0.999000E+03, -0\
.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+\
03, -0.999000E+03$
 2006,    1,    0,     -999,\000\000\000\000\000\000\000\000\000\000,\
     500.00,      30.00,       1.00, -0.999000E+03, -0.999000E+03, -0\
.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+\
03, -0.999000E+03$

Le code qui ne fonctionne pas:

Code:

1
2
3
4
5
6
$ while read line ; do echo "$line" ; done <bob.txt
Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|FE-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source773|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr
2006,    1,    0,     -999,
2006,    1,    0,     -999,
2006,    1,    0,     -999,
2006,    1,    0,     -999,

Un code qui fonctionne:

Code:

1
2
3
4
5
6
$ tr -d '\0' <bob.txt | while read line ; do echo "$line" ; done
Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|FE-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source773|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr
2006,    1,    0,     -999,,     500.00,       0.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      10.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      20.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      30.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03

La version sans le pipe:

Code:

1
2
3
4
5
6
$ while read line ; do echo "$line" ; done < <(<bob.txt tr -d '\0')
Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|FE-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source773|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr
2006,    1,    0,     -999,,     500.00,       0.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      10.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      20.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      30.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03

ou:

Code:

1
2
3
4
5
6
$ while read line ; do echo "$line" ; done < <(tr -d '\0' <bob.txt)
Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|FE-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source773|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr
2006,    1,    0,     -999,,     500.00,       0.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      10.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      20.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
2006,    1,    0,     -999,,     500.00,      30.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03

Attention: il faut un espace entre les 2 '<' ( < <(.....) )

31/12/2015, 11h55
Takezoshi

Merci beaucoup disedorgue :P

Pourrais je abuser de ton savoir et te demander à quoi servent les doubles "<". Un simple chevron n'aurait sans doute pas suffit et j'aimerais comprendre pourquoi ...

Si d'autres ont la réponse ils sont les bienvenus. =)
31/12/2015, 12h13
disedorgue
La syntaxe <(commandes...), dit au shell (qui supporte cette syntaxe bien sûr), de créer un fichier virtuel dont le contenu sera le résultat de l'exécution des commandes se trouvant à l'intérieur des parenthèses.
Et donc le 2ème chevron est juste la redirection de ce fichier vers l'entrée standard.
Pour simplifier, pour ton cas, un pseudo-équivalent:
Code:

1 2 tr -d '\0' <bob.txt >fichier_temporaire while read ligne ; do echo $ligne ; done <fichier_temporaire
Sauf, que là, il faut aussi rajouter un rm fichier_temporaire.
31/12/2015, 14h24
Takezoshi

Super merci pour l'info, ca me sera carrément utilie dans le futur je pense.
31/12/2015, 14h57
Flodelarab

Si tu cherches des infos sur le net, ça s'appelle une substitution de processus.

À ne pas confondre avec la substitution de commande $( ) ou `` qui permet de considérer le résultat d'une commande comme une chaîne.

Je me demande à l'inverse, pourquoi le 0 terminal, indicateur de fin de chaîne, peut être ignoré.

En fait,

Sous dash, point de souci, cela fonctionne directement.

Et sous bash, on arrive à avoir les champs mais pas sur la même ligne lorsque l'on utilise l'option -d '':

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
$ while read -d "" i; do echo "$i" ; done <bob.txt
Year,Day,Hour,Time(s),Receptor name,R(m),Theta(degrees),Z(m),Conc|Bq/m�|FE-59|Source773|-| 1hr,Dry|Bq/m�/s|FE-59|Source773|-| 1hr,Wet|Bq/m�/s|FE-59|Source773|-| 1hr,Tot|Bq/m�/s|FE-59|Source773|-| 1hr,Conc|Bq/m�|CO-59|Source773|-| 1hr,Dry|Bq/m�/s|CO-59|Source773|-| 1hr,Wet|Bq/m�/s|CO-59|Source773|-| 1hr,Tot|Bq/m�/s|CO-59|Source773|-| 1hr
 2006,    1,    0,     -999,
 
 
 
 
 
 
 
 
 
,     500.00,       0.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
 2006,    1,    0,     -999,
 
 
 
 
 
 
 
 
 
,     500.00,      10.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
 2006,    1,    0,     -999,
 
 
 
 
 
 
 
 
 
,     500.00,      20.00,       1.00, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03, -0.999000E+03
 2006,    1,    0,     -999,

Après, est-ce un bug ???

Citation:

Envoyé par Takezoshi

Sinon, j'ai fait les test que tu me demandais jack-ft, et ca n'avance pas tellement

Si, si, avec la représentation en octal!

Citation:

et voila pour la représentation octal:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
 
Cluster# head -5 Fe-59.pst.csv | od -c
0000000       Y   e   a   r   ,   D   a   y   ,   H   o   u   r   ,   T
0000020   i   m   e   (   s   )   ,   R   e   c   e   p   t   o   r    
0000040   n   a   m   e   ,   R   (   m   )   ,   T   h   e   t   a   (
0000060   d   e   g   r   e   e   s   )   ,   Z   (   m   )   ,   C   o
0000100   n   c   |   B   q   /   m 263   |   F   E   -   5   9   |   S
0000120   o   u   r   c   e   7   7   3   |   -   |       1   h   r   ,
0000140   D   r   y   |   B   q   /   m 262   /   s   |   F   E   -   5
0000160   9   |   S   o   u   r   c   e   7   7   3   |   -   |       1
0000200   h   r   ,   W   e   t   |   B   q   /   m 262   /   s   |   F
0000220   E   -   5   9   |   S   o   u   r   c   e   7   7   3   |   -
0000240   |       1   h   r   ,   T   o   t   |   B   q   /   m 262   /
0000260   s   |   F   E   -   5   9   |   S   o   u   r   c   e   7   7
0000300   3   |   -   |       1   h   r   ,   C   o   n   c   |   B   q
0000320   /   m 263   |   C   O   -   5   9   |   S   o   u   r   c   e
0000340   7   7   3   |   -   |       1   h   r   ,   D   r   y   |   B
0000360   q   /   m 262   /   s   |   C   O   -   5   9   |   S   o   u
0000400   r   c   e   7   7   3   |   -   |       1   h   r   ,   W   e
0000420   t   |   B   q   /   m 262   /   s   |   C   O   -   5   9   |
0000440   S   o   u   r   c   e   7   7   3   |   -   |       1   h   r
0000460   ,   T   o   t   |   B   q   /   m 262   /   s   |   C   O   -
0000500   5   9   |   S   o   u   r   c   e   7   7   3   |   -   |    
0000520   1   h   r  \r  \n       2   0   0   6   ,                   1
0000540   ,                   0   ,                       -   9   9   9
0000560   ,  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
0000600  \0  \0  \0  \0  \0   ,                       5   0   0   .   0
0000620   0   ,                               0   .   0   0   ,        
0000640                       1   .   0   0   ,       -   0   .   9   9
0000660   9   0   0   0   E   +   0   3   ,       -   0   .   9   9   9
0000700   0   0   0   E   +   0   3   ,       -   0   .   9   9   9   0
0000720   0   0   E   +   0   3   ,       -   0   .   9   9   9   0   0
0000740   0   E   +   0   3   ,       -   0   .   9   9   9   0   0   0
0000760   E   +   0   3   ,       -   0   .   9   9   9   0   0   0   E
0001000   +   0   3   ,       -   0   .   9   9   9   0   0   0   E   +
0001020   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0001040   3  \r  \n       2   0   0   6   ,                   1   ,    
0001060               0   ,                       -   9   9   9   ,  \0
0001100  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
0001120  \0  \0  \0   ,                       5   0   0   .   0   0   ,
0001140                           1   0   .   0   0   ,                
0001160               1   .   0   0   ,       -   0   .   9   9   9   0
0001200   0   0   E   +   0   3   ,       -   0   .   9   9   9   0   0
0001220   0   E   +   0   3   ,       -   0   .   9   9   9   0   0   0
0001240   E   +   0   3   ,       -   0   .   9   9   9   0   0   0   E
0001260   +   0   3   ,       -   0   .   9   9   9   0   0   0   E   +
0001300   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0001320   3   ,       -   0   .   9   9   9   0   0   0   E   +   0   3
0001340   ,       -   0   .   9   9   9   0   0   0   E   +   0   3  \r
0001360  \n       2   0   0   6   ,                   1   ,            
0001400       0   ,                       -   9   9   9   ,  \0  \0  \0
0001420  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0
0001440  \0   ,                       5   0   0   .   0   0   ,        
0001460                   2   0   .   0   0   ,                        
0001500       1   .   0   0   ,       -   0   .   9   9   9   0   0   0
0001520   E   +   0   3   ,       -   0   .   9   9   9   0   0   0   E
0001540   +   0   3   ,       -   0   .   9   9   9   0   0   0   E   +
0001560   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0001600   3   ,       -   0   .   9   9   9   0   0   0   E   +   0   3
0001620   ,       -   0   .   9   9   9   0   0   0   E   +   0   3   ,
0001640       -   0   .   9   9   9   0   0   0   E   +   0   3   ,    
0001660   -   0   .   9   9   9   0   0   0   E   +   0   3  \r  \n    
0001700   2   0   0   6   ,                   1   ,                   0
0001720   ,                       -   9   9   9   ,  \0  \0  \0  \0  \0
0001740  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0  \0   ,
0001760                       5   0   0   .   0   0   ,                
0002000           3   0   .   0   0   ,                               1
0002020   .   0   0   ,       -   0   .   9   9   9   0   0   0   E   +
0002040   0   3   ,       -   0   .   9   9   9   0   0   0   E   +   0
0002060   3   ,       -   0   .   9   9   9   0   0   0   E   +   0   3
0002100   ,       -   0   .   9   9   9   0   0   0   E   +   0   3   ,
0002120       -   0   .   9   9   9   0   0   0   E   +   0   3   ,    
0002140   -   0   .   9   9   9   0   0   0   E   +   0   3   ,       -
0002160   0   .   9   9   9   0   0   0   E   +   0   3   ,       -   0
0002200   .   9   9   9   0   0   0   E   +   0   3  \r  \n
0002215

Et la effectivement on peut voir qu'après le champs avec 999, il ya une suite d' \0 pour le champs supposés être vide. Est ce que l'erreur pourrait venir de là ?

Juste pour conclure: ben oui! Le problème (et non l'erreur) vient bien de là.
Si une ligne du fichier contient un '\0', il semblerait que la commande read line lise jusqu'à trouver soit la fin de ligne, soit un '\0' (je n'ai rien trouvé à ce sujet dans man bash).

L'idéal, àmha, serait que le process qui produit le fichier ne mette pas des '\0' au beau milieu d'une ligne!
Mélanger des données binaires et des caractères n'est pas une bonne idée: ça complique la lecture et l'interprétation des données.
La preuve!

Sinon, s'il n'est pas possible de changer le producteur du fichier, les solutions proposées, à base de tr -d '\0', permettent de contourner le problème.