Discussion :

[GlmGil]

Bonjour,
je travaille avec deux fichiers de données, le premier contient une colonne représentant des altitudes de "référence", dans mon deuxième fichier j'ai une colonne avec des altitudes, auxquelles sont attribuées des mesures dans une deuxième colonne :

fichier 1 :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 
12.00100
12.75100
18.75100
...

fichier 2:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
12.770 7.7966E+11 
12.920 7.8995E+11 
13.070 6.9965E+11 
...

Ce que je veux faire est comparer la première colonne 1 du premier fichier avec celle du deuxième fichier, et si les valeurs sont similaires (les trois premiers chiffres suffisent), alors m'afficher les lignes correspondantes du deuxième fichier.

J'essaye avec 'awk' mais ce n'est pas assez clair :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
 
fic2=ozone_lidar/ozone_1807022011.txt 
fic1=trajectories/PartAlt.txt  
 
awk 'NR==FNR{arr[$1];next} $1 in arr' $fic2 $fic1

Auriez-vous une idée pour avancer ?
Merci

[N_BaH]

Bonjour,

qu'est-ce qui "n'est pas assez clair" ?

[Flodelarab]

Bonjour

Quelles sont les altitudes minimale et maximale ?

NB: Tu as inversé fic1 et fic2. Pourquoi ?

[GlmGil]

Alors c'est surtout l'utilisation de 'awk' qui n'est pas super clair, j'ai trouvé cette commande est essayé des trucs pour mon cas mais ça ne fonctionne pas.


Les altitudes minimales/maximales ne sont pas définies à l'avance pour les fichiers (je traite une série de 20 fichiers). A la limite je peux regarder ça pour chaque fichier, par exemple pour celui que je traite dans cette discussion c'est [12.247; 22.000] dans le fichier 1, et [10.070 ; 43.070] dans le fichier 2.


Et sinon j'ai inversé les deux fichiers uniquement parce que je regardais si ça marchait mieux comme ça, mais toujours aucun résultat

[disedorgue]

Pas testé, mais quelque chose du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/^\([0-9]\+\.[0-9]\).*/^\1/' fic1 | grep -f - fic2

Devrait le faire...

[GlmGil]

Oui je viens de tester ça, c'est parfait tout marche bien!

Merci

[Flodelarab]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ awk 'NR==FNR{arr[int($1*10)/10]++;next} (int($1*10)/10) in arr' fichier{1,2}.txt
12.770 7.7966E+11

[GlmGil]

Pas testé, mais quelque chose du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/^\([0-9]\+\.[0-9]\).*/^\1/' fic1 | grep -f - fic2

Devrait le faire...

finalement ça avait marché pour certains cas :



fichier 1 (référence):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
12.29900
12.30000
12.30100
12.30200
...

fichier 2 (à comparer) :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
11.720 1.8967E+12 
11.870 1.9118E+12 
12.020 1.9142E+12 
12.170 1.7528E+12 
12.320 1.3971E+12 
...

fichier de sortie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
12.320 1.3971E+12 
12.920 7.8995E+11 
13.070 6.9965E+11 
13.220 6.2091E+11 
13.370 7.1282E+11 
...

Mais pas d'autres :

fichier de référence :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
12.01100
12.01200
12.01900
...

fichier à comparer :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
10.070 5.3821E+11 
10.220 4.7678E+11 
10.370 4.4441E+11 
10.520 4.5303E+11 
10.670 5.1775E+11 
10.820 5.9737E+11 
10.970 6.3963E+11 
11.120 6.6058E+11
...

fichier de sortie :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
10.070 5.3821E+11 
10.220 4.7678E+11 
10.520 4.5303E+11 
10.670 5.1775E+11 
10.820 5.9737E+11 
11.120 6.6058E+11 
11.420 9.3533E+11 
...

J'ai bien utilisé le code dans les deux cas, mais dans le cas où ça n'a pas marché j'ai l'impression que certaines valeurs sont bien triés (lignes 3 et 7 du fichier à comparer) et pas d'autres.

[disedorgue]

Ici, le tri se fait sur la base des nombre xxx.x , donc si tu as par exemple 10.123 et 10.189 , ils seront pris tous les 2 car la recherche est 10.1

Car tu as dit les 3 premiers chiffres.

Si ce n'est pas ça, c'est peut-être le format du fichier (windows au lieu de linux/unix)

La soluce de Flodelarab est plus pertinente si elle fonctionne, car elle compare bien des nombre et non des caractères

[GlmGil]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
$ awk 'NR==FNR{arr[int($1*10)/10]++;next} (int($1*10)/10) in arr' fichier{1,2}.txt
12.770 7.7966E+11

Cette solution fonctionne bien pour l'instant! Je fais d'autres tests pour vérifier

[GlmGil]

Ici, le tri se fait sur la base des nombre xxx.x , donc si tu as par exemple 10.123 et 10.189 , ils seront pris tous les 2 car la recherche est 10.1

Car tu as dit les 3 premiers chiffres.

Si ce n'est pas ça, c'est peut-être le format du fichier (windows au lieu de linux/unix)

La soluce de Flodelarab est plus pertinente si elle fonctionne, car elle compare bien des nombre et non des caractères

Merci pour l'explication!
Je suis sur Unix, je pense comme tu l'as dit que c'est lié à la méthode de tri

[N_BaH]

Je suis sur Unix,

lequel ?

[Flodelarab]

Si c'est 3 chiffres après la virgule, sens-toi libre de multiplier par 1000, et non par 10.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

awk -vp=1000 'NR==FNR{arr[int($1*p)/p]++;next} (int($1*p)/p) in arr'