Modification de valeurs à l'intérieur d'un fichier

bonjour,
j'ai un fichier texte contenant plusieurs (environ 50000) valeurs de longitudes et latitudes sur deux colonnes. il y a des valeurs aberrantes (des zéros) sur une succession de lignes dans ce fichiers. j'aimerai faire une interpolation pour remplacer ces valeurs aberrantes. Mes recherches sur le net me disent qu'un script awk peut m'aider mais le problème c'est que je suis encore un débutant sous les scripts shell. Déjà je n'arrive pas à déterminer le numéro de ligne de la première et dernière valeur aberrante. quelqu'un peut il m'aider svp.
merci :)

Bonjour,

Expose ton problème, donne des exemples, et quelqu'un répondra, mais là, on a pas matière à quoi que ce soit.

en gros j'ai des valeur de la sorte:

1 1
1 1
1 1
1 1
. .
. .
. .
1 1
0 0
0 0
0 0
0 0
1 1
1 1
1 1

les 0 sont mes valeurs aberrantes et les 1 sont mes valeurs de longitudes et latitudes (j'ai juste mis des 1 pour l'explication). je veux faire une interpolation linéaire pour remplacer les zéros. pour cela je veux d'abord déterminer le numéro de ligne de la première valeur de zéro mais je n'arrive pas.

Salut,

Personnellement, pour automatiser des modifications, je fais des scripts PHP qui permettent de traiter des contenus de fichiers. J'ai fait récemment du dédoublonnage de fichier csv énormes. Ce n'est pas aussi rapide que du C mais c'est simple à programmer.

Non,
L'approche n'est pas bonne, explique la suite comme comment tu feras après pour faire ton interpolation, va jusqu'au bout de la description de ta solution.
Si tu veux le n° de ligne du premier 0 0, un simple grep -n "0 0" fichier est suffisant mais là tu pars selon moi sur une usine à gaz.

Le conseil: Essayer de définir, autant que possible, son algo en ne passant qu'une seule fois sur le fichier.

Citation:

---

Envoyé par disedorgue

Non,
L'approche n'est pas bonne, explique la suite comme comment tu feras après pour faire ton interpolation, va jusqu'au bout de la description de ta solution.
Si tu veux le n° de ligne du premier 0 0, un simple grep -n "0 0" fichier est suffisant mais là tu pars selon moi sur une usine à gaz.

Le conseil: Essayer de définir, autant que possible, son algo en ne passant qu'une seule fois sur le fichier.

---

je vais utiliser un script awk pour faire l'interpolation, si on considère la première colonne par exemple:

Code:

---

1 2 3 4

awk 'BEGIN { val1= < val1> ; val2 = <val2> ; n1 = <n1> ; n2= <n2>} ( NR > n1 && NR < n2) ? print val1 + (val2 - val1) * (NR - n1) / (n2 - n1) : print $1

---

avec val1 = valeur juste avant le début des valeurs aberrantes, val2 = valeur après les valeurs aberrantes, n1 et n2 sont leurs numéro de lignes.
mon problème c'est de déterminer ces val1, val2, n1 et n2

Ok,
Maintenant, la question qui "fâche": comment détermines tu que c'est une valeur aberrante ?
0 1 est-elle aberrante pour la première colonne mais pas pour la 2ème ?

Dans le cas suivant:
1 1
0 0
1 1

Est-ce que le 0 0 est aberrant ou faut-il plusieurs lignes consécutives pour que cela soit aberrant ?

Les zéro sont mes valeur aberrantes. dans mon fichiers j'ai une suite de valeurs de longitudes et latitudes mesurés par un GPS, les endroits où j'ai des zéros sont des endroits où le GPS avait un problème donc n'a effectué des mesures. c'est dans ces endroits que j'ai des zéros qui sont mes valeurs aberrantes.

Bonjour :coucou:

Je plussoie toutes les questions de disedorgue depuis le début.

Citation:

---

Code:

---

1 2 3 4

awk 'BEGIN { val1= < val1> ; val2 = <val2> ; n1 = <n1> ; n2= <n2>} ( NR > n1 && NR < n2) ? print val1 + (val2 - val1) * (NR - n1) / (n2 - n1) : print $1

---

---

Ne nous donne pas la solution, c'est le problème que l'on veut. Il n'est toujours pas défini. Le reste, on sait faire.

Ton script ressemblera probablement plus à:

Code:

---

awk -vval1="$val1" -vval2="$val2" -vn1="$n1" -vn2="$n2" '( $1 != 0) {...;next} {...}' fichier

---

Citation:

---

Envoyé par Flodelarab

Bonjour :coucou:

Je plussoie toutes les questions de disedorgue depuis le début.

Ne nous donne pas la solution, c'est le problème que l'on veut. Il n'est toujours pas défini. Le reste, on sait faire.

Ton script ressemblera probablement plus à:

Code:

---

awk -vval1="$val1" -vval2="$val2" -vn1="$n1" -vn2="$n2" '( $1 != 0) {...;next} {...}' fichier

---

---

justement mon problème c'est que je n'arrive pas à extraire les valeurs vval1, vval2, vn1 et vn2

merci.

Mais extraire d'où ? :roll:
Extraire sur quel critère ?

Reformule ton problème.

Et si tu répètes une troisième fois que tu as un fichier sur 2 colonnes de coordonnées GPS avec des zéros et des valeurs aberrantes à interpoler, je tape. :sm:

Citation:

---

Envoyé par lefloxy

je vais utiliser un script awk pour faire l'interpolation, si on considère la première colonne par exemple:

Code:

---

1 2 3 4

awk 'BEGIN { val1= < val1> ; val2 = <val2> ; n1 = <n1> ; n2= <n2>} ( NR > n1 && NR < n2) ? print val1 + (val2 - val1) * (NR - n1) / (n2 - n1) : print $1

---

avec val1 = valeur juste avant le début des valeurs aberrantes, val2 = valeur après les valeurs aberrantes, n1 et n2 sont leurs numéro de lignes.
mon problème c'est de déterminer ces val1, val2, n1 et n2

---

il te faut un booleen (aberr) qui prend la valeur FAUX (ou 0) quand tu est dans une séquence de valeurs normales et VRAI (ou 1) dans une séquence de valeurs aberrantes.

tu parcours ton fichier ligne par ligne en recopiant les lignes non aberrantes dans le fichier résultat (tant que les données sont valables c'est de la simple recopie)

quand tu rentres dans une séquence aberrante, tu arrêtes de recopier les lignes, tu mémorises la dernière valeur non aberrante (val1) et tu entames un compteur de lignes aberrantes (n),

quand tu arrives à une nouvelle ligne correcte, tu sais alors combien de lignes aberrantes tu devras remplacer (interpoler) tu notes la valeur (val2) de ce début de séquence correcte
et tu interpoles tes n valeurs (qui étaient aberrantes) , tu n'oublies pas de recopier la valeur que tu viens de lire (val2) la première d'une nouvelle séquence "normale"

tu as donc 4 cas à étudier : séquences valables et aberrantes, et passages d'un type de séquence à l'autre.
cela donne

Code:

---

1 2 3 4 5

awk 'BEGIN { aberr = 0 ; n = 0 } ($1 != 0) && (aberr == 0) { print $0 ; val1 = $1} ($1 == 0) && (aberr == 0) { aberr = 1 ; n= 1 ; } ($1 == 0) && (aberr == 1) { n++ } ($1 != 0) && (aberr == 1) { aberr = 0 ; val2 = $1 ; for ( k = 1 ; k < n ; k++) print ( val1 + ( val2 - val1) * ( k / n )) ; n = 0 ; print $0 }'

---

pour simplifier j'ai considéré qu'il n'y avait qu'une seule valeur ($1) par ligne de fichier. A toi d'adapter à tes données et à tes critères "d'aberration"

Citation:

---

Envoyé par eliot_net

il te faut un booleen (aberr) qui prend la valeur FAUX (ou 0) quand tu est dans une séquence de valeurs normales et VRAI (ou 1) dans une séquence de valeurs aberrantes.

Code:

---

1 2 3 4 5

awk 'BEGIN { aberr = 0 ; n = 0 } ($1 != 0) && (aberr == 0) { print $0 ; val1 = $1} ($1 == 0) && (aberr == 0) { aberr = 1 ; n= 1 ; } ($1 == 0) && (aberr == 1) { n++ } ($1 != 0) && (aberr == 1) { aberr = 0 ; val2 = $1 ; for ( k = 1 ; k < n ; k++) print ( val1 + ( val2 - val1) * ( k / n )) ; n = 0 ; print $0 }'

---

pour simplifier j'ai considéré qu'il n'y avait qu'une seule valeur ($1) par ligne de fichier. A toi d'adapter à tes données et à tes critères "d'aberration"

---

merci,
et dans le cas de plusieurs valeurs par ligne, comment est ce que sera la syntaxe :)

Selon ce que tu nous dis, on ne peut pas avoir de valeur à 0 car cela veut dire que le GPS ne capte pas, donc on peut en conclure que si ta colonne 1 est à 0, alors la colonne 2 aussi...
Si c'est le cas, il n'y a qu'a rajouter 2 variables pour extrapoler la colonne 2 et de dire au print d'afficher le calcul de celle-ci, ce qui donne (rajout en rouge):

Code:

---

1 2 3 4 5

awk 'BEGIN { aberr = 0 ; n = 0 } ($1 != 0) && (aberr == 0) { print $0 ; val1 = $1 ; val3 = $2} ($1 == 0) && (aberr == 0) { aberr = 1 ; n= 1 ; } ($1 == 0) && (aberr == 1) { n++ } ($1 != 0) && (aberr == 1) { aberr = 0 ; val2 = $1 ; val4 = $2; for ( k = 1 ; k < n ; k++) print ( val1 + ( val2 - val1) * ( k / n )),( val3 + ( val4 - val3) * ( k / n )) ; n = 0 ; print $0 }'

---

PS: Bienvenue Eliot_net.