Discussion :

[lefloxy]

bonjour,
j'ai un fichier texte contenant plusieurs (environ 50000) valeurs de longitudes et latitudes sur deux colonnes. il y a des valeurs aberrantes (des zéros) sur une succession de lignes dans ce fichiers. j'aimerai faire une interpolation pour remplacer ces valeurs aberrantes. Mes recherches sur le net me disent qu'un script awk peut m'aider mais le problème c'est que je suis encore un débutant sous les scripts shell. Déjà je n'arrive pas à déterminer le numéro de ligne de la première et dernière valeur aberrante. quelqu'un peut il m'aider svp.
merci

[disedorgue]

Bonjour,

Expose ton problème, donne des exemples, et quelqu'un répondra, mais là, on a pas matière à quoi que ce soit.

[lefloxy]

en gros j'ai des valeur de la sorte:

1 1
1 1
1 1
1 1
. .
. .
. .
1 1
0 0
0 0
0 0
0 0
1 1
1 1
1 1

les 0 sont mes valeurs aberrantes et les 1 sont mes valeurs de longitudes et latitudes (j'ai juste mis des 1 pour l'explication). je veux faire une interpolation linéaire pour remplacer les zéros. pour cela je veux d'abord déterminer le numéro de ligne de la première valeur de zéro mais je n'arrive pas.

[scriptoLAB]

Salut,

Personnellement, pour automatiser des modifications, je fais des scripts PHP qui permettent de traiter des contenus de fichiers. J'ai fait récemment du dédoublonnage de fichier csv énormes. Ce n'est pas aussi rapide que du C mais c'est simple à programmer.

Stéphane

[disedorgue]

Non,
L'approche n'est pas bonne, explique la suite comme comment tu feras après pour faire ton interpolation, va jusqu'au bout de la description de ta solution.
Si tu veux le n° de ligne du premier 0 0, un simple grep -n "0 0" fichier est suffisant mais là tu pars selon moi sur une usine à gaz.

Le conseil: Essayer de définir, autant que possible, son algo en ne passant qu'une seule fois sur le fichier.

[lefloxy]

Non,
L'approche n'est pas bonne, explique la suite comme comment tu feras après pour faire ton interpolation, va jusqu'au bout de la description de ta solution.
Si tu veux le n° de ligne du premier 0 0, un simple grep -n "0 0" fichier est suffisant mais là tu pars selon moi sur une usine à gaz.

Le conseil: Essayer de définir, autant que possible, son algo en ne passant qu'une seule fois sur le fichier.

je vais utiliser un script awk pour faire l'interpolation, si on considère la première colonne par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
awk 'BEGIN { val1= < val1> ; val2 = <val2> ; n1 = <n1> ; n2= <n2>} 
                   ( NR > n1 && NR < n2) ? 
                   print val1 + (val2 - val1) *  (NR - n1) / (n2 - n1) :
                   print $1

avec val1 = valeur juste avant le début des valeurs aberrantes, val2 = valeur après les valeurs aberrantes, n1 et n2 sont leurs numéro de lignes.
mon problème c'est de déterminer ces val1, val2, n1 et n2

[disedorgue]

Ok,
Maintenant, la question qui "fâche": comment détermines tu que c'est une valeur aberrante ?
0 1 est-elle aberrante pour la première colonne mais pas pour la 2ème ?

Dans le cas suivant:
1 1
0 0
1 1

Est-ce que le 0 0 est aberrant ou faut-il plusieurs lignes consécutives pour que cela soit aberrant ?

[eliot_net]

je vais utiliser un script awk pour faire l'interpolation, si on considère la première colonne par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
awk 'BEGIN { val1= < val1> ; val2 = <val2> ; n1 = <n1> ; n2= <n2>} 
                   ( NR > n1 && NR < n2) ? 
                   print val1 + (val2 - val1) *  (NR - n1) / (n2 - n1) :
                   print $1

avec val1 = valeur juste avant le début des valeurs aberrantes, val2 = valeur après les valeurs aberrantes, n1 et n2 sont leurs numéro de lignes.
mon problème c'est de déterminer ces val1, val2, n1 et n2

il te faut un booleen (aberr) qui prend la valeur FAUX (ou 0) quand tu est dans une séquence de valeurs normales et VRAI (ou 1) dans une séquence de valeurs aberrantes.

tu parcours ton fichier ligne par ligne en recopiant les lignes non aberrantes dans le fichier résultat (tant que les données sont valables c'est de la simple recopie)

quand tu rentres dans une séquence aberrante, tu arrêtes de recopier les lignes, tu mémorises la dernière valeur non aberrante (val1) et tu entames un compteur de lignes aberrantes (n),

quand tu arrives à une nouvelle ligne correcte, tu sais alors combien de lignes aberrantes tu devras remplacer (interpoler) tu notes la valeur (val2) de ce début de séquence correcte
et tu interpoles tes n valeurs (qui étaient aberrantes) , tu n'oublies pas de recopier la valeur que tu viens de lire (val2) la première d'une nouvelle séquence "normale"

tu as donc 4 cas à étudier : séquences valables et aberrantes, et passages d'un type de séquence à l'autre.
cela donne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
awk 'BEGIN { aberr = 0 ; n = 0 }
      ($1 != 0) && (aberr == 0)  { print $0 ; val1 = $1}
      ($1 == 0) && (aberr == 0)  { aberr = 1 ; n= 1 ; }
      ($1 == 0) && (aberr == 1)  { n++ }
      ($1 != 0) && (aberr == 1)  { aberr = 0 ; val2 = $1 ; for ( k = 1 ; k < n ; k++) print ( val1 + ( val2 - val1) * ( k / n )) ; n = 0 ; print $0 }'

pour simplifier j'ai considéré qu'il n'y avait qu'une seule valeur ($1) par ligne de fichier. A toi d'adapter à tes données et à tes critères "d'aberration"