bash, awk etc

Version imprimable

16/04/2013, 16h01
dg1234

bash, awk etc

bonjour,
j'ai un fichier comme celui ci (date en annee/mois/jour - valeur):
...
20001212 5
20001228 5
20001229 4.3
20001230 25.2
20001231 32
etc ....

je cherche une commande en bash, pour que si une date est manquante dans mon fichier
(ici par exemple entre 20001212 et 20001228, il manque des jours) ,
alors il faut ajouter les dates manquantes avec une valeur égale à -999 ???

j'ai essayé avec des conditions if, etc mais je n'ai pas trouvé de solutions ...
merci d'avance
16/04/2013, 17h25
Obsidian
Il y a plusieurs façons de le faire mais si c'est simplement occasionnel et que tu cherches la façon la plus « facile » de le faire, tu peux essayer avec join. Le problème vient du fait qu'il faut déjà générer une suite complète et contiguë de dates vaildes, en tenant comptes des années bissextiles, etc. Pour cela, tu peux exploiter les possibilités offertes par date.

Sous Bash, commence par générer une suite de dates valides au format que tu utilises dans ton fichier :

Code:

$ for i in {5000..1} ; do date "$i day ago" +'%Y%m%d' ; done > datesvalides.txt

Le « 5000 » est là pour dire que je remonte cinq mille jours en arrière, soit courant 1999 à la date où j'écris ce commentaire. Je ne sais pas s'il y a moyen de spécifier une date de départ ET de faire faire un calcul à « date », et ça me fatigue de chercher pour le moment. :-)

Ensuite, tu utilises « join » pour faire une « jointure » entre tes deux fichiers, c'est-à-dire associer une ligne de l'un avec une ligne de l'autre en fonction d'un champ commun et de même valeur. Il faut également passer un paramètre pour effectuer une « jointure ouverte », c'est-à-dire toujours intégrer la ligne d'un fichier donné même si elle n'existe pas dans l'autre :

Code:

$ join -a1 datesvalides.txt tonfichier.txt > resultatintermedaire.txt

À ce stade, tu devrais avoir la liste complète des dates, la plupart du temps vides, avec les bonnes valeurs si elles existent.

Tu utilises enfin « sed » pour reconnaître les lignes vides (uniquement la date donc), et les transformer en ligne avec la date suivie « -999 » :

Code:

$ sed -e "s/$[[:space:]]*[0-9]\+[[:space:]]*$$/\1 -999/g" resultatintermediaire.txt > resultatfinal.txt

Et tu devrais obtenir ce dont tu as besoin. Deux remarques cependant :
- Vérifie si tes fichiers utilisent des espaces ou des tabulations comme séparateurs ;
- Les « jointures » sont la pierre angulaire des bases de données et elles sont extrêmement courantes en informatique. Beaucoup de scientifiques travaillant dans les laboratoires ou centres de recherche, et ayant un petit bagage informatique sans en faire leur métier y sont souvent confrontés. Généralement, ces gens-là commencent avec Excel puis, arrivés à ce stade, essaie de se débrouiller à coups de VLOOKUP.
Si tu es dans la deuxième situation et si tu as beaucoup de données à traiter de la sorte, je t'encourage à te tourner à terme vers les bases de données et apprendre le SQL si tu ne le connais pas encore. Par la suite, soit tu utilises une suite bureautique adaptée comme Access ou OObase, soit tu te fais une mini base de données dans ton /home avec « sqlite », qui est très à la mode, soit tu montes une vraie base de données avec MySQL ou PostgreSQL, ou tu demandes à ton administrateur système de le faire pour toi sur un de ses serveurs.

Bonjour,

La difficulté est sur la date, sous linux il y a cette syntaxe:

Code:

1
2
3
4
$ date --date="20001231 1 day" +%Y%m%d
20010101
$ date --date="20001231 1 day ago" +%Y%m%d
20001230

Ce qui peut faciliter ton algorithme.
Voici un exemple qui fonctionne mais on peut largement mieux faire, car celui-ci traite au minimum 3 fois la taille du fichier.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$ cat glop.txt
20001212 5
20001228 5
20001229 4.3
20001230 25.2
20001231 32
$ DEB=$(head -1 glop.txt | cut -d' '  -f1) ; FIN=$(tail -1 glop.txt | cut -d' ' -f1) ;( while [ "$DEB" != "$FIN" ]; do DEB=$(date --date="$DEB 1 day" +%Y%m%d); echo "$DEB -999"; done && sed -n 'p;s/ .*/ -999/p' glop.txt ) | sort | uniq -u
20001212 5
20001212 -999
20001213 -999
20001214 -999
20001215 -999
20001216 -999
20001217 -999
20001218 -999
20001219 -999
20001220 -999
20001221 -999
20001222 -999
20001223 -999
20001224 -999
20001225 -999
20001226 -999
20001227 -999
20001228 5
20001229 4.3
20001230 25.2
20001231 32

Citation:

Envoyé par disedorgue

Code:

1
2
20001212 5
20001212 -999

?
aussi, pourquoi un sous-interpréteur (( while...)? des accolades ne suffisent pas ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
#!/usr/bin/awk -f
function JplusUn(d){
      Y=substr(d,1,4)
      M=substr(d,5,2)
      D=substr(d,7,2)
lendemain = strftime("%Y%m%d",mktime(Y" "M" "D" 00 00 00")+24*60*60)
}
function exist(){
   print $0
   JplusUn($1)
}
{
   if(FNR==1){
      exist()
   }else{
      if($1 > lendemain){
         while($1 > lendemain){
            print lendemain,"-999"
            JplusUn(lendemain)
         }
      }
   exist()
   }
}

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
$ cat plop.txt
cat glop.txt
20001212 5
20001228 5
20001229 4.3
20001230 25.2
20001231 32
$ ./script.awk
20001212 5
20001213 -999
20001214 -999
20001215 -999
20001216 -999
20001217 -999
20001218 -999
20001219 -999
20001220 -999
20001221 -999
20001222 -999
20001223 -999
20001224 -999
20001225 -999
20001226 -999
20001227 -999
20001228 5
20001229 4.3
20001230 25.2
20001231 32

20/04/2013, 14h35
disedorgue
Citation:
Envoyé par N_BaH

Code:

1 2 20001212 5 20001212 -999

?
Ok, bien vue :ccool: , j'ai corrigé l'erreur (en rouge).

Citation:

aussi, pourquoi un sous-interpréteur (( while...)? des accolades ne suffisent pas ?

Et en prenant en compte ta remarque cela donne (je n'ai pas oublié le ";" avant l'accolade fermante :)):

Code:

DEB=$(head -1 glop.txt | cut -d' ' -f1) ; FIN=$(tail -1 glop.txt | cut -d' ' -f1) ;{ echo "$DEB -999" ; while [ "$DEB" != "$FIN" ]; do DEB=$(date --date="$DEB 1 day" +%Y%m%d); echo "$DEB -999"; done && sed -n 'p;s/ .*/ -999/p' glop.txt; } | sort | uniq -u

A l'origine de ma réponse, c'était juste de fournir la syntaxe sur l'incrémentation de la date, le code ici est, si on peut dire "ludique", mais, en mon sens, c'est juste pour du "one shot".
Il aurait été aussi appréciable que dg1234 nous montre ce qu'il avait déjà fait :D