Ne prendre que des pavés d'un fichier

Version imprimable

Bonjour,

J'ai mis en place un petit algorithme pour résoudre un problème mais je ne sais pas s'il est optimisé.

Voici un descriptif du problème :

J'ai un fichier qui se présente ainsi :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 ENTETE AAAA 20101202 0000000003XXXX LIGNE1 BBBBBBBBBBB LIGNE2 CCCCCCCCCC LIGNE3 DDDDDDDDDD ENTETE AAAA 20101201 0000000004XXXX LIGNE1 EEEEEEEEEEE LIGNE2 FFFFFFFFFFF LIGNE3 GGGGGGGGGG LIGNE4 HHHHHHHHHH ENTETE AAAA 20101202 0000000005XXXX LIGNE1 IIIIIIIIIIIIIIIIII LIGNE2 JJJJJJJJJJJJJJJ LIGNE3 KKKKKKKKKKK LIGNE4 LLLLLLLLLLLL LIGNE5 MMMMMMMM
1- Je recherche la ligne ENTETE le plus récente. Le champ N°3 est le critère utilisé puisqu'il s'agit d'une date.

Code:

ENTETE AAAA 20101202

2- A partir du résultat obtenu en "1-", je recherche toutes les ENTETES les plus récentes. Ce qui est équivaut à :
Code:

1 2 ENTETE AAAA 20101202 0000000003XXXX ENTETE AAAA 20101202 0000000005XXXX
3- A partir du résultat obtenu en "2-", je dois extraite les enregistrements associés à cette entete
Code:

1 2 3 4 5 6 7 8 9 10 ENTETE AAAA 20101202 0000000003XXXX LIGNE1 BBBBBBBBBBB LIGNE2 CCCCCCCCCC LIGNE3 DDDDDDDDDD ENTETE AAAA 20101202 0000000005XXXX LIGNE1 IIIIIIIIIIIIIIIIII LIGNE2 JJJJJJJJJJJJJJJ LIGNE3 KKKKKKKKKKK LIGNE4 LLLLLLLLLLLL LIGNE5 MMMMMMMM
Pour information, le 4ème champ de l'ENTETE indique ne nombre d'enregistrements associés. Exemple :

Code:

ENTETE AAAA 20101202 0000000003XXXX

Cela signifie que 3 enregistrements sont associés à cette entete.

Code:

ENTETE AAAA 20101202 0000000103XXXX

Cela signifie que 103 enregistrements sont associés à cette entete.

Le souci que j'ai, est que je lis plusieurs fois le fichiers en entrée et cela peut être très couteux en terme de perf. Si vous avez une autre idée, je suis preneur.

Merci d'avance pour votre aide.

Cdlt

20/12/2010, 12h00
Invité

Bonjour,

Dans ce cas de figure, je ne pense pas qu'il existe de solution en shell évitant de parcourir plusieurs fois le fichier.
Il va falloir passer à du scripting plus évolué (awk, perl, ...) ou carrément à un programme (c, c++, java, ...).

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#!/bin/bash
 
while read ent lett date nblines
do (( date )) && {
      ((date >= newest)) && {
         ((date > newest)) && unset myArr
         newest="$date"
         flag=1
         myArr+=( "$ent $lett $date $nblines" )
      } || flag=0
   } || {
      ((flag)) && myArr+=( "$ent $lett" )
   }
done <emmachane.in
 
printf '%s\n' "${myArr[@]}"

20/12/2010, 23h05
emmachane

Merci

Chapeau l'artiste :ccool: même si je n'ai rien compris au code 8O

J'ai essayé de l'adapter à mon jeu de données qui lui est un peu plus complexe que l'exemple que j'ai donné en vain :cry:

En réalité, les lignes ne sont pas aussi bien formatées. Par exemple :

Code:

ENTETE AAAA 20101202 0000000003XXXX

n'est pas complète puisque après la chaine 0000000003XXXX, il y a d'autres champs séparés par des espaces

De plus, la chaine :

Code:

LIGNE1 BBBBBBBBBBB

peut contenir plusieurs champs après la chaine BBBBBBBB, également séparés par des espaces.

Mon objectif n'est pas de vous demander de faire le boulot à ma place. Mais croyez moi, j'ai essayé mais sans succès.

Quoi qu'il en soit, merci pour votre aide. Vous êtes vraiment des pros !

ce sera peut-être plus clair ainsi:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
#!/bin/bash
 
while read f1 f2 f3 rest
do line="$f1 $f2 $f3 $rest"
# le troisième champs est-il un nombre de 8 chiffres*
   if [[ $f3 =~ ^[0-9]{8}$ ]]
   then if (( f3 >= newest ))
        then (( f3 > newest )) && Array=()
             newest="$f3"
             flag=1
             Array+=( "$line" )
        else
             flag=0
        fi
   else
      (( flag )) && Array+=( "$line" )
   fi
done <emmachane.in
 
printf '%s\n' "${Array[@]}"

...
?
* on utilise une regex, mais on pourrait aussi utiliser une évaluation arithmétique :

Code:

(( date && ${#date} == 8 ))

mais sans échantillon réellement représentatif de ton fichier :(