Discussion :

[Invité]

Bonjour,

C'est un peu la suite du poste ici

Je récupère un numéro à partir du nom du fichier (du caractère 4 au 21) qui peut avoir des zéros au début (et c'est quasi toujours le cas)
J'utilise donc la commande suivante pour le récupérer (le echo est là car je récupère le nom du fichier via une requête SQL, plus exactement une liste de fichier)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
numero=`echo "$fichier" | cut -c 4-21 | sed 's/^0*//'`
echo $numero
41

Je récupère toute les lignes de 11 caractères : cela peut être de la forme "ABCD 000001" ou "ABCDE0999999"
Je remplace l'espace par le symbole "_" pour pouvoir utiliser le résultat dans une liste.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
liste_ligne_nb_cr_type=`awk 'length == 11 { sub(/ /,"_",$0); print $0 }' output/$fichier`
echo $liste_ligne_nb_cr_type
AB13_000023 AB123000023

Voici la partie à optimiser:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
 
      for fichier in $liste_fichier
      do
 
        #On récupére le numéro de l'abonné : ABC000000000000000041xxxxxxxxxxxxxxxxxxxxxxxxxxxx => 41
        numero_abonne=`echo "$fichier" | cut -c 4-21 | sed 's/^0*//'`
 
        #Ne garder que les en-tête évènement = Ligne de 11 caractères commençant par une lettre (on y remplace l'espace par "_" pour l'avoir en un seul morceau)
        liste_ligne_nb_cr_type=`awk 'length == 11 { sub(/ /,"_",$0); print $0 }' output/$fichier`
 
        for ligne_nb_cr_type in $liste_ligne_nb_cr_type
        do
          #Nombre de CR associé à ce type de cr (AB13_000023 => 23)
          nb_cr=`echo $ligne_nb_cr_type | sed 's/.....0*\(.*\)/\1/'`
          #Abonné associé à son type de CR sous la forme : AB13__41 / AB123_41 ( "type cr" _ "numéro abonné" )
          type_subscriber=`echo $ligne_nb_cr_type | sed "s/\(.....\).*/\1_$numero_abonne/"`
          #On l'ajoute à la liste des abonnés associés à leur type de CR
          liste_type_subscriber+=" $type_subscriber"
          #Cumuler le nombre de CR pour chaque type
          eval $type_subscriber=$(($type_subscriber + $nb_cr))
        done
      done
      #On trie les abonnés associés à leur type de CR (en enlevant les doublons)
      liste_type_subscriber_unique=`for type_subscriber in $liste_type_subscriber; do echo $type_subscriber; done | sort -u`

J'avais pensé à tester si l'abonné existait déjà dans la liste "liste_type_subscriber" avant de l'ajouter. Mais il semble plus efficace de tous les ajouter puis de faire un sort à la fin.
Je pourrais essayer de me servir du awk pour faire les calculs, mais il ne semble pas possible d'utiliser une variable externe afin de la modifier ...
Je stocke tout en mémoire plutôt que dans des fichiers car cela devrait être plus rapide.

Auriez-vous des idées d'optimisation ?

Merci

ps: le code était moins rapide avant

[Flodelarab]

Bonjour

Entendre "bash" et "optimisation" dans la même phrase me fait sourire. Bash est un script pour faire facilement des tâches idiotes. Il est très lent.

Si tu veux de l'optimisation, fais du C++ ou java. Surtout pour travailler des caractères; ce n'est pas hors de portée.

[ggnore]

Tu pourrais aussi faire du perl : tu n'aurais pas à lancer des sed à gogo. C'est très adapté pour parser du texte et vraiment pas très éloigné du shell.
Si tu veux évaluer le temps d'exécution de ton script utilise la commande time. Il te faut mesurer le temps d'exécution, plutôt que d'utiliser le conditionnel

ça devrait aller plus vite

[disedorgue]

Bonjour,

En étant plus clément et en regardant rapidement, la dernière boucle for me parait inutile, et je pense même que l'on doit pouvoir faire la même chose sans toutes ces boucles.
Tu dois pouvoir récupérer l'ensemble des informations que tu as besoin avec une seule commande sed...
Mais bon, c'est un regard très rapide...

[Invité]

Tu pourrais aussi faire du perl : tu n'aurais pas à lancer des sed à gogo. C'est très adapté pour parser du texte et vraiment pas très éloigné du shell.
Si tu veux évaluer le temps d'exécution de ton script utilise la commande time. Il te faut mesurer le temps d'exécution, plutôt que d'utiliser le conditionnel

Oui la commande time est bien pour tester tout cela. C'est ce que j'ai fait
Mais comme je n'ai pas fait de tests sur l'architecture finale, je ne peux pas être sûr à 100%. La quantité de fichiers à traiter et la vitesse des disque sera différent.

Bonjour

Entendre "bash" et "optimisation" dans la même phrase me fait sourire. Bash est un script pour faire facilement des tâches idiotes. Il est très lent.

Si tu veux de l'optimisation, fais du C++ ou java. Surtout pour travailler des caractères; ce n'est pas hors de portée.

Je suis d'accord. Mais dans ce cas, il faut demander l'aide d'une personne connaissant java et c'est ça le problème... A mois que j’apprenne le java sur mon temps libre pour le boulot
Enfin, si on a toujours des problèmes pour avoir la liste des fichiers à analyser, on passera peut-être au java (une autre méthode pour récupérer cette liste l'utilise)
Bon en tout cas l'optimisation du script fonctionne bien. On passe de 20-30min à 3-6min

Bonjour,

En étant plus clément et en regardant rapidement, la dernière boucle for me parait inutile, et je pense même que l'on doit pouvoir faire la même chose sans toutes ces boucles.
Tu dois pouvoir récupérer l'ensemble des informations que tu as besoin avec une seule commande sed...
Mais bon, c'est un regard très rapide...

Je ne vois pas d'autre manière de supprimer les doublons d'une liste. Je suis preneur car je n'aime pas cette méthode

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
$ echo $liste
abc def ghi abc def ghi
 
$ echo $liste | sort -u
abc def ghi abc def ghi

Enfin, si un coup de sed pour changer les espace par des retours chariot, mais dans ce cas ce serait plus long que la boucle for (testé avec la commande time)

Je pense aussi comme toi qu'on doit pouvoir se passer de la boucle pour l'autre partie. Le poste suivant me donne une idée : lien
Je vais voir ce que ça donne au final.

[disedorgue]

Exemple de remplacement de ta dernière boucle (il faut respecter le retour à la ligne):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
$ echo $liste
abc def ghi abc def ghi abc def ghi abc def ghi
$ sort -u - <<<"${liste// /
}"
abc
def
ghi

Pour le reste du code, il faudrait un input et un output d'exemple sur lequel on peut travailler si tu veux que l'on t'aide à améliorer les perfs.

PS: perso, je ne pense pas que java serait le meilleur choix si le shell ne suffisait pas, perl ou python suffirait largement