Discussion :

[JulieBio]

Bonjour à tous,

Pourriez-vous svp me donner vos avis sur la problématique suivante :


J’ai un traitement qui :

- prend une liste de plusieurs centaine de milliers d’occurrences
- les écrits dans une table de travail
- compare ces occurrences aux données d’une table
- si données égale -> supprime la ligne de la table de travail


Ce traitement met plus de 20 heures à tourner (1.6 seconde par enreg. actuellement) .

Etant fonctionnelle (vous savez celle qui vous embête au boulot et ne sais pas coder ) et n’ayant malheureusement pas d’appui technique je me retourne vers vous.

Imcompétente en code mais pas bornée j'aimerais essayer d'avancer malgré tout, pourriez-vous me donner des pistes algorithmiques pour améliorer les performances ?

Merci beaucoup d’avance.


Julie.

[Acrim]

Bonjour,

Tu peux déjà essayer d'évaluer le cout de chacune des étapes de ton traitement pour trouver la plus couteuse (après le fait qu'une étape soit plus couteuse ne veut pas forcement dire qu'elle a un défaut).

Quelques questions qui pourront te donner des pistes :

- Quel est la structure de ta table de travail ?
- Est ce que les E/S sont correctement gérés ?
- Comment sont comparés les éléments ?
- Les éléments sont ils ordonnés ?
- Et il possible de rajouter un index ?
- Peut on paralléliser le traitement ?

En espérant que cela pourra t'inspirer.

[souviron34]

Tu peux déjà essayer d'évaluer le cout de chacune des étapes de ton traitement pour trouver la plus couteuse (après le fait qu'une étape soit plus couteuse ne veut pas forcement dire qu'elle a un défaut).

C'est la première des choses à faire : voir si il y a un goulot d'étranglement.

Ensuite, d'une part comment est faite la recherche d''une occurence dans la table, d'autre part comment est faite la suppression/ré-écriture..

Enfin, est-il possible d'avoir la table en mémoire, ou est-on obligé de le faire ligne à ligne ?


Cette décision ci-dessus peut modifier de beaucoup la répidité du traitement..

Par exemple,si on peut avoir toute la table en mémoire, quelque chose comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
noccurence = 0
pour j = 0 jusqu'à j = N
 
   examiner occurence j
 
   si décison = supprimer i
        noccurence = noccurence + 1 
   sinon
       tab(j-noccurence) = tab(j)
   fin si
 
fin pour
N = N - noccurence

est très nettement plus efficace que

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
occurence = Vrai
tant que occurence = Vrai
 
    occurence = Faux
 
    pour j = 0 jusqu'à j = N
 
      examiner occurence j
 
       si décison = supprimer j
           pour i = j+1 jusqu'à j = N
              tab(i-1) = tab(i)
           fin pour
           N = N - 1
           occurence = Vrai
           sortie pour
       fin si
    fin pour
 
fin tant que