Besoin de conseils Algo et performances

Bonjour à tous,

Pourriez-vous svp me donner vos avis sur la problématique suivante :


J’ai un traitement qui :

- prend une liste de plusieurs centaine de milliers d’occurrences
- les écrits dans une table de travail
- compare ces occurrences aux données d’une table
- si données égale -> supprime la ligne de la table de travail


Ce traitement met plus de 20 heures à tourner (1.6 seconde par enreg. actuellement) .

Etant fonctionnelle (vous savez celle qui vous embête au boulot et ne sais pas coder :P ) et n’ayant malheureusement pas d’appui technique je me retourne vers vous.

Imcompétente en code mais pas bornée j'aimerais essayer d'avancer malgré tout, pourriez-vous me donner des pistes algorithmiques pour améliorer les performances ?

Merci beaucoup d’avance.


Julie.

Bonjour,

Tu peux déjà essayer d'évaluer le cout de chacune des étapes de ton traitement pour trouver la plus couteuse (après le fait qu'une étape soit plus couteuse ne veut pas forcement dire qu'elle a un défaut).

Quelques questions qui pourront te donner des pistes :

- Quel est la structure de ta table de travail ?
- Est ce que les E/S sont correctement gérés ?
- Comment sont comparés les éléments ?
- Les éléments sont ils ordonnés ?
- Et il possible de rajouter un index ?
- Peut on paralléliser le traitement ?

En espérant que cela pourra t'inspirer.

Citation:

---

Envoyé par Acrim

Tu peux déjà essayer d'évaluer le cout de chacune des étapes de ton traitement pour trouver la plus couteuse (après le fait qu'une étape soit plus couteuse ne veut pas forcement dire qu'elle a un défaut).

---

:ccool:

C'est la première des choses à faire : voir si il y a un goulot d'étranglement.

Ensuite, d'une part comment est faite la recherche d''une occurence dans la table, d'autre part comment est faite la suppression/ré-écriture..

Enfin, est-il possible d'avoir la table en mémoire, ou est-on obligé de le faire ligne à ligne ?


Cette décision ci-dessus peut modifier de beaucoup la répidité du traitement..

Par exemple,si on peut avoir toute la table en mémoire, quelque chose comme :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

noccurence = 0 pour j = 0 jusqu'à j = N   examiner occurence j   si décison = supprimer i noccurence = noccurence + 1 sinon tab(j-noccurence) = tab(j) fin si   fin pour N = N - noccurence

---

est très nettement plus efficace que

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

occurence = Vrai tant que occurence = Vrai   occurence = Faux   pour j = 0 jusqu'à j = N   examiner occurence j   si décison = supprimer j pour i = j+1 jusqu'à j = N tab(i-1) = tab(i) fin pour N = N - 1 occurence = Vrai sortie pour fin si fin pour   fin tant que

---