Performance des TstringList

Bonjour,

J'utilise une TStringList, que je remplie à partir d'un fichier (plus de 4M).
Il y a environ 40000 lignes dans ce fichier qui donne au résultat 40000 éléments dans la TStringList, auxquels j'associe un objet.
Chaque ligne du fichier est définie par un identifiant qui est stocké dans la partie string de la liste. Le reste de la ligne renseigne les attributs d'un objet qui est stocké dans la partie object de la liste. (j'espère que tout le monde me suit jusqu'ici :lol: ).
Bon tout cela fonctionne comme je le souhaite, mais c'est comment dire.. extremement lent ! :( (presque 30 minutes pour lire fichier)
Parce qu'à chaque fois que j'ajoute un élément dans la liste, je vérifie qu'il n'existe pas déjà dans la liste via la commande indexof... et forcément plus il y a d'éléments dans la liste plus cela prends du temps.

J'ai déjà remplacé la TstringList par une THashedStringList, mais les performances ne sont guère mieux.

En gros je cherche un autre moyen de gérer tout ça, un autre objet... enfin quelque chose qui améliorerait les temps de traitements.

Donc si vous avez des suggestions, merci de les proposer.

Salut

Je te propose le TClientDataset, au moins pour faire la recherche, et plus si affinités ... :
tu crée au moins un champ avec ta clé, que tu indexes. Tu rajoute au fur et à mesure dans le clientdataset et tu recherches dedans ...

Sinon, si tu dois sauver le fichier texte après, une BDD style Firebird ou Firebird embedded serait pas mal ...

JP

Bonjour,

Autre suggestion : Dans un cas similaire (pb de suppression de doublons pour une série de 19000 fichiers-texte) j'ai pu obtenir une augmentation de vitesse avec un facteur d'accélération de 71 avec la parade suivante qui a permis d'éviter les inconvénients du If IndexOf()-Ralentisseur : on charge tout en vitesse rapide et ensuite on élimine les doublons :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

// lignes désigne ici la StringList créée au préalable .... lignes.Clear; lignes.Sorted := FALSE; // insertion immédiate par ajouts en fin de liste plus rapide s'il n'y a pas de recherche simultanée lignes.LoadFromFile( NomLongFichierOrig ); lignes.Sort; // tri-Alpha lignes.Sorted := TRUE; //Boucle de supression Doublons i := lignes.count - 1; repeat j:=i-1; if lignes[i]=lignes[j] then lignes.delete(i); //< à compléter pour Deleter //au préalable l'object associé à la string dec(i); until i=0; ........

---

... comme le facteur d'accélération de 71 a été obtenu avec des lignes de Strings sans Objects ... dans le cas présent le facteur d'accélération sera inférieur à 71 mais cela vaut le coup de faire l'essai.
A+:D

Merci pour vos réponses rapides. :king:

Le soucis c'est qu'il n'y a pas que la lecture du fichier qui est longue, il y a la manipulation des données (mise à jours à partir d'une base) qui est aussi considérable.

Je vais étudier la piste du TClienDataSet. Ne connaissant pas vraiment cet objet, JP aurais tu un lien vers quelques exemples ?

Encore merci.

Bonjour,

Avez vous essayer la propriété propriétéDuplicates ?

A prioris ce genre de problématique peut être optimisé par cette solution.

Aide Delphi 7 en français

Affectez une valeur àla propriétéDuplicates pour spécifier comment la liste réagit àl'ajout d'une chaîne dupliquée dans une liste triée.La propriétéCaseSensitive détermine si deux chaînes sont considérées comme dupliquées lorsqu'elles ne diffèrent que par la casse.

Duplicates doit avoir une des valeurs suivantes.

Valeur Signification

dupIgnore Ignore les tentatives d'ajout de chaînes en double àla liste.
dupError Déclenche une exception EStringListError lors d'une tentative d'ajout de chaînes dupliquées àla liste triée.
dupAccept Autorise les chaînes dupliquées dans la liste triée.

Définissez Duplicates avant d'ajouter des chaînes àla liste.L'initialisation de Duplicates àdupIgnore ou àdupError n'a aucun effet sur les chaînes en double se trouvant déjàdans la liste.

Remarque : Duplicates n'a aucun effet si la liste n'est pas triée.

j'ai pas de lien en tête, mais en gros un TClientDataset, c'est une table mémoire (dérivé de TDataset), automome, qui supporte les index, qui peut s'enregistrer (et se charger) dans un fichier XML.

En gros: tu pose ton TClientDataset, tu double clique dessus et tu rajoutes tes champs (nom et type).
Pour créer une nouvelle table, tu appelle CreateDataSet sinon tu peux charger avec loadFromFile.

Après ça se manipule comme un TDataset.
Pour les recherches, le plus performant, d'après mes tests, c'est d'utiliser
"EditKey" et "GotoKey"

Je viens de mettre en place le TClientDataset, mais je n'avais pas encore vu que tu utilisais les commandes editkey et gotokey.
Pour l'instant j'ai utilisé la commande filter, et les temps de traitements ne sont pas franchement mieux.
Par contre je n'ai pas non plus mis en place d'index. Je suppose que ça améliorera également les temps d'execution.
Bon, je continue.. :bug:

L'index, c'est l'essentiel ! c'est ce qui fait qu'il maintient un arbre permettant l'accès direct à une valeur de l'index quelque soit le nombre de lignes.

Ensuite, Setkey est la méthode d'interrogation directe de l'index. Je ne sais pas si filter utilise les index, étant donné que le filtre peut être complexe ...

ça y est j'ai mis en place l'index et l'utilisation de editKey/gotokey.

Alors, là ! je dis : bravo !
De plus de 30 minutes (après j'avais plus la patience d'attendre..:oops: ) le temps d'execution est passé à moins de 2 minutes !

Merci JP pour ce précieux conseil ! :king:

A Tardiff Jean-François:

Pour info :
Avec Duplicates:=dupIgnore qui nécerssite le Sorted:=true la recherche-de comparaison pour insérer est rapide, mais l'insertion est très ralentie car Delphi est obligé de décaler toutes les chaînes qui suivent celle que l'on veut insérer dans la stringList. Donc rien que pour insérer "a" au début d'une liste dan laquelle il n'est pas encore présent Delphi est obligé de parcourir la liste sur toute sa longueur... Par contre si on veut ajouter en rafale des floppées de doublons le résultat sera rapide mais en général on vise à charger surtout autre chose que des doublons.

A l'inverse avec Sorted:=false l'insertion de chaine est hyper-rapide vu que la chaine à ajouter est placée illico-presto en fin de liste ce qui ne freine pas la rapidité de lecture du FileStream animé par un loadFromFile().

... et comme en général les doublons représentent seulement une fraction du tout on peut se contenter après insertion, de trier la liste avec StringList.Sort puis d'en éliminer les doublons avec une boucle toute simple.

... en fait l'étape d'élimination des doublons est à mon avis 8 fois sur 10 surtout une précaution utile mais c'est pas une raison de se sanctionner avec les lenteurs engendrées par le binôme Duplicates:=dupIgnore + Sorted:=true.

Avis basé sur une série d'essais comparatifs de vitesse relativement récents.
Au début j'étais également séduit-mais-trompé par les facilités de ce binôme à réserver aux cas où l'on ne craint pas les lenteurs qu'il cause.
A+:D