Discussion :

[MiJack]

Bonjour,

Dans mon application je dois sauvegarder plusieurs séries de valeurs (exemple : 10 séries de 5000 valeurs).

Pour l'instant lorsque l'utilisateur sauve, je créé un fichier de type XML (pour la facilité d'utiliser un parser déjà fait pour l'écriture et la lecture des données) qui stock toutes les propriétés du travail effectué par l'utilisateur, mais aussi ces séries de valeurs.

Mon problème : lorsque je recharge ces valeurs, c'est extrêmement lent !

Voici le principe actuel pour stocker les valeurs :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
<V1 c1="29.8036" c2="0" c3="-5.84222" c4="0.16356" c5="30" c6="0" c7="-6.2542" c8="5.93529411764707"/>
<V2 c1="29.9256" c2="1" c3="-5.67866" c4="0.18072" c5="30.13" c6="0.017" c7="-6.1533" c8="7.31874999999998"/>

c1, c2... c8 représentent les 8 séries que je sauve. Ici on peut voir que chaque série a 2 valeurs : V1 et V2.

Donc, au chargement, pour remplir ma série c1, je vais lire l'attribut c1 de V1, puis c1 de V2, etc.

Ma question : comment gérer au mieux le stockage de toutes ces valeurs ? Les 2 objectifs sont : - minimiser la taille du fichier de stockage, et - optimiser le temps de sauvegarde et de chargement

Idéalement, j'aimerais garder la structure XML afin de n'avoir qu'un fichier de sauvegarde.
Merci d'avance.

[Tardiff Jean-François]

Bonjour,

Personnellement je remplacerais les valeurs de type c1="29.8036" c2="0" c3="-5.84222" c4="0.16356" c5="30" par
29.8036;0;-5.84222;0.16356;30. Cela faciliterais (d'accélérerais) le décodage.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
 
var
  AList: TStringList;
  I: Integer;
begin
 
  AList := TStringList.create;
  try
    AList := AnsiReplaceStr("29.8036;0;-5.84222;0.16356;30", ';', #13 + #10);
    for I := 0 to AList.count - 1 do begin
       ShowMessage(AList[I];
    end;
  finally
  AList.Free;
end;

Vous pouvez aussi mettre plusieurs Valeurs dans un seul string, en les séparant par un "tag" (V dans l'exemple si dessous.

Du coup il n'y a plus qu'un texte à sauver ou à lire. Cela devrait accélérer le traitement, sans changer beaucoup de code.
Autre avantage, c'est facile à tester pour voir si le traitement est accélérer.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
"V;29.8036;0;-5.84222;0.16356;30;V;29.9256;1;-5.67866;0.18072;30.13;0.017;-6.1533;7.31874999999998"

[qi130]

La lenteur constatée doit être liée au fait qu'il te faut lire/traiter l'ensemble des Vn pour acquérir un Cx donné.

Mis à part la réorganisation de cette pseudo matrice (V/C -> C/V) pour acquérir en 1 lecture les valeurs d'un Cx, je ne vois pas trop ce qui pourrait améliorer les perfs.

Est-il envisageable de travailler en mémoire dans un tableau 2D ?

[ShaiLeTroll]

Pourquoi ne pas utiliser une classe dérivée de TCollection et des items dérivées de TCollectionItem, et d'utiliser SaveTo\LoadFromStream directement, qui t'éviterai tout parsage le laissant au gestionnaire de flux persistant de Delphi ?

Puis pour lire, tu transforme le XML en DFM via un XSL
Pour écrire, tu te fais une fonction de transformation de DFM en XML, c'est ce qu'il y a mon bureau, je n'en suis pas l'auteur, donc je ne peux pas la publier, si cela avait été moi, je te l'aurais passé ...


Sinon, tu utilise quel objet de stockage (TList, TObjectList, TStringList, ...), si tu la possibilité, pré-affecte la Capacity, cela allouera une bonne fois une liste sans devoir l'agrandir tout le temps, ce qui prend du temps.

Ensuite, si tu as D6 Ent, tu peux te faire une Interface de ton fichier XML, cela simplifierai ton code, et peut-être éviterai des manip redondante qui ralentisse tes traitements !

[MiJack]

J'aimerais essayer avec ta méthode Tardiff, mais il y a une erreur avec la TStringList :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

AList := AnsiReplaceStr("29.8036;0;-5.84222;0.16356;30", ';', #13 + #10);

-> Incompatible types: "TStringList" and "String"

N'ayant jamais vraiment utilisé de TStringList, j'aimerais bien savoir comment la remplir rapidement, histoire d'éviter de devoir créer manuellement un tokenizer qui sépare les valeurs une à une ...

[Tardiff Jean-François]

ho pardon,

AList.Text := au lieu de AList :=

[MiJack]

Ah merci. Effectivement j'ai gagné énormément en temps de chargement. Quand j'aurais plus de temps, je pourrai essayer d'optimiser encore avec la technique de ShaiLeTroll éventuellement.

[MiJack]

Je rajoute une précision pour ceux qui utiliseraient la même méthode :
la ligne

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

AList := AnsiReplaceStr("29.8036;0;-5.84222;0.16356;30", ';', #13 + #10);

est un énorme bouffe-temps.

En utilisant une chaîne de caractères qui avaient déjà les #13, #10 au lieu des ';' et donc en évitant de devoir utiliser la fonction "AnsiReplaceStr", je suis passé de 3 à 4 secondes d'attente à un chargement instantané