Discussion :

[MiJack]

Hello,

Dans mon logiciel, je sauvegarde des points (environ 100'000 à 200'000 points avec précision à 10 chiffres après la virgule). Pour accélérer l'ouverture du fichier, je stock tous les points concaténés en un seul string. Effectivement la lecture est extrêmement rapide, mais pour la sauvegarde je me retrouve face à un problème :

- je lis mes points au fur et à mesure et j'agrandis un TStringStream :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
points := TStringStream.Create('') ;
for i := 0 to nbPoints do
  points.WriteString(tabPoints[i]+#13+#10) ;
monParseurXML.Save(points.ReadString(points.Size)) ;
points.Free ;

J'ai constaté qu'au fur et à mesure de l'avancement de la sauvegarde, la fonction points.WriteString() met de plus en plus de temps à s'exécuter. J'ai le sentiment que le soft cherche un nouvel espace mémoire et doit recopier le stringStream, ce qui prend du temps.

Je cherche donc à accélérer la création de cet énorme string qui contient tous les points. Le problème est que je suis obligé d'utiliser un paramètre de type string pour ma sauvegarde.

Avez-vous des conseils ?

[sjrd]

Est-ce que tabPoints[i] a toujours la même longueur ? Y a-t-il un maximum de longueur ?
Si oui, pré-alloue ta chaîne de caractères avec SetLength, c'est vraiment très important. Et si non, alloue quand même celle-ci par blocs.
Ne pas faire de concaténations : ça prend trop de temps car il faut systématiquement réallouer de l'espace mémoire.

N'utilise pas TStringStream, mais directement un string, c'est beaucoup plus efficace, car cette classe souffre d'un défaut d'implémentation de la méthode Write, qui la rend inutilisable dans ton cas. Au mieux, il faudrait redéfinir cette méthode dans une classe dérivée : ça pourrait passer.

[WolffN]

si possible essaye de modifier ta méthode d'enregistrement pour enregistrer les points au fur et a mesure directement a la fin du fichier de destination en mode APPEND

[MiJack]

si possible essaye de modifier ta méthode d'enregistrement pour enregistrer les points au fur et a mesure directement a la fin du fichier de destination en mode APPEND

Dans l'idéal c'est ce que je ferais, mais ça implique trop de modifications à l'heure actuelle.

@sjrd : tabPoints[i] est un real, donc 8 bytes maximum.
Je suis d'accord avec ta technique de commencer par allouer complètement l'espace pour le string, mais ensuite comment le remplir correctement sans concaténation ? J'aurais besoin d'un petit bout de code à ce niveau-là..

[sjrd]

@sjrd : tabPoints[i] est un real, donc 8 bytes maximum.

Oui mais attention, il s'agit de la taille lorsqu'il est transformé en chaîne : comment le transformes-tu ?

Je suis d'accord avec ta technique de commencer par allouer complètement l'espace pour le string, mais ensuite comment le remplir correctement sans concaténation ? J'aurais besoin d'un petit bout de code à ce niveau-là..

Ce n'est pas trivial. L'idée est d'utiliser un buffer temporaire, puis de faire un Move :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
var
  BufStr, ResStr: string;
  Position, I: Integer;
begin
  SetLength(ResStr, nbPoints*(MaxSize+2)); // 2 = #13#10
  Position := 1;
  for I := 0 to nbPoints-1 do
  begin
    BufStr := tabPoints[i]+#13#10; // avec une conversion si nécessaire
    Move(BufStr[1], ResStr[Position], Length(BufStr));
    Inc(Position, Length(BufStr));
  end;
  SetLength(ResStr, Position);
end;

Code non complet et non testé : à toi d'adapter

[MiJack]

Ton bout de code fonctionne parfaitement.

Le seul problème est l'approximation de la taille maximale à stocker. J'ai fixé 20 caractères, ce qui ne devrait jamais être dépassé.

Merci, grâce à toi je suis passé d'un temps de sauvegarde pour 100'000 points de 1min 15 à 3 secondes