Discussion :

[Lydie]

Bonjour,

je cherche à optimiser mon application. Voila mon problème : j'ai de tres gros fichiers de données textes à traiter.
Ces fichiers contiennent des données organisées comme dans un tableau (les valeurs étant séparées par un caractère bien spécifique).
Par exemple

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
param1   , param2  , param 3 , param 4
valeur11 , valeur12, valeur13, valeur14
valeur21 , valeur22, valeur23, valeur24
...

A l'avance je ne connais ni le nombre de lignes, ni le nombre de colonnes
Le format de ces fichiers ne peuvent etre modifie.

Comme je veux traiter les données, je les insère dans un tableau à 2D.
Je charge d'abord les données dans une TStringList grace a la méthode LoadFromFile, puis j'"explose" chaque
ligne de manière à récupérer les différentes données. Les données sont alors insérés dans un std::vector <std::vector<String>>
Le problème c'est que c'est lent, et meme tres lent ...
Surtout que je dois traiter beaucoup de ces gros fichiers.

Est-ce que quelqu'un saurais comment je pourrais optimiser cette lecture ???

Merci

[scarabee]

Franchement je vois pas trop car tu travailles sur du texte, et qu'ensuite tu dois parser chaque chaine. C'est "presque" normale que le traitement soit lent si les fichiers sont tres gros.

Mais si qqun connait un truc, je serais aussi tres interessé d'apprendre !

[bebeours]

Est-ce que quelqu'un saurais comment je pourrais optimiser cette lecture ???

Ca dépend des traitements que tu fais ensuite sur tes données. Peut-être n'as-tu pas besoin de charger toutes tes données en mémoire ?

[Lydie]

Bah je fais plein de choses.
Des fois c'est réorganisation complete des données, mais effectivement des fois c'est juste modification des valeurs d'une colonne.

[bebeours]

L'utilisation d'un SGBD serait je pense plus adapté à la gestion de données volumineuses. Interbase est fourni avec BCB.