Optimisation de la lecture de tres gros fichiers
Bonjour,
je cherche à optimiser mon application. Voila mon problème : j'ai de tres gros fichiers de données textes à traiter.
Ces fichiers contiennent des données organisées comme dans un tableau (les valeurs étant séparées par un caractère bien spécifique).
Par exemple
Code:
1
2
3
4
5
|
param1 , param2 , param 3 , param 4
valeur11 , valeur12, valeur13, valeur14
valeur21 , valeur22, valeur23, valeur24
... |
A l'avance je ne connais ni le nombre de lignes, ni le nombre de colonnes
Le format de ces fichiers ne peuvent etre modifie.
Comme je veux traiter les données, je les insère dans un tableau à 2D.
Je charge d'abord les données dans une TStringList grace a la méthode LoadFromFile, puis j'"explose" chaque
ligne de manière à récupérer les différentes données. Les données sont alors insérés dans un std::vector <std::vector<String>>
Le problème c'est que c'est lent, et meme tres lent ...
Surtout que je dois traiter beaucoup de ces gros fichiers.
Est-ce que quelqu'un saurais comment je pourrais optimiser cette lecture ???
Merci
Re: Optimisation de la lecture de tres gros fichiers
Citation:
Envoyé par Lydie
Est-ce que quelqu'un saurais comment je pourrais optimiser cette lecture ???
Ca dépend des traitements que tu fais ensuite sur tes données. Peut-être n'as-tu pas besoin de charger toutes tes données en mémoire ?
