Discussion :

[CaramelDur]

Bonjour,

J ai un fichier CSV a traiter assez énorme (1.4Go, quelques millions de ligne ...), pourtant assez simpliste car seulement 2 champs (on dira ici: désignation et quantité juste pour l exemple).
Dans celui ci j ai quelques millions de recherches a y effectuer. J ai eclaté ce dernier en plusieurs fichiers (voir meme en plusieurs milliers), mais cela est assez barbare et une recherche en python dans ces derniers reste ... longt!
Je viens de decouvrir le module csv (pardon mais je suis débutant en python ^^), que je n avais jusque là pas mis en oeuvre .... dans un meme temps je me demandes si je ne ferais pas mieux de creer une voir plusieurs table SQL en lieu et place.
D 'ou ce topic .... d'apres votre experience personnelle quel solution serais non pas forcement la plus simple a mettre en oeuvre mais la plus optimisée afin d'obtenir un résultat .... rapide !

[wiztricks]

Salut,

Tout dépend du type de recherche et de la nature des données.
1.4Go, c'est pas si gros pour ne pas entrer en mémoire sur les machines actuelles.

S'il y a plein de lignes, il n'est peut être pas pertinent d'utiliser un dictionnaire (un arbre binaire?). Une base de données pourrait aider mais c'est des entrées-sortie disques (ben plus lentes que des accès mémoire).

Le plus simple c'est quand même de tester...

- W