Discussion :

[Tchicken]

Bonjour à tous,
je boucle actuellement en VBA des millions de fois sur les enregistrements d'une base de données Access qui a une taille d'environ 1 Go, c'est très gourmand en temps de traitement (plusieurs jours)... Pour optimiser, j'utilise Miray Ram qui me permet de travailler sur une zone allouée dans la mémoire vive du PC, serait-il possible d'utiliser SQLite3 ou autre chose, un tableau... pour charger en mémoire ma base de données, afin d'optimiser les temps d'accès ?
Merci à tous de votre aide.
Cordialement, Tchicken

[Sve@r]

Bonjour

Pas facile de répondre à ta question car il manque plein d'infos. Par exemple quelle est la taille d'une ligne de ta table (donc est-elle large ou longue) ? As-tu une seule table ou plusieurs liées en jointures ?

Personnellement j'ai eu le cas de devoir traiter des dizaines de milliers d'infos (chaque ligne d'info faisait grosso-modo une centaine d'octets). Chaque ligne possèdait divers marqueurs qui étaient reportés dans une IHM afin que l'utilisateur puisse les désactiver (ou réactiver). Dans ce cas, les lignes associées devaient disparaitre (ou réapparaitre) et les lignes affichées devaient alors se recalculer en cumulant certaines infos les unes aux autres. Donc du gros traitement en permanence quoi.
Ma première version était du 100% Python (un tableau). C'était super long. Ensuite j'ai déporté le traitement (surtout le recalcul en fait) dans Postgres (je débutais dans Python donc je ne connaissais pas tellement de trucs). Là ça a été nettement plus rapide. Ensuite, j'ai découvert sqlite et j'ai décidé de m'en servir pour mes traitements. Effectivement j'ai eu encore un gain nettement appréciable et j'en suis resté là (surtout que tu peux créer ta bdd sqlite en ram). Toutefois je pense ajourd'hui que numpy, si je le maitrisais bien, pourrait peut-être me faire encore gagner en performances.

Donc voilà. C'est sûr que Python est un beau langage mais pour traiter plusieurs fois 1Go il vaut mieux le faire traiter par des outils extérieurs (que Python peut parfaitement interfacer) mais plus adaptés. Et aussi en dehors des pistes indiqués par mes essais, tu peux essayer de voir aussi du côté de "big data"...

[fred1599]

On peut voir du côté de pyodbc peut-être ?

[Tchicken]

Merci pour vos réponses messieurs,

pour pyodbc j'ai peur que les temps de traitement ne change pas beaucoup par rapport à ce que je faisait déjà en vb avec odbc.
Hier soir j'ai migré un extrait de ma BDD sous sqlite, le schéma est constitué de 6 tables, dont 3 sont en relation et toutes sont indexées. Cet extrait est complet et cohérent et ne fait que 71 Mo. Je vais tester en chargeant cette base en mémoire.

[fred1599]

Déjà tu peux tenter avec pyodbc, sinon il en existe d'autres, mais faut tester, comme par exemple adodbapi