Discussion :

[licpegpon]

Bonjour,
Je dispose d'un fichier qui contient 52 colonnes et environ 400 000 lignes. Les données sont très variées (texte, date, nombres, ...).
Je dois régulièrement telecharger ce fichier sur un emplacement sécurisé afin d avoir la version à jour de la base de données.
A l aide d une procédure je récupère en mémoire la totalité de cette base. Quelle est la meilleure manière de procéder pour économiser la mémoire vive ? Je pensais à un enregistrement par boucles dans un tableau ?
Une fois là base mise en mémoire je peux effectuer des calculs, des extractions, ... et n afficher dans une feuille que les résultats qui m intéressent.
Merci par avance.

Cdlt.
Jérôme

[halaster08]

Bonjour,

Comment économiser la mémoire vive ?
[...]
52 colonnes et environ 400 000 lignes

Excel n'est pas fait pour ça, utilise une application prévue pour gérer les bases de données.

[licpegpon]

Sauf que c est un impératif imposé par mon client. La matrice est sous Excel et les différents extracts doivent également être réalisés par Excel.
Cdlt.
Jérôme

[unparia]

Bonjour
Tout est dit là :

Je dois régulièrement telecharger ce fichier sur un emplacement sécurisé
.....
A l aide d une procédure je récupère en mémoire la totalité de cette base.

Pour récupérer ces données, je ne connais pas de moyens magiques qui permettraient d'éviter l'ouverture de la totalité du classeur concerné (car je suppose qu'il s'agit d'un classeur ?)
Il restera donc en mémoire jusqu'à sa fermeture, que tu l'utilises pour extraire des données par paquets ou non .


Je ne vois alors personnellement pas d'autres solutions que celles quelles qu'elles soient, qui seraient mises en oeuvre à la source (avant téléchargement).
Question : peux-tu donc participer à la prise de décisions à la source ?

PS : il est à observer que ta question aurait d'ailleurs pu être posée dans n'importe quel autre forum de ce site,, car il ne s'agit en fait pas d'un problème spécifique à Excel

[halaster08]

Sauf que c est un impératif imposé par mon client. La matrice est sous Excel et les différents extracts doivent également être réalisés par Excel.

C'est malheureusement a toi d'expliquer a ton client qu'il va droit dans le mur.
Soit ils investissent dans un ordi avec BEAUCOUP plus de mémoire vive soit dans logiciel fait pour gérer les bases de données.

[licpegpon]

Bonjour,
Je n ai aucun pouvoir de décision. Je dois faire avec...
Cdlt
Jérôme.

[unparia]

Je n ai aucun pouvoir de décision. Je dois faire avec...

Tu as alors eu ma réponse

Ce que tu peux alors faire (et rien d'autre), c'est de n'encombrer ta mémoire que le temps nécessaire à l'allègement *** ou au morcellement du fichier téléchargé.


**** Allègements possibles :
- le sauvegarder après l'avoir débarrassé de toutes ses mises en forme, formules éventuelles, etc ...
- l'exploiter pour n'en extraire que les données dans un fichier texte structuré (que tu peux ensuite décomposer en plusieurs) et traiter ensuite ces "morceaux"

C'est à toi de voir en fonction du contexte que tu es seul à connaître

EDIT : ce que j'ai dit plus haut pourrait au besoin être fait sur une machine "indépendante" distincte dont l'occupation de la mémoire ne gênerait pas d'autres utilisateurs et/ou taches.

[Igloobel]

Bonjour à tous

Autre astuce

exporter les données nécessaires dans un fichier de type Csv et utiliser Excel pour le traiter comme un fichier texte
je sais que cela ressemble beaucoup à ce qu'à dit unparia que je salue

- le sauvegarder après l'avoir débarrassé de toutes ses mises en forme, formules éventuelles, etc ...

ceci dit tu travailles sur quel type de becane (OS - Mémoire RAM existante, version de PAck Office, Logiciels présent et ceux présent en mémoire ....)

[Menhir]

Quelle est la meilleure manière de procéder pour économiser la mémoire vive ?

Un tableur, de par sa nature, stock en mémoire la totalité de ses données.
Un SGDB, par contre, ne charge en mémoire que l'enregistrement courant.
Entre les deux, il n'y a quasiment rien.

Je plusois donc à la proposition d'halaster08 ( ) comme le ferait n'importe qui ayant un minimum d'expérience.

Maintenant, il est toujours possible d'étudier des solutions qui pourraient, peut-être, être acceptable par ton client.

Pour ce qui est des données de bases, s'il ne veut pas investir dans Access ou autre SGBD, du commerce, il est possible de passer par Libre Base ou Open Base.
Une fois la base créée, il n'est pas très compliqué d'y ajouter/supprimer/modifier des enregistrement avec une petite notice.

Il existe des passerelles entre ces bases et Excel, par exemple avec du SQL ou du VBA. Sans compter qu'il est possible d'ouvrir une telle base avec Excel. Donc, pour ton client, la base reste accessible depuis Excel.
Il serait possible d'envisager qu'Excel chapeaute l'applicatif, lance les macros et que les résultats soient des classeurs Excel, tout en ayant des données source sous forme d'une base de données.

Bref, il serait bon de négocier un compromis.

Je pensais à un enregistrement par boucles dans un tableau ?

Je ne comprends pas vraiment ce que tu veux dire, mais si ton idée est de fractionner la base en plusieurs classeurs pour les charger/fermer successivement, ça va être tellement lourd à gérer et lent dans son fonctionnement que ça sera quasiment inutilisable.

[licpegpon]

Bonjour et un grand merci pour toutes vos réponses.... A discuter avec mon client.


Cdlt.
Jérôme