Discussion :

[StanSmooth]

Salut à tous !

Dans un de mes projets, j'écris des valeurs dans des tableurs excel. Le problème, c 'est que je peux être emmener à écrire un nombre important de valeurs (vous l'aurez compris, plus de 1 048 576 lignes, la valeur max sur excel récent).

Je cherche donc une solution pour pallier à ce problème. Une option pourrait être de génerer un 2 fichiers lorsque l'on atteint les 1000000 de lignes, mais je me demandais si il n'existait pas plus simple ??

[wiztricks]

Salut,

Je cherche donc une solution pour pallier à ce problème.

C'est surtout un problème pour l'utilisateur d'EXCEL et, pour autant qu'il y ait une solution, il faudra qu'elle soit utilisable par lui - ce qui dépend de la nature des données et de ce qu'il voudra en faire -...
Et le programmeur devra faire avec quelque soit le langage de programmation qu'il utilise pour fabriquer ces fichiers.

- W

[StanSmooth]

Salut,

Pour l'instant à défaut de trouver mieux,
ma solution sera cet executable :
https://fredel.fr/csv-splitter/

qui permet de séparer un fichier csv.

[wiztricks]

Pour l'instant à défaut de trouver mieux,
ma solution sera cet executable :
https://fredel.fr/csv-splitter/

Si la solution est de découper le fichier en morceaux, pourquoi créer un énorme fichier à découper ensuite plutôt que de créer directement les différents morceaux?

- W

[clementmarcotte]

Bonjour,

Salut à tous !

Le problème, c 'est que je peux être emmener à écrire un nombre important de valeurs (vous l'aurez compris, plus de 1 048 576 lignes, la valeur max sur excel récent).

C'est la limite par feuille de calcul. Encore que cela reste (quelque peu) délirant. Excel est ainsi fait qu'il doit toujours avoir l'entièreté de tous les classeurs qui dépendent de la même instance ouverte en mémoire vive. Dès que Windows a de la difficulté à fournir la mémoire requise, Excel devient un escargot infirme et c'est le risque de plantage et de pertes de données.

Je cherche donc une solution pour pallier à ce problème. Une option pourrait être de génerer un 2 fichiers lorsque l'on atteint les 1000000 de lignes, mais je me demandais si il n'existait pas plus simple ??

Plus simple et beaucoup plus prudent; un SGBD.

P.S. Je ne suis pas expert en Python, mais en Excel.

[StanSmooth]

Si la solution est de découper le fichier en morceaux, pourquoi créer un énorme fichier à découper ensuite plutôt que de créer directement les différents morceaux?

Parce que cela nécessite à l'intérieur de mon script de :
-Surveiller si l'on dépasse un nombre de ligne donné
-Créer de nouveaux fichiers lorsque c'est necessaire
-bien les nommer...

C'est un gain de temps pour moi de faire du post traitement. (et c'est toujours intéressant d'avoir un fichier contenant toute mes data à chaque fois)

Plus simple et beaucoup plus prudent; un SGBD.

Salut,
Lorsque tu parles de SGBD tu penses à mysql et autres ?
Y a-t-il Un SGBD permettant de generer des graphiques par exemple ? J'avoue que c'est un domaine que je ne connais pas du tout !

(en tout cas merci à vous tous pour vos réponses )

[fred1599]

Y a-t-il Un SGBD permettant de generer des graphiques par exemple ? J'avoue que c'est un domaine que je ne connais pas du tout !

Normalement un SGBD permet de gérer une base de données de manière sécurisée, d'où la remarque de @wiztricks je suppose.

Pour générer des graphiques, le module très connu et beaucoup utilisé est matplotlib. Il doit y en avoir une pléthore mais chercher via le moteur de recherche relève de tes attributions