Bonjour j'ai un énorme fichier csv (1GB) qui peut être mis à jour (le serveur ajoute souvent une nouvelle valeur).
Je veux en python lire ce fichier ligne par ligne (ne pas charger tous les fichiers en mémoire) et je veux lire ceci en "temps réel".
voici un exemple de mon fichier csv :
dans un premier je veux obtenir l'en-tête de fichier (nom des colonnes) dans mon exemple je veux obtenir ce : id,nom,nom de famille
et dans le deuxième temps, je veux lire ce fichier ligne par ligne et non charger tous les fichiers en mémoire
et en troisième fois je veux essayer de lire les nouvelles valeur si le fichier a recu de nouvelle données
j'ai recherché une solution avec l'utilisation pandas lire ce sujet :
https://stackoverflow.com/questions/...-huge-csv-file
mais je ne vois pas ensuite une fois sortie de la boucle comment récuperer les nouvelles du fichgiers qui ont été ajouté sans devoir reparcourir tous le fichier...
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4 import pandas as pd chunksize = 10 ** 8 for chunk in pd.read_csv(filename, chunksize=chunksize): process(chunk)
par avance merci pour votre aide
Partager