Bonjour j'ai un énorme fichier csv (1GB) qui peut être mis à jour (le serveur ajoute souvent une nouvelle valeur).

Je veux en python lire ce fichier ligne par ligne (ne pas charger tous les fichiers en mémoire) et je veux lire ceci en "temps réel".

voici un exemple de mon fichier csv :


dans un premier je veux obtenir l'en-tête de fichier (nom des colonnes) dans mon exemple je veux obtenir ce : id,nom,nom de famille
et dans le deuxième temps, je veux lire ce fichier ligne par ligne et non charger tous les fichiers en mémoire
et en troisième fois je veux essayer de lire les nouvelles valeur si le fichier a recu de nouvelle données

j'ai recherché une solution avec l'utilisation pandas lire ce sujet :
https://stackoverflow.com/questions/...-huge-csv-file
Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
import pandas as pd
chunksize = 10 ** 8
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)
mais je ne vois pas ensuite une fois sortie de la boucle comment récuperer les nouvelles du fichgiers qui ont été ajouté sans devoir reparcourir tous le fichier...

par avance merci pour votre aide