Bonjour à tous !
Alors voici mon problème, Je souhaite lire une base de données en plusieurs tronçons puis les assemblés en un DataFrame.
J'utilise pour cela read_csv() ainsi que chunksize= 1000000 (Je ne sais pas combien de lignes contient la base mais c'est très gros).

J'utilise ensuite :

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
chunk_list =[]
for chunk in df:
    chunk_list.append(chunk)
df_concat=pd.concat(chunk_list)
Mais à ce moment là, la ram augmente jusqu'à son maximum et ensuite mon notebook m'indique que le noyau a planté.
Comment puis-je faire pour lire cette base de données en plusieurs parties et ensuite la rassembler en un en optimisant la ressource mémoire.
Merci beaucoup