Bonjour,

Je voudrais vous solliciter afin de connaître une stratégie efficace pour écrire un fichier de très grande taille.

Je dispose d'un fichier de 250 Go que je désire "cropper" et ramener à une taille inférieure de ~50-70 Go en ignorant certaines données.

1) Est-il préférable de lire de grosses portions de données d'un coup et de les charger sur la RAM ?
2) Est-il préférable d'écrire de grosse quantités de données d'un coup sur le disque (par exemple par tranche de 1 Go) ou par plus petites tranches et du coup en streamant les données au fur et à mesure qu'elles sont traitées ?

Je précise que je compte multithreader mon programme étant donné qu'il est possible de traiter certaines parties des données de manière totalement indépendantes, ainsi, chaque thread de mon programme traitera ces données indépendantes et les écrira sur la mémoire RAM au fil de l'eau.