Discussion :

[JBond007]

Bonjour. Afin de manipuler des fichiers pouvant atteindre plusieurs centaines de Mo (ascii ou binaires), je cherche à implémenter un streaming de ces fichiers en C++ pour éviter de surcharger la mémoire.
Cependant je ne sais pas trop par où commencer . En effet mon ami "gogole" ne me parle que de streaming de fichiers audio ou vidéo. Mais je n'ai pas trouvé d'algo général ni d'exemples de codes pour le streaming de fichiers de données.
Quelqu'un pourrait-il m'aiguiller??

[zais_ethael]

Ouvrir socket serveur. Ouvrir socket client. Client envoie demande à serveur. Serveur ouvre fichier et envoie bout par bout au client. Client reçois données bout par bout et les stocke dans un fichier.
Forcément c'est si simple que je me doute que ta question portait sur un aspect plus spécifique, mais faudrait décrire un peu plus. Déjà rien que le terme streaming est largement perçu comme un terme pseudo-marketing et de fait n'apporte pas une grande valeur à une description technique.

[JBond007]

Ok. Donc j'étaye. Ce "streaming" est local. En effet il s'agit de charger un fichier localement en le découpant en petits buffers que le parser de mon appli lira au fur et à mesure. Il n'y a pas de contrainte de transport via un réseau.
Si dans l'ensemble je pense avoir appréhendé la "recette" : remplissage de tampons de taille "raisonnable", empilement de ceux-ci, traitement par le parser, dépilement des tampons traités, je ne sais toujours pas trop comment partir.
Je reste donc tout ouïe.

[r0d]

Bonjour,

ben pourquoi ne pas commencer avec un simple ifstream pour la lecture du fichier et une simple string pour le stockage (éventuellement un vector de string)?

Voir notamment l'utilisation de la fonction membre read de ifstream (cf. cette faq)

[JBond007]

Bonjour,

ben pourquoi ne pas commencer avec un simple ifstream pour la lecture du fichier et une simple string pour le stockage (éventuellement un vector de string)?

Le problème n'est pas tant la lecture du fichier d'une manière générale. Il existe déjà un reader et un sérializer dans mon appli, ils fonctionnent très bien et s'appuient sur la gestion des flux de la STL.
En fait j'aimerai pouvoir "streamer" le fichier comme un morceau de musique. C'est à dire que la lecture du morceau (dans mon cas le parsing de mon fichier) commence alors que celui-ci n'est pas complètement chargé en mémoire.

[r0d]

En fait j'aimerai pouvoir "streamer" le fichier comme un morceau de musique. C'est à dire que la lecture du morceau (dans mon cas le parsing de mon fichier) commence alors que celui-ci n'est pas complètement chargé en mémoire.

As-tu des contraintes de synchronisation? Je demande ça car si la réponse est oui, tu va devoir passer par des threads.

Mais avec ou sans threads, le principe est le même:
1. on lit un bout du fichier que l'on met dans un buffer
2. on traite le buffer
3. retour au 1.

[JolyLoic]

Le problème n'est pas tant la lecture du fichier d'une manière générale. Il existe déjà un reader et un sérializer dans mon appli, ils fonctionnent très bien et s'appuient sur la gestion des flux de la STL.
En fait j'aimerai pouvoir "streamer" le fichier comme un morceau de musique. C'est à dire que la lecture du morceau (dans mon cas le parsing de mon fichier) commence alors que celui-ci n'est pas complètement chargé en mémoire.

Qu'est-ce que te fais penser que les flux de la STL montent tout le fichier en mémoire ?

[ram-0000]

Pourquoi ne pas utiliser les fonctionnalités de l'OS.

Tu mappes le fichier en mémoire virtuelle, cela ne coûte rien tant que les pages mémoires du fichiers ne sont pas utilisées. Ensuite, c'est l'OS qui mappe ces pages au fur et à mesure de tes demandes dans l'espace mémoire de ton process.

Sous Microsoft, j'utilise MapViewOfFile() (un point d'entrée ici : http://msdn.microsoft.com/en-us/libr...56(VS.85).aspx) et sous Linux, je pense que c'est mmap() qui fait l'équivalent.

[JBond007]

Pourquoi ne pas utiliser les fonctionnalités de l'OS.

Tu mappes le fichier en mémoire virtuelle, cela ne coûte rien tant que les pages mémoires du fichiers ne sont pas utilisées. Ensuite, c'est l'OS qui mappe ces pages au fur et à mesure de tes demandes dans l'espace mémoire de ton process.

Ca s'éloigne un peu de ce que je voudrais faire. D'autant que j'aimerais, autant que possible, m'affranchir de fonctions "platform specific".
Mais néanmoins merci pour le lien je vais regarder ça de près.