Discussion :

[oodini]

Hello,

Je dois charger en RAM (mémoire partagée) plusieurs Go de données. Pour la lecture, j'utilise un ifstream.

• Si je fais cette opération en local, cela me prend quelques minutes.
• Si je transfère les données d'un endroit distant sur un emplacement local (en dehors du code, via un bête glisser-déposer dans l'explorateur), cela me prend quelques minutes.
• Si j'utilise le ifstream en le faisant aller lire les données via le réseau, cela prend une demi-heure.

Qu'est-ce qui peut, dans le dernier, cas expliquer une telle explosion du temps de chargement ?

[imperio]

Si tu dois lire des donnees sur le reseau, tu es limite par la limite de ce reseau. Exemple, tu es limite a 20 Mo/s.

Cela te donne en gros 20 minutes pour un Go. Il n'y a pas moyen de faire mieux ainsi.

Par-contre, si tu n'as pas besoin de toutes les donnes tout de suite, tu peux faire en sorte de telecharger les "prioritaires" d'abord et seulement ensuite le reste. Et si les donnees a telecharger sont toujours les meme, tu peux meme les stocker sur le disque local afin de ne pas avoir besoin de les retelecharger.

[oodini]

Si tu dois lire des donnees sur le reseau, tu es limite par la limite de ce reseau.

Pas seulement, puisque la somme du temps nécessaire pour faire un bête transfert réseau et du temps pour charger les données en local est 3 fois plus courte que de faire le chargement à travers le réseau.

[imperio]

Pas seulement, puisque la somme du temps nécessaire pour faire un bête transfert réseau et du temps pour charger les données en local est 3 fois plus courte que de faire le chargement à travers le réseau.

Je crois avoir compris ce coup-ci (si ce n'est pas le cas, n'hesite surtout pas a me corriger). J'aurais tendance a penser qu'une fois qu'une donnee est arrivee tu l'interpretes aussitot en mettant en pause les transferts. Je me trompe ?

[oodini]

Exact.

[imperio]

Dans ce cas quel est le probleme ? Je te recommenderai bien les threads mais je pense que tu y as deja pense etant donne ton grade...

Pour repondre a ta question initiale, je pense donc que tu dois paralleliser les traitements et le telechargement des donnees.

Pour le coup j'ai vraiment pas l'impression de t'apporter une reponse...

[oodini]

Le traitement en question consiste simplement à ranger ce que je viens de lire en mémoire, après avoir appliqué un reinterpret_cast.