Discussion :

[truntz]

Bonjour,

Je cherche désespérement des exemples d'implémentation de la technique Read-Ahead pour améliorer la vitesse de lecture de gros fichier.

http://www.unet.univie.ac.at/aix/aix...gd/seqread.htm


Merci bcp pour votre aide.

[nicroman]

Une implémentation je sais pas... je me souviens d'avoir déposé une patente pour un truc similaire par contre, mais ca concernait la lecture d'images, pour gérer les deux dimensions (et donc, sur le disque, un accès direct).

En ce qui concerne un fichier purement sequentiel, le read-ahead est parfois géré par l'OS (Windows depuis NT4, Linux depuis ?, ...), et très certainement par les controlleurs de disque.
SCSI-2 avait le read-ahead integré, et sa méthode était protegé par patente.
Je pense qu'il est inutile de vouloir "rajouter" un read-ahead au dessus de celui existant (ceci dit je peux me tromper, et il suffit de faire des bench).

Dans tout les cas, l'implémentation est assez simple, c'est la logique de detection de la lecture séquentielle qui est complexe.
Quand on detecte une lecture sequentielle, et qu'une donnée est demandée... on va en lire plus (sans que ca ne ralentisse la requête initiale si possible).
L'avantage n'est de fait visible qu'en environnement parrallèle ou multi-threadé (process / OS, ou OS / Controller).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
Les X sont l'inactivité, le | l'activite...
 
Thread 1:                                Thread 2:                               Disque
Demande données en page 0     -> Lecture données en page 0 -> lecture
    X                                    X                      |
Utilisation données en page 0 <- Retour données en page 0  <----|
    |                                    X                      X
    |                                    X                      X
Demande données en page 1     -> Lecture données en page 1 -> lecture
    X                                    X                      |
Utilisation données en page 1 <- Retour données en page 1  <----|
    |                            Lecture données en page 2 -> lecture
    |                                    X                      |
Demande données en page 2     <- Retour données en page 2   <----
Utilisation données en page 2    Lecture données en page 3 -> lecture
    |
    |
Demande données en page 3     ->   ....
....

Comme on le voit le processus "principal" n'attends rapidement plus la lecture de la donnée, et le disque ce met à fournir les données sans interruption.

A noter que l'implémentation OS en sus de l'implémentation sur le controlleur du disque peut être interessante pour avoir le plus de chance possible de bénéficier du read-ahead de celui-ci.
Par contre... une fois en mémoire... je ne suis pas sur qu'un read-ahead supplémentaire soit éfficace.

[truntz]

merci bcp pour ta réponse compléte, je vais avancer de mon coté

Bonne journée

[NiamorH]

Salut, tu travaille sous quelle plateforme ?
La lecture sur disque avec désactivation du cache système pourrait peut-être t'aider, si les fichiers lus sont toujours différents.

[truntz]

Bonjour,

Merci pour ta remarque NiarmorH. Je suis sur Windows, ceci dit il s'agirait là d'un compromis car certins fichiers peuvent être revisités plusieurs fois.

Existe-il un moyen de régler un niveau de cache système ?

Je vous remercie pour votre réponse

[NiamorH]

Vas voir ce sujet : http://www.developpez.net/forums/sho...d.php?t=304312

Cette méthode était idéale à utiliser pour mon cas, car j'avais une séquence d'images HD à aller charger depuis le disque dur en temps réél, donc à chaque fois l'image à charger ne se trouvait évidement plus dans le cache système qui devenait inutile et me ralentissait.