Discussion :

[pepito3364]

Bonjour,

Je souhaite me renseigner sur la lecture de data directement sur le disque.
Le but n'est pas de lire classiquement mais d'utiliser tout ce qui est possible pour améliorer les performances de ce genre de système car les fichiers que je veux lire dépasse la RAM que j'ai a ma disposition.

J'ai fouiller un peu et j'ai vu que l'on peut faire du swapping. Peut-on charger des morceaux du fichier en RAM et les stocker temporairement sur le disque pour pouvoir y accéder plus facilement ensuite?

Je crois avoir vu aussi une histoire d'adressage physique. Ce qui correspondrai a avoir directement l'adresse des données sur le disque pour pouvoir y accéder encore plus rapidement, c'est possible?

Si il y a d'autre chose intéressante je suis totalement preneur.

Merci de votre aide.

Cordialement

[SkyZoThreaD]

Salut. Je n'ai pas la réponse à ton soucis mais ça m'm’intéresse aussi.
Je pense qu'il est important pour ta question de préciser l'OS que tu utilises.

[pepito3364]

Oui c'est vrai. Je suis principalement intéressé pour Windows 7 et 8.

[Davidbrcz]

En gros, si j'ai bien compris, tu as un gros fichier que tu veux lire le plus rapidement possible ?

Dans la hierarchie des performances mémoires, on Cache>RAM>Disque. Il faut comprendre que ce qui va pénaliser les performances, ce sont les accès au disque dur, il faut donc en faire le moins possible.

L’idéal, c'est de placer tout le contenu fichier en RAM. Sauf que tu dis que tu ne peux pas. La solution, c'est donc de lire la partie du fichier dont tu as besoin (car on a très rarement besoin de TOUT le contenu d'un fichier), de placer ca en RAM et de bosser dessus.

Le mot clé c'est memory mapped file. Et google donne des réponses

[pepito3364]

Merci pour le mot-clef!!

Oui, l'idée est de prendre des bouts du fichier pour travailler dessus mais il va y avoir beaucoup de permutations entre la RAM et le disque car c'est pour être appliqué à de gros algo.

Je vais poursuivre mes recherches a partir des infos que tu m'a déjà passé.

Je n'hésiterai pas à mettre ce que je trouve ici.

[jblecanard]

Salut !

Les choix techniques que tu feras vont aussi dépendre du type d'application : as-tu des grosses données d'entrées et une sortie petite ? Une sortie très grosse elle aussi ? As-tu besoin de toutes les données pour calculer le résultat ou peux-tu calculer ses composantes indépendamment ?