Discussion :

[myzu69]

Bonjour,

je suis en train de faire un programme traitant des séquences du génôme donc potentiellement assez grosses (compter plusieurs milliards) et je m'interroge sur la manière la plus efficace de lire et d'écrire dans un fichier. Pour l'instant j'ai fait ce qui se fait le plus classiquement, un pointeur de fichier et je lis ou écris séquentiellement toutes les données.

Ce qui serait idéal ce serait de charger le fichier dans ma structure de données automatiquement, sans avoir à le lire, ce qui ne devrait pas poser trop de problème étant donné que c'est moi qui l'écrit en parcourant ma structure.

J'ai pensé au memory mapping mais peut-être n'est-ce pas la méthode la plus rapide ou existe-il une méthode qui serait aussi rapide mais portable (mmap ne fontionne que sur UNIX non ?). Je programme sous Linux actuellement mais j'aimerais bien que mon soft puisse tourner sur Windows.

Voilà, si quelqu'un pouvait m'éclairer un peu ce serait fort aimable à lui

[Elijha]

Bonjour,

Pour l'instant j'ai fait ce qui se fait le plus classiquement, un pointeur de fichier et je lis ou écris séquentiellement toutes les données.

Remplis-tu ta(tes) structure(s) octet par octet ?

Si tu as une structure (ou plusieurs) ne serait-il pas préférable de la (les) lire "binairement" ? Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
struct stGenome {
    champs1 ;
    champs2 ;
    ....
} ;
 
// Dans le main
struct stGenome tabGenome[X] = {0} ;
 
// Après ouverture du fichier, lecture de X structures
ret = fread(&tabGenome, sizeof(struct stGenome), X, fdFile) ;

La fonction fread est portable d'un système à un autre.
Le problème, c'est la compatibilité de tes fichiers si tu dois modifier ta structure. Il te faudra faire un programme pour passer de l'ancienne à la nouvelle structure.

[Obsidian]

Le memory mapping est ce qu'il y a de plus approprié dans ce genre de cas de figure. C'est aussi ce qu'il y aura de plus optimisé dans la mesure où tu laisses toute latitude au système pour gérer le fichier comme il l'entend.

mmap() est conforme POSIX 1.2001 selon la man page, donc relativement portable. Windows devrait également la reconnaître (jamais essayé), sinon l'OS de Redmond dispose de ses propres primitives : http://msdn.microsoft.com/en-us/library/ms810613.aspx