Tableau stocké dans un fichier

Version imprimable

09/08/2013, 19h55
ahoff

Tableau stocké dans un fichier
Bonjour,

j'ai besoin de stocker un tableau trop gros pour être instancié par mon programme, (en fait il faut faire un fftshift sur un tableau qui prend là moitié de la RAM).

Du coup je pensais utiliser la stxxl, mais sur les tuto que j'ai vus, la lib semblais imposer des contraintes assez lourdes niveau de la compilation. Donc je voulais faire un tableau qui estoquerait ses éléments sur un fichier, l'interface serait en gros :
1. Constructeur vide
2. Constructeur avec la tailledu tableau
3. getter / setter sur les élléments
4. une methode size / length
5. éventuellement une méthode pour redimensionner
Je voudrais savoir si quelqu'un avait des pistes pour coder ce genre de truc.

Merci d'avance
10/08/2013, 10h24
Neckara

Bonjour,

Ton tableau est à une seule dimension si j'ai bien compris ?
Que doit-il stocker, comment sera-t-il utilisé, à quelle fin, quelle taille devrait-il faire ?

Pour ton fichier, tu peux enregistrer des pointeurs vers les structures à stocker dans ton tableau et utiliser seekg pour lire le n ième élément.
Pour l'interface, au lieu d'utiliser "get" et "set", surcharge plutôt l'opérateur [].

Je te conseille aussi d'implémenter des itérateurs ainsi que les méthodes begin() et end().
10/08/2013, 11h04
JolyLoic

Si ce tableau ne fait "que" la moitié de la RAM, le plus efficace et le plus rentable est probablement de doubler la taille de ta RAM, et de ne pas passer par un fichier.

Sinon, stocker un tableau sur disque n'a rien de difficile, mais là où ça se corse, c'est comment vas-tu y accéder ? Si globalement, tu accèdes aux cases plus ou moins dans l'ordre, et que tu n'as besoin à chaque moment que des cases voisines proches de la case "active", pas de soucis, n’importe quelle lecture bufferisée fera l'affaire. Si maintenant tu dois accéder en permanence à des éléments d'indice totalement aléatoire, tu vas être très inefficace en passant sur disque.
Si tu te trouves dans un état intermédiaire, il peut être intéressant de clarifier comment les accès ont lieu afin de concevoir le stockage en fonction.

Après, si tu as des problèmes de perf, tu peux aussi te pencher sur les lectures de données asynchrones. L'idée est que tu commences à demander au disque des données dont tu n'as pas encore besoin, et le temps que le disque te réponde, tu continues ton travail avec les données que tu as déjà, comme ça tu es prêt pour enchaîner quand tu arrives sur ces données là.
10/08/2013, 11h58
ram-0000

Tu peux aussi mapper le fichier en mémoire. Tant que les pages du fichiers ne sont pas accédées, il n'occupe pas de RAM. Et ainsi, tu laisse l'OS allouer et libérer les pages inutiles (ou trop peu récemment utilisées).

Quel OS utilises tu ?
est ce que tu fait des accès en écriture sur ce fichier ?
10/08/2013, 17h50
ahoff

Merci pour vos réponses

Citation:

Ton tableau est à une seule dimension si j'ai bien compris ?

Oui, entait c'est un tableau 1D qui permet d'en représenter un N-D.

Citation:

Que doit-il stocker

à priori des doubles ou des complex (structure ou tableau de deux éléments)

Citation:

Pour ton fichier, tu peux enregistrer des pointeurs vers les structures à stocker dans ton tableau et utiliser seekg pour lire le n ième élément.

Hum je suis pas sur de saisir, perso je voulait partir sur des trucs à la fwrite pour lire un élément (lecture et écriture en binaire quoi, et me déplacer avec un truc à la fseek, enfait d'après (le peut de) ce que j'ai compris sur les fichiers en C ça marche un peut comme un tableau (je connais juste pas les fonctions).

Citation:

Si globalement, tu accèdes aux cases plus ou moins dans l'ordre

Je pense pas que ça sera le cas

Citation:

Après, si tu as des problèmes de perf

Non mon but est juste de montrer qu'une méthode fonctionne, que ça prenne 1h où 30sec n'est pas important. Bon si l'accès peut être fait avec un coup constant c'est mieux.

Code:

Quel OS utilises tu ?

Perso Linux, mais le type qui reprendra ça seras peut être sous mac, ou Windows, si la lib standard C/C++ permet de faire ça c'est mieux.

Code:

est ce que tu fait des accès en écriture sur ce fichier ?

Oui Oui, je pensait le créer même avec tmpfile.
10/08/2013, 18h41
Neckara

Citation:

Envoyé par ahoff

Hum je suis pas sur de saisir, perso je voulait partir sur des trucs à la fwrite pour lire un élément (lecture et écriture en binaire quoi, et me déplacer avec un truc à la fseek, enfait d'après (le peut de) ce que j'ai compris sur les fichiers en C ça marche un peut comme un tableau (je connais juste pas les fonctions).

seekg est "l'équivalent" de fseek en C++.