Discussion :

[qouify]

salut à tous,
la mémoire allouée à mon programme semble exploser alors que, théoriquement, elle devrait être bornée (et raisonnable).
après pas mal de tests et un petit coup de valgrind dessus qui ne me rapporte pas de fuite mémoire je commence a saturer.
est ce que ca pourrait venir de pointeurs sur des fichiers. je m'explique : j'ai un millier de fichiers ouverts en permanence en mode "a+", et ces fichiers peuvent faire jusqu'à une 10 mega chacun.
pensez vous que ca pourrait venir de la?

merci

[droggo]

Jio,

Un millier de fichiers ouverts en permanence, ça me paraît bien excessif.

[souviron34]

de plus il existe une limite système au nombre de fichier ouverts en permanence, sans oublier une limite soft (en général de l'ordre de 1024).

Si tu es sur linux, voici des FAQ :

http://kbase.redhat.com/faq/FAQ_80_1540.shtm

http://www.cyberciti.biz/faq/linux-i...of-open-files/

http://www.x-tend.be/~stijn/blog/?p=3

[muad'dib]

Jio,

Un millier de fichiers ouverts en permanence, ça me paraît bien excessif.

+1

Tu comptes ~ 1000 fichiers à ~ 10 mo chacun = ~ 10 000 mo = ~ 10 Go en mémoire !!!

PS: droggo, ça veut dire quoi Jio ?

[souviron34]

Tu comptes ~ 1000 fichiers à ~ 10 mo chacun = ~ 10 000 mo = ~ 10 Go en mémoire !!!

Attention.. Il n'a pas dit qu'il les mettait en mémoire... Juste qu'il les ouvrait...

[droggo]

Sia,

PS: droggo, ça veut dire quoi Jio ?

Absolument rien de spécial.

J'ai simplement l'habitude d'écrire un petit mot de 3 lettres au début de chaque message, quasiment toujours 1 consonne + 2 voyelles, lettres variables en fonction de l'humeur du moment, le tout pour dire "bonjour".

[muad'dib]

le tout pour dire "bonjour".

Ok, et pour faire parler les curieux comme moi

[qouify]

merci pour vos réponses.
mais pensez vous qu'une structure de type FILE puisse occuper bcp de mémoire?
j'imagine que des fonctions fread ou fwrite bufferisent les données afin d'optimiser les accès disque alors je me demande si de nombreux pointeurs FILE ouvert sur des gros fichier ne pourrait pas expliquer la mémoire importante consommée par mon prog.

[Emmanuel Delahaye]

<...>j'ai un millier de fichiers ouverts en permanence en mode "a+"<...>

STOP ! Conception à la gomme. A revoir.

[qouify]

tu peux développer un peu stp?

[souviron34]

Ce qu'Emmanuel veut dire, et ça se confirme à l'exposé du code et du problème (ce qu'on disait depuis le début), c'est que ta conception de l'algorithme est erronée...

• Primo, si chaque fichier contient M mots de N caractères, pourquoi ne sont-ils pas regroupés en un seul ?
  
• Secondo, si ce sont des fichiers séparés, pourquoi ne pas compter le nombre de fichiers avant de les ouvrir, et faire une allocation dynamique au lieu de déclarer FILES=1000 ?
  
• Tertio, en admettant que ce soit cette construction-là, pourquoi ne pas lire les fichiers dans l'ordre, et stocker les mots dans la structure, et refermer les fichiers une fois les mots lus ?
  
• Quarto, si il faut se souvenir dans quel fichier ils étaient, il suffit de rajouter un indice dans la structure...
  
• Quinto, tes fonctions, en particulier _insert, fait un free de tree qui me semble hautement suspicieux....

En conclusion, pour développer un peu ce qu"Emmanuel disait :

• reprends sur le papier, en écriture, ce que tu veux faire
• déduis-en l'algo
• re-code
• demande de l'aide, éventuellement

Mais tu n'as CERTAINEMENT pas besoin d'avoir tes 1000 fichiers ouverts pour faire ce que tu veux faire...

[qouify]

merci je vais revoir l'algo