[Mémoire] Utilisation memoire importante

Version imprimable

21/10/2008, 16h51
boummah

[Mémoire] Utilisation memoire importante

Bonjour,

Je me permet de poser ces quelques questions suite à mes recherches infructueuses sur le forum.

Je viens de réaliser un programme en C++ sous Ubuntu qui fonctionne plutôt bien (:D) mais je pense avoir un gros problème d'utilisation de la mémoire. En effet l'éxecution de mon programme se passe à merveille seulement en tapant la commande "top" dans un terminal afin d'observer les répercutions de mon programme sur la mémoire et le CPU je me pose de grosse question. En effet mon programme atteint pratiquement 200m d'utilisation memoire (VIRT = 200m = RES + SWAP = 20m + 180m)...

Il ne s'agit pourtant pas d'un énorme projet (même si cela n'a pas grand chose à voir avec l'espace utilisé durant l'éxecution, 146 KB pour un petite vingtaine de fichier cpp et hpp). Il s'agit d'un programme executant principalement 3 threads: un client TCP/IP, un server TCP/IP et un autre thread faisant appel aux deux précédents. J'utilise donc les threads, les mutexs, les semaphores, les sockets et une platforme de communication entre différents processus d'une application (spécialisée pour la robotique).

J'ai déjà eu recours à l'outil valgrind qui permet d'acquérir un bon nombre d'information sur l'utilisation de la mémoire mais celui si ne me signale pas d'erreur particulière justifiant une telle utilisation de mémoire.

Je me demande simplement si lmon interpretation de la commande "top" est bonne et dans ce cas si une telle utilisation de mémoire serait normale...

Merci d'avance pour votre aide.
21/10/2008, 17h08
Jean-Marc.Bourguet

Regarde /proc/<processid>/maps pour avoir un peu plus d'info sur la maniere dont la memoire est utilisee.
21/10/2008, 17h50
boummah

Merci pour la réponse rapide. Je viens de regarder les infos qu'il est possible d'avoir sur l'utilisation mémoire dans proc/. En regardant le smaps j ai pu voir que la taille du mapping de mon application est d'environ 1m et que tous le reste de la memoire utilisée se situe dans la pile (heap).
Pouvez-vous m'aidez à interpréter cela.
Si vous avez des bon liens expliquant l'utilisation de la pile me permettant de comprendre ce qu'il se passe dans mon programme quels sont les choix qui sont fait pour l'utilisation de la pile, etc.
Merci d'avance...
21/10/2008, 18h50
boummah

A quoi correspond le "Private_Dirty" dans chacun des process's mapping du fichier "proc/pid/smaps"?
Cela correspond-t-il une mauvaise utilisation de la mémoire?

Ce que j'ai pu trouver pour le moment c'est:

"Dirty means "might need writing to disk or swap." Takes more work to free."

Je pense que la taille de ma pile est trop importante. Il y a-t-il un outil qui pourrait me lier cette mémoire avec mon code c++? cad par quelle instruction est-ce-que la demande de cet espace memoire a t elle été faite... :) Ca me paraît un peu dur la...

Merci
22/10/2008, 01h10
loufoque

Ta gestion de pile est configurée comment ?
Ta pile s'agrandit au besoin ? Le problème avec ce mécanisme, c'est qu'elle réduit jamais...
22/10/2008, 10h35
boummah

Re,
Je crois avoir repéré mon problème...
Dans plusieurs de mes fichiers j'utilise des fonctions me retournant des structures parce que j'ai besoin que la fonction me retourne plusieurs valeurs.
Je crée donc une structure dans le ".hpp" que j'utilise ensuite comme type de retour de mes fonctions (le type de retour n'est pas un pointeur sur structure mais bien une structure).
La compilation seul d'un fichier contenant ce type de fonction me fait grossir mon exécutable de plus de 500KB !!! Un peu bizard non ? Le type de retour doit être un pointeur sur structure pour éviter cela (je suis en train d 'essayer...)?
Merci pour votre aide
22/10/2008, 10h52
Niark13

Citation:

Envoyé par boummah

En regardant le smaps j ai pu voir que la taille du mapping de mon application est d'environ 1m et que tous le reste de la memoire utilisée se situe dans la pile (heap).

Heap, c'est pas la pile, c'est le tas.

La pile, c'est stack.
22/10/2008, 11h36
boummah

Désolé pour l'erreur sur la pile :(
Sinon je viens d'essayer de changer le type de mes fonctions de struture à pointeur sur structure mais ça ne change rien... Je passe toujours d'un exécutable de 170 KB à un exécutable de 1.1MB en ajoutant seulement cette fonction me retournant un pointeur sur structure.

PS: peut-être devrais-je lancer une autre discussion le problème ayant évoluer entre temps?
22/10/2008, 11h39
Jean-Marc.Bourguet

Citation:

Envoyé par boummah

Désolé pour l'erreur sur la pile :(
Sinon je viens d'essayer de changer le type de mes fonctions de struture à pointeur sur structure mais ça ne change rien... Je passe toujours d'un exécutable de 170 KB à un exécutable de 1.1MB en ajoutant seulement cette fonction me retournant un pointeur sur structure.

PS: peut-être devrais-je lancer une autre discussion le problème ayant évoluer entre temps?

Si c'est bien sur le tas que tu consommes, c'est que tu alloues directement ou indirectement beaucoup de memoire.

Si c'est sur la pile, c'est que tu as des variables locales de taille importante.

Les jeux de devinettes, c'est bien, mais sans voir le code on ne peut faire que des hypotheses et ca lasse vite.

Bon voici le code (un peu long...):

La structure en question declarée dans le ".hpp":

Code:

1
2
3
4
5
6
struct UpdateStruct{
	string requesterEntityName;
	string IP;
	string Network;
	string PORT;
};

La fonction retournant une structure du même type définit dans le ".cpp":

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
UpdateStruct *RequestManager::getCsUpdateInfo(Bottle &input)
{
	char *pNetwork = NULL,*pPort = NULL;
	Bottle *tempBottle = NULL;
	string IP;
 
 
	UpdateStruct *myUpdateStruct=NULL;
	myUpdateStruct = new UpdateStruct;	
	Value &v1 = input.get(4); /* First data-Bottle */
	if(v1.isList())
		tempBottle = v1.asList();
	else
	{
		Value &v1 = input.get(3); /* First data-Bottle */
		tempBottle = v1.asList();
	}
	Value &v3 = tempBottle->get(3); /* Requester entity name */
	myUpdateStruct->requesterEntityName = v3.asString().c_str();
 
	Value &v4 = tempBottle->get(0); /* Get network availibility indicator */ 
	int network = v4.asInt();
	pNetwork = new char [2];	
	sprintf(pNetwork,"%d",network);	/* Convertion from int to string */
 
	Value &v5 = tempBottle->get(1); /* Get IP address of the requester entity*/
	IP = v5.toString();
	myUpdateStruct->IP = IP;
 
	Value &v6 = tempBottle->get(2); /* Get PORT of the requester entity */ 
	int PORT = v6.asInt();
	pPort = new char [6];
	sprintf(pPort,"%d",PORT); /* Convertion form int to string */
 
	/* Build the line to be inserted */
	string sNetwork(pNetwork);
	string sPort(pPort);
	myUpdateStruct->Network = sNetwork;
	myUpdateStruct->PORT = sPort;
 
	/* Free memory */					
	delete[] pPort;
	delete[] pNetwork;
 
return myUpdateStruct;
};

Et pour me répéter je passe donc d'un exécutable de 170KB à 1MB simplement en compilant avec cette fonction...

22/10/2008, 13h10
boummah

Bon désolé pour les gens à qui j'ai fait perdre du temps...
En réalité la taille de mon exécutable augmente du à l'utilisation du type "Value" qui est un type définit dans la bibliotheque YARP (protocole de communication pour la robotique: http://eris.liralab.it/yarp).
Il va falloir que je revois les étapes de la compilation parce que je pensais que le fait d'inclure les headers suffisait a augmenter la taille de l'exécutable... Apparement celle-ci augmente à l'appel d'un élément inclu dans le header et dans ce cas précis pour la création d'une référence du type "Value" v1 (cf. code source de la fonction du message précédent).
Si vous avez des précisions sur ce point précis de linkage avec les bibliotheques lors de la compilation et de la répercution sur la taille de l'exécutable vous êtes les bienvenue.

Ps: du coup le sujet s'éloigne de l'intitulé :roll:
22/10/2008, 14h07
Médinoc

À mon avis, c'est surtout sur l'appel de Value::asString() que l'ajout de la bibliothèque à l'exécutable est fait...
22/10/2008, 16h49
boummah

En réalité la simple ligne:

Code:

Value &v1 = input.get(4); // First data-Bottle

dans ma fonction (avec reste du code commenté) fait augmenter la taille de l'exécutable. Je ne fait donc pas d'appel à Value::asString()...
Par contre la bibliotheque YARP a une taille de 923MB ce qui pourrait expliquer le pourquoi du comment :lol:...