Gestionnaire de cache pour minimiser mes accès disque

Version imprimable

07/11/2006, 14h40
Rodrigue

Gestionnaire de cache pour minimiser mes accès disque

Bonjour,

J'ai besoin d'aide pour concevoir un gestionnaire de cache. J'ai des données inscrites sur le disque dur sous forme de clé/valeur et celles-ci sont parfois trop grosses pour être directement chargées en mémoire. Vous l'avez deviné à chaque requête, je dois faire un accès disque pour récupérer les données. Résultat: mon application est super lente...
Pour accélérer tout cela, je souhaiterais ajouter une cache à mon logiciel. Alors la grosse question: comment faire cela de manière efficace? Je ne trouve rien sur le net à propos de ce sujet

Je vous remercie par avance!
Cordialement,
Rodrigue

J'ai trouvé ceci sur codeprojet:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
#include<hash_map>
using namespace std;
 
template < class K, class V, int limsize = 1000, int BiqQ = 0x7fffffff, int SmallQ=0 > 
class cache 
{
public:
	cache() { m_size =0;}
 
	~cache()
	{
		for(listiter ilist = m_list.begin(); ilist != m_list.end(); ilist++)
			delete (*ilist).m_p;
	}
 
	V* operator[](K& k)
	{
		mapiter imap = m_map.find(k);
		if(imap== m_map.end()) return ((V*) -1);
		listiter ilist = (*imap).second;
		V* p= (*ilist).m_p;
		m_list.erase(ilist);
		push_back(p, imap);
		return p;
	}
 
	void push_back(const K &k,V* p)
	{
		int size = p->size();
		bool Remove;
		listiter ilist =NULL;
		do
		{
			Remove = m_size>limsize;
 
			if(Remove)
			{
				Remove = m_list.size()> SmallQ;
			}
			else
			{
				Remove = m_list.size()> BiqQ;
			}
			if(Remove)
			{
				ilist = m_list.end();
				ilist--;
				m_size -= ((*ilist).m_p)->size();
				delete (*ilist).m_p;
				m_map.erase((*ilist).m_mapiter);
				m_list.erase(ilist);
			}
		} while(Remove);
		mapiter imap;
		ASSERT(m_map.find(k)==m_map.end()); // No, you are not allowed to insert twice the same elment
// begin bad writing : The 2 next lines are bad writing, but I do not know  how to avoid it.. please help
		ASSERT(m_map.size() == m_list.size());
		TRACE(" %d \n",m_map.size());
		m_map[k]=ilist;
		TRACE(" %d \n",m_map.size());
		ASSERT(m_map.size() == m_list.size()+1);
		imap = m_map.find(k); 
//  They should be replaced by some :
//      imap = m_map.insert(k,ilist); 
// end bad writing : please help me to fix that 
		ASSERT(m_map[k]==ilist);
		push_back(p, imap);
		m_size += p->size();
	}
 
	bool iscached(V* p)
	{
		return (p != (V*) -1);
	}
 
 
//#ifdef _DEBUG
//	int dbggetmapsize()
//	{
//		ASSERT(m_map.size() == m_list.size());
//		TRACE(" dbggetmapsize %d (m_size %d) order : ",m_map.size(),m_size);
//		for(listiter ilist = m_list.begin(); ilist != m_list.end(); ilist++)
//			TRACE(" %d ", (*((*ilist).m_mapiter)).first);
//		TRACE("\n");
//		return m_map.size();
//	}
//	int dbggetcachesize()
//	{
//		return m_size;
//	}
//	V* dbgcheck(K &k)
//	{
//		mapiter imap = m_map.find(k);
//		if(imap== m_map.end()) return ((V*) -1);
//		listiter ilist = (*imap).second;
//		return  (*ilist).m_p;
//		
//	}
//#endif _DEBUG
 
private:
	class listitem;	
 
	typedef list<listitem>::iterator listiter;
	typedef hash_map< K,listiter>::iterator mapiter;
 
	class listitem
	{
		friend class cache<  K,  V,  limsize,  BiqQ,  SmallQ > ;
 
	private:
		mapiter  m_mapiter;
		V* m_p;
	};
 
	list<listitem> m_list;
	hash_map< K,listiter> m_map;
	int m_size;
 
	void push_back(V* p, mapiter &imap)
	{
		ASSERT(m_map.size() == m_list.size()+1);
		m_list.push_front();
		ASSERT(m_map.size() == m_list.size());
		listiter ilist = m_list.begin();
		(*ilist).m_mapiter = imap;
		(*ilist).m_p = p;
		(*imap).second = ilist;
		ASSERT(m_map.size() == m_list.size());
	}
};

Vous pourriez m'aider à compiler ce code, svp! On dirat que mon compilo (MVS2005) a du mal avec la déclaration de listitem, listiter et mapiter... class listitem; est bien déclaré avant tout le monde mais il n'arrive quand même pas à faire ses typedefs, il me dit que listitem est inconnu!
Vous pourriez regarder comme le demande l'auteur aux deux lignes de code qui ne sont pas "propres" suivantes:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
mapiter imap;
		ASSERT(m_map.find(k)==m_map.end()); // No, you are not allowed to insert twice the same elment
// begin bad writing : The 2 next lines are bad writing, but I do not know  how to avoid it.. please help
		ASSERT(m_map.size() == m_list.size());
		TRACE(" %d \n",m_map.size());
		m_map[k]=ilist;
		TRACE(" %d \n",m_map.size());
		ASSERT(m_map.size() == m_list.size()+1);
		imap = m_map.find(k); 
//  They should be replaced by some :
//      imap = m_map.insert(k,ilist); 
// end bad writing : please help me to fix that 
		ASSERT(m_map[k]==ilist);
		push_back(p, imap);
		m_size += p->size();

Un grand merci d'avance!!!
Cordialement,
Rodrigue

07/11/2006, 17h32
Médinoc

listitem, listiter etc. ne sont pas documentées, donc pas des classes de Visual.

Si ces classes sont juste déclarées class listitem;, c'est normal que Visual gueule quand tu cherches à les utiliser: Elles sont déclarées mais pas définies, on ne peut donc y référer que par des pointeurs opaques.
07/11/2006, 19h25
Rodrigue

Salut! Merci pour ta réponse.
Ca semble évident pour toi mais qu'est-ce qu'un pointeur opaque?
07/11/2006, 20h49
Médinoc

Un pointeur vers une structure non-définie, voire une structure qui n'existe pas.

Le FILE du C pourraît être une structure indéfinie sur une implémentation qui n'utilise aucune macro pour les f****()
08/11/2006, 00h09
Rodrigue

Mwouais euh :oops: ... et pratiquement pour solutionner mon problème, quelle est la solution miracle? Mis à part déclarer ma classe normalement pour visual...
08/11/2006, 09h28
Patriarch24

Jette un oeil sur Poco, qui propose des classes de cache.
08/11/2006, 12h57
Rodrigue

Génial cette lib, merci beaucoup! Par contre, j'ai des erreurs au niveau du link, il faut absolument que je fasse un include de mes .lib dans le projet pour que ça compile...
08/11/2006, 13h12
Caine

Bonjour,

Il y a quelque chose qui me choque au niveau conceptuel, tu ecris:
"et celles-ci sont parfois trop grosses pour être directement chargées en mémoire"

Ce n'est donc pas la donnée elle-même que tu souhaites mettre en cache?
08/11/2006, 13h21
Rodrigue

Oui, en fait dans certains cas, l'élément en question est lui aussi tellement gros que je ne peux pas le mettre en mémoire directement... Mais bon, on peut oublier cet aspect. Je n'aurais d'ailleurs pas dû l'exprimer de la sorte, tu peux comprendre charger tous les éléments en mémoire et non pas un seul élément.
08/11/2006, 14h30
Rodrigue

Bon c'est super. J'ai compilé poco, tout fonctionne :). La librairie est installée proprement.
Peut-être que je pourrais écrire un tutoriel sur l'installation et l'utilisation de la librairie (au moins pour le cache) car quand je lis tout ce qu'elle peut faire, il faudrait que tout le monde l'ait pour développer! Qu'en pensez-vous?
08/11/2006, 20h28
Laurent Gomila

Citation:

Envoyé par Rodrigue

Peut-être que je pourrais écrire un tutoriel sur l'installation et l'utilisation de la librairie (au moins pour le cache) car quand je lis tout ce qu'elle peut faire, il faudrait que tout le monde l'ait pour développer! Qu'en pensez-vous?

N'hésite surtout pas :)
Si tu veux en discuter contacte moi par MP.
08/11/2006, 20h44
JolyLoic

Citation:

Envoyé par Patriarch24

Jette un oeil sur Poco, qui propose des classes de cache.

Je ne connaissais pas Poco. Plus encore qu'un tutorial, je serais intéressé par un avis de personne l'ayant utilisé : Qualité, envergure, stabilité, redondance avec d'autres bibliothèques (boost ?), dépendance à d'autres bibliothèques, vigueur du projet....
09/11/2006, 00h56
Luc Hermitte

J'ai l'impression qu'il y a peu de réutilisation -- ce que je trouve dommage.
Au vu des lectures du blog, ils semblent "initiés", si je puis dire.

D'après http://appinf.com/poco/blog/?p=4, ils connaissent les deux grosses alternatives de ce domaine.

Je classe dans les "à surveiller", tout comme ASL.
09/11/2006, 11h20
Patriarch24

Citation:

Je ne connaissais pas Poco. Plus encore qu'un tutorial, je serais intéressé par un avis de personne l'ayant utilisé : Qualité, envergure, stabilité, redondance avec d'autres bibliothèques (boost ?), dépendance à d'autres bibliothèques, vigueur du projet...

J'ai testé certaines parties de Poco. Les libs sont en essor, pas vraiment finalisées pour certaines.
Concernant le XML, je préfère Xerces à Poco::XML.
Concernant les fondations, il y a des trucs sympa (les convertisseurs pour les encodages, les caches), mais le filesystem par exemple est moins bien que celui de boost.
La principale utilité de Poco (qui est faite pour) est pour ce qui concerne le réseau. On peut par exemple télécharger un fichier à partir de son uri, sans définir d'autres objet qu'un URIStreamFactory. L'extase...