IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

C++ Discussion :

Gestionnaire de cache pour minimiser mes accès disque


Sujet :

C++

  1. #1
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut Gestionnaire de cache pour minimiser mes accès disque
    Bonjour,

    J'ai besoin d'aide pour concevoir un gestionnaire de cache. J'ai des données inscrites sur le disque dur sous forme de clé/valeur et celles-ci sont parfois trop grosses pour être directement chargées en mémoire. Vous l'avez deviné à chaque requête, je dois faire un accès disque pour récupérer les données. Résultat: mon application est super lente...
    Pour accélérer tout cela, je souhaiterais ajouter une cache à mon logiciel. Alors la grosse question: comment faire cela de manière efficace? Je ne trouve rien sur le net à propos de ce sujet

    Je vous remercie par avance!
    Cordialement,
    Rodrigue

  2. #2
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut
    J'ai trouvé ceci sur codeprojet:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    #include<hash_map>
    using namespace std;
     
    template < class K, class V, int limsize = 1000, int BiqQ = 0x7fffffff, int SmallQ=0 > 
    class cache 
    {
    public:
    	cache() { m_size =0;}
     
    	~cache()
    	{
    		for(listiter ilist = m_list.begin(); ilist != m_list.end(); ilist++)
    			delete (*ilist).m_p;
    	}
     
    	V* operator[](K& k)
    	{
    		mapiter imap = m_map.find(k);
    		if(imap== m_map.end()) return ((V*) -1);
    		listiter ilist = (*imap).second;
    		V* p= (*ilist).m_p;
    		m_list.erase(ilist);
    		push_back(p, imap);
    		return p;
    	}
     
    	void push_back(const K &k,V* p)
    	{
    		int size = p->size();
    		bool Remove;
    		listiter ilist =NULL;
    		do
    		{
    			Remove = m_size>limsize;
     
    			if(Remove)
    			{
    				Remove = m_list.size()> SmallQ;
    			}
    			else
    			{
    				Remove = m_list.size()> BiqQ;
    			}
    			if(Remove)
    			{
    				ilist = m_list.end();
    				ilist--;
    				m_size -= ((*ilist).m_p)->size();
    				delete (*ilist).m_p;
    				m_map.erase((*ilist).m_mapiter);
    				m_list.erase(ilist);
    			}
    		} while(Remove);
    		mapiter imap;
    		ASSERT(m_map.find(k)==m_map.end()); // No, you are not allowed to insert twice the same elment
    // begin bad writing : The 2 next lines are bad writing, but I do not know  how to avoid it.. please help
    		ASSERT(m_map.size() == m_list.size());
    		TRACE(" %d \n",m_map.size());
    		m_map[k]=ilist;
    		TRACE(" %d \n",m_map.size());
    		ASSERT(m_map.size() == m_list.size()+1);
    		imap = m_map.find(k); 
    //  They should be replaced by some :
    //      imap = m_map.insert(k,ilist); 
    // end bad writing : please help me to fix that 
    		ASSERT(m_map[k]==ilist);
    		push_back(p, imap);
    		m_size += p->size();
    	}
     
    	bool iscached(V* p)
    	{
    		return (p != (V*) -1);
    	}
     
     
    //#ifdef _DEBUG
    //	int dbggetmapsize()
    //	{
    //		ASSERT(m_map.size() == m_list.size());
    //		TRACE(" dbggetmapsize %d (m_size %d) order : ",m_map.size(),m_size);
    //		for(listiter ilist = m_list.begin(); ilist != m_list.end(); ilist++)
    //			TRACE(" %d ", (*((*ilist).m_mapiter)).first);
    //		TRACE("\n");
    //		return m_map.size();
    //	}
    //	int dbggetcachesize()
    //	{
    //		return m_size;
    //	}
    //	V* dbgcheck(K &k)
    //	{
    //		mapiter imap = m_map.find(k);
    //		if(imap== m_map.end()) return ((V*) -1);
    //		listiter ilist = (*imap).second;
    //		return  (*ilist).m_p;
    //		
    //	}
    //#endif _DEBUG
     
    private:
    	class listitem;	
     
    	typedef list<listitem>::iterator listiter;
    	typedef hash_map< K,listiter>::iterator mapiter;
     
    	class listitem
    	{
    		friend class cache<  K,  V,  limsize,  BiqQ,  SmallQ > ;
     
    	private:
    		mapiter  m_mapiter;
    		V* m_p;
    	};
     
    	list<listitem> m_list;
    	hash_map< K,listiter> m_map;
    	int m_size;
     
    	void push_back(V* p, mapiter &imap)
    	{
    		ASSERT(m_map.size() == m_list.size()+1);
    		m_list.push_front();
    		ASSERT(m_map.size() == m_list.size());
    		listiter ilist = m_list.begin();
    		(*ilist).m_mapiter = imap;
    		(*ilist).m_p = p;
    		(*imap).second = ilist;
    		ASSERT(m_map.size() == m_list.size());
    	}
    };
    Vous pourriez m'aider à compiler ce code, svp! On dirat que mon compilo (MVS2005) a du mal avec la déclaration de listitem, listiter et mapiter... class listitem; est bien déclaré avant tout le monde mais il n'arrive quand même pas à faire ses typedefs, il me dit que listitem est inconnu!
    Vous pourriez regarder comme le demande l'auteur aux deux lignes de code qui ne sont pas "propres" suivantes:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    mapiter imap;
    		ASSERT(m_map.find(k)==m_map.end()); // No, you are not allowed to insert twice the same elment
    // begin bad writing : The 2 next lines are bad writing, but I do not know  how to avoid it.. please help
    		ASSERT(m_map.size() == m_list.size());
    		TRACE(" %d \n",m_map.size());
    		m_map[k]=ilist;
    		TRACE(" %d \n",m_map.size());
    		ASSERT(m_map.size() == m_list.size()+1);
    		imap = m_map.find(k); 
    //  They should be replaced by some :
    //      imap = m_map.insert(k,ilist); 
    // end bad writing : please help me to fix that 
    		ASSERT(m_map[k]==ilist);
    		push_back(p, imap);
    		m_size += p->size();
    Un grand merci d'avance!!!
    Cordialement,
    Rodrigue

  3. #3
    Expert éminent
    Avatar de Médinoc
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Septembre 2005
    Messages
    27 395
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Septembre 2005
    Messages : 27 395
    Par défaut
    listitem, listiter etc. ne sont pas documentées, donc pas des classes de Visual.

    Si ces classes sont juste déclarées class listitem;, c'est normal que Visual gueule quand tu cherches à les utiliser: Elles sont déclarées mais pas définies, on ne peut donc y référer que par des pointeurs opaques.
    SVP, pas de questions techniques par MP. Surtout si je ne vous ai jamais parlé avant.

    "Aw, come on, who would be so stupid as to insert a cast to make an error go away without actually fixing the error?"
    Apparently everyone.
    -- Raymond Chen.
    Traduction obligatoire: "Oh, voyons, qui serait assez stupide pour mettre un cast pour faire disparaitre un message d'erreur sans vraiment corriger l'erreur?" - Apparemment, tout le monde. -- Raymond Chen.

  4. #4
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut
    Salut! Merci pour ta réponse.
    Ca semble évident pour toi mais qu'est-ce qu'un pointeur opaque?

  5. #5
    Expert éminent
    Avatar de Médinoc
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Septembre 2005
    Messages
    27 395
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Septembre 2005
    Messages : 27 395
    Par défaut
    Un pointeur vers une structure non-définie, voire une structure qui n'existe pas.

    Le FILE du C pourraît être une structure indéfinie sur une implémentation qui n'utilise aucune macro pour les f****()
    SVP, pas de questions techniques par MP. Surtout si je ne vous ai jamais parlé avant.

    "Aw, come on, who would be so stupid as to insert a cast to make an error go away without actually fixing the error?"
    Apparently everyone.
    -- Raymond Chen.
    Traduction obligatoire: "Oh, voyons, qui serait assez stupide pour mettre un cast pour faire disparaitre un message d'erreur sans vraiment corriger l'erreur?" - Apparemment, tout le monde. -- Raymond Chen.

  6. #6
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut
    Mwouais euh ... et pratiquement pour solutionner mon problème, quelle est la solution miracle? Mis à part déclarer ma classe normalement pour visual...

  7. #7
    Membre Expert
    Avatar de Patriarch24
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Septembre 2003
    Messages
    1 047
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Industrie

    Informations forums :
    Inscription : Septembre 2003
    Messages : 1 047
    Par défaut
    Jette un oeil sur Poco, qui propose des classes de cache.

  8. #8
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut
    Génial cette lib, merci beaucoup! Par contre, j'ai des erreurs au niveau du link, il faut absolument que je fasse un include de mes .lib dans le projet pour que ça compile...

  9. #9
    Membre émérite Avatar de Caine
    Inscrit en
    Mai 2004
    Messages
    1 028
    Détails du profil
    Informations personnelles :
    Âge : 53

    Informations forums :
    Inscription : Mai 2004
    Messages : 1 028
    Par défaut
    Bonjour,

    Il y a quelque chose qui me choque au niveau conceptuel, tu ecris:
    "et celles-ci sont parfois trop grosses pour être directement chargées en mémoire"

    Ce n'est donc pas la donnée elle-même que tu souhaites mettre en cache?

  10. #10
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut
    Oui, en fait dans certains cas, l'élément en question est lui aussi tellement gros que je ne peux pas le mettre en mémoire directement... Mais bon, on peut oublier cet aspect. Je n'aurais d'ailleurs pas dû l'exprimer de la sorte, tu peux comprendre charger tous les éléments en mémoire et non pas un seul élément.

  11. #11
    Membre éclairé Avatar de Rodrigue
    Inscrit en
    Août 2002
    Messages
    487
    Détails du profil
    Informations forums :
    Inscription : Août 2002
    Messages : 487
    Par défaut
    Bon c'est super. J'ai compilé poco, tout fonctionne . La librairie est installée proprement.
    Peut-être que je pourrais écrire un tutoriel sur l'installation et l'utilisation de la librairie (au moins pour le cache) car quand je lis tout ce qu'elle peut faire, il faudrait que tout le monde l'ait pour développer! Qu'en pensez-vous?

  12. #12
    Rédacteur
    Avatar de Laurent Gomila
    Profil pro
    Développeur informatique
    Inscrit en
    Avril 2003
    Messages
    10 651
    Détails du profil
    Informations personnelles :
    Âge : 41
    Localisation : France, Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Avril 2003
    Messages : 10 651
    Par défaut
    Citation Envoyé par Rodrigue
    Peut-être que je pourrais écrire un tutoriel sur l'installation et l'utilisation de la librairie (au moins pour le cache) car quand je lis tout ce qu'elle peut faire, il faudrait que tout le monde l'ait pour développer! Qu'en pensez-vous?
    N'hésite surtout pas
    Si tu veux en discuter contacte moi par MP.

  13. #13
    Rédacteur/Modérateur
    Avatar de JolyLoic
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Août 2004
    Messages
    5 463
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 50
    Localisation : France, Yvelines (Île de France)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Août 2004
    Messages : 5 463
    Par défaut
    Citation Envoyé par Patriarch24
    Jette un oeil sur Poco, qui propose des classes de cache.
    Je ne connaissais pas Poco. Plus encore qu'un tutorial, je serais intéressé par un avis de personne l'ayant utilisé : Qualité, envergure, stabilité, redondance avec d'autres bibliothèques (boost ?), dépendance à d'autres bibliothèques, vigueur du projet....
    Ma session aux Microsoft TechDays 2013 : Développer en natif avec C++11.
    Celle des Microsoft TechDays 2014 : Bonnes pratiques pour apprivoiser le C++11 avec Visual C++
    Et celle des Microsoft TechDays 2015 : Visual C++ 2015 : voyage à la découverte d'un nouveau monde
    Je donne des formations au C++ en entreprise, n'hésitez pas à me contacter.

  14. #14
    Expert confirmé
    Avatar de Luc Hermitte
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Août 2003
    Messages
    5 296
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Août 2003
    Messages : 5 296
    Par défaut
    J'ai l'impression qu'il y a peu de réutilisation -- ce que je trouve dommage.
    Au vu des lectures du blog, ils semblent "initiés", si je puis dire.

    D'après http://appinf.com/poco/blog/?p=4, ils connaissent les deux grosses alternatives de ce domaine.

    Je classe dans les "à surveiller", tout comme ASL.
    Blog|FAQ C++|FAQ fclc++|FAQ Comeau|FAQ C++lite|FAQ BS|Bons livres sur le C++
    Les MP ne sont pas une hotline. Je ne réponds à aucune question technique par le biais de ce média. Et de toutes façons, ma BAL sur dvpz est pleine...

  15. #15
    Membre Expert
    Avatar de Patriarch24
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Septembre 2003
    Messages
    1 047
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Industrie

    Informations forums :
    Inscription : Septembre 2003
    Messages : 1 047
    Par défaut
    Je ne connaissais pas Poco. Plus encore qu'un tutorial, je serais intéressé par un avis de personne l'ayant utilisé : Qualité, envergure, stabilité, redondance avec d'autres bibliothèques (boost ?), dépendance à d'autres bibliothèques, vigueur du projet...
    J'ai testé certaines parties de Poco. Les libs sont en essor, pas vraiment finalisées pour certaines.
    Concernant le XML, je préfère Xerces à Poco::XML.
    Concernant les fondations, il y a des trucs sympa (les convertisseurs pour les encodages, les caches), mais le filesystem par exemple est moins bien que celui de boost.
    La principale utilité de Poco (qui est faite pour) est pour ce qui concerne le réseau. On peut par exemple télécharger un fichier à partir de son uri, sans définir d'autres objet qu'un URIStreamFactory. L'extase...

Discussions similaires

  1. souci pour vider mes caches
    Par -=mateo=- dans le forum Hibernate
    Réponses: 1
    Dernier message: 22/09/2010, 15h50
  2. Limiter les accès disques pour traitement des données.
    Par harry le ravi dans le forum Windows
    Réponses: 1
    Dernier message: 18/11/2009, 00h11
  3. comment faire pour que mes scripts ne soient pas mis en cache ?
    Par Alexdezark dans le forum Général JavaScript
    Réponses: 7
    Dernier message: 21/01/2009, 15h25
  4. mot de passe pour accés disque dur
    Par david06600 dans le forum Windows XP
    Réponses: 5
    Dernier message: 03/08/2006, 08h32
  5. Gestionnaire d'évènements pour les fichiers sur disque
    Par chourmo dans le forum Composants VCL
    Réponses: 2
    Dernier message: 01/03/2006, 16h18

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo