Analyse de code C++

Version imprimable

Analyse de code C++

Bonjoru tout le monde,

Je suis actuellement sur un projet d'analyse de code C++.
En gros, il me faut créer une appli en C++ qui recherche l'ensemble des requetes SQL qui peuvent être créer dynamiquement dans une autre appli C++.

Dans ce contexte j'aimerais trouver une méthode, un outils ou même une idée pour me permettre de rechercher l'ensemble des méthodes qui font appel à une autre méthode, exemple:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 void Toto::Select(char* mesTables, char* mesWhere) { int nStatus; // statut retour oracle char maRequete[LGMAX_REQUETE]; // requete a executer int nbLigne; strcpy(maRequete, "SELECT nom_des_champs a ramener FROM "); strcat(maRequete, mesTables); strcat(maRequete, " WHERE "); strcat(maRequete, mesWhere); nStatus = Open(maRequete); oErreur.Verifier(__FILE, "SelectRowid", OPE, maRequete, "res", 1, nStatus); nStatus = Nombre(nLigne); oErreur.Verifier(__FILE, "SelectNombre", SEL, maRequete, "res", 1, nStatus); nStatus = Close(); m_nNbLigne = 0; }
Dans cette méthode, on voit qu'il y a un appel à Open, j'aimerais donc qu'en passant en paramètre ( à une méthode ou un outils ) Open, on me ressorte Toto::Select.

Merci de votre aide je suis assez embêter là. :cry:

19/04/2013, 15h21
LinuxUser

Salut, j'ai plusieurs questions car pour moi y apleins de choses confuses.

1. Quand tu parles d'un projet, tu parles d'un devoir à rendre?
2. Quand tu parles d'une autre application, tu parles d'une lib externe? Si oui, tu dois en utiliser une en particulier (si il s'agit d'un devoir) ou tu cherches des idées? J'ai pas compris si tu en cherchais une ou si tu cherchais comment l'utiliser.
3. Quand tu fais "open(requete)", tu voudrais qu'il se passe quoi au juste?
4. Qu'est ce que tu veux dire quand tu écris "on me ressorte Toto::Select."?

Petite remarque au passage, tu fais du C++, oublie les char*, strcpy, strcat et compagnie, utilises des std::string :ccool:.
19/04/2013, 15h31
roulian46

Ok alors je vais préciser quelques trucs ^^ :

1. Quand je dis projet c'est un projet d'entreprise, je ne suis plus étudiant.
2. On me demande de créer une appli complète (un projet) qui me permette d'analyser du code d'une autre application C/C++ (que je ne connais pas du tout).
3. Je veux rien c'est un exemple de code que je dois analyser.
4. Je cherche un outils, une méthode, un trucs... qui me permette de ressortir l'ensemble des méthodes qui font appel à une autre dont j'aurai passé le nom en paramètre.

Donc si j'utilise un outils et que je veux obtenir l'ensemble des méthodes qui utilise la méthode Open, j'obtiendrais Toto::Select.

Je ne mis connait pas du tout en C/C++ mais j'apprends petit à petit.
Merci de ton aide
19/04/2013, 16h04
imperio

La fonction "recherche" de quasiment tous les éditeurs de texte ne te convient pas ? Avec la quasi-totalité des IDE actuels tu pourrais t'en sortir assez facilement.
19/04/2013, 16h05
ternel

Linux possede ltrace (et son frere strace) pour tracer les appels a une lib.

il doit y avoir un équivalent sous windows, mais je n'ai pas cherché
19/04/2013, 16h08
roulian46

Imperio, je cherche un outils utilisable dans une appli pour pouvoir traiter le résultat directement.

leternel, je vais regarder ce que je trouve à ce propos, il faudrai pouvoir écrire le résultat dans un fichier pour pouvoir l'analyser ensuite.
19/04/2013, 16h11
LinuxUser

Ah OK je comprends mieux à présent, tu cherches un profiler.
Regarde une fois GNU gprof:

http://sourceware.org/binutils/docs-...rof/index.html

C'est un profiler de code qui te pemet par exemple de savoir combien de fois une fonction est appelée, combien de temps elle a consommé, ... .
Je crois que tu peux faire un graphe des appels de fonctions, à voir, faudra étudier la doc.
19/04/2013, 16h15
roulian46

Alors un autre trucs que j'ai homis de précisé :

Je travaille sous Windows.
Je cherche à récupérer ces informations sans lancer l'appli dont le code est analysé. Il me semble que ce que vous me proposé là permet de travailler pendant l'exécution du code (si je me trompe il faut me le dire).

Merci pour vos réponses.
19/04/2013, 16h22
ternel

sans lancer l'application?

alors oriente-toi soit vers un bon écran et une paire d'yeux neufs, soit vers un analyseur syntaxique customisé.

Puisque tu as les sources de l'application, wingrep va te servir.
ltrace permet d'espionner une application pendant son exécution.
19/04/2013, 16h26
Matthieu Brucher

Citation:

Envoyé par roulian46

Ok alors je vais préciser quelques trucs ^^ :

1. Quand je dis projet c'est un projet d'entreprise, je ne suis plus étudiant.
2. On me demande de créer une appli complète (un projet) qui me permette d'analyser du code d'une autre application C/C++ (que je ne connais pas du tout).
3. Je veux rien c'est un exemple de code que je dois analyser.
4. Je cherche un outils, une méthode, un trucs... qui me permette de ressortir l'ensemble des méthodes qui font appel à une autre dont j'aurai passé le nom en paramètre.

Donc si j'utilise un outils et que je veux obtenir l'ensemble des méthodes qui utilise la méthode Open, j'obtiendrais Toto::Select.

Je ne mis connait pas du tout en C/C++ mais j'apprends petit à petit.
Merci de ton aide

Ca me fait penser a la fonction recherche de Visual Assist, un plugin de Visual Studio. Tu selectionnes une methode et tu fais find references et il te sort tous les appels a cette methode partout dans ton code.
Il y a une version demo pour tester.
19/04/2013, 16h28
roulian46

Peut-on lancer cette fonction en mode ligne de commande?
19/04/2013, 16h35
Matthieu Brucher

Non, il faut avoir dans une base de donnees la description du programme, ses options de compilation... Tout ca ne peut etre fait que dans un IDE de maniere propre.
Tu es sous Windows, donc tu dois avoir un projet Visual Studio ? Tu installes le plugin et tu testes sur le projet ;)

Ou alors tu te fracasse un outil qui analyse ton code, ecrit toutes les references dans une base de donnees... ca devrait de prendre pas plus de 3 ou 4 ans de faire un outil sur mesure...
19/04/2013, 16h39
roulian46

Le problème c'est que récupérer les différents appels de méthode est simplement une partie de mon appli, pas le souhait final de mon client sinon ça serait trop facile.
Il me faut récupérer les appels de méthode pour ensuite analyser ces méthodes et ainsi de suite jusqu'à obtenir une requête SQL complète.
19/04/2013, 16h44
Matthieu Brucher

Alors bon courage, c'est juste un chantier titanesque qui t'attend. On pourrait imaginer passer par des grep, mais tu auras beaucoup de faux positifs.
Peut-etre que libclang pourra t'aider a verifier si un appel est bien sur un objet du type que tu veux ?
19/04/2013, 16h48
roulian46

Bon si j'ai bien comrpsi je suis dnas la m...e.
J'ai trouvé CSCope qui à l'air de faire presque ce que je veux sauf qu'il vérifie pas de quelle classe vient la méthode.
CàDire que si plusieurs classes on la même méthode, il me les remonte toutes les 2...
19/04/2013, 16h58
Matthieu Brucher

Citation:

Envoyé par roulian46

Bon si j'ai bien comrpsi je suis dnas la m...e.
J'ai trouvé CSCope qui à l'air de faire presque ce que je veux sauf qu'il vérifie pas de quelle classe vient la méthode.
CàDire que si plusieurs classes on la même méthode, il me les remonte toutes les 2...

Normal (grosso modo, c'est un grep), il faut une analyse complete du code pour voir d'ou l'objet vient. C'est front-end de compilateur qu'il faut...
19/04/2013, 17h00
LinuxUser

J'ai du mal à suivre, tu veux pas faire un profiling du code mais juste parser des fichiers textes (tes fichiers sources)?

Si c'est le cas, j'irai dans le sens de leternel en disant qu'il va falloir te mettre à lex & yacc.
19/04/2013, 18h20
Emmanuel Deloget

Citation:

Envoyé par Matthieu Brucher

Non, il faut avoir dans une base de donnees la description du programme, ses options de compilation... Tout ca ne peut etre fait que dans un IDE de maniere propre.
Tu es sous Windows, donc tu dois avoir un projet Visual Studio ? Tu installes le plugin et tu testes sur le projet ;)

Ou alors tu te fracasse un outil qui analyse ton code, ecrit toutes les references dans une base de donnees... ca devrait de prendre pas plus de 3 ou 4 ans de faire un outil sur mesure...

Il y a peut-être la possibilité d'utiliser LLVM pour construire l'AST du programme, et ensuite récupérer les appels qui vont bien. L'interface de LLVM n'est pas si compliquée que ça, et son utilisation devrait permettre un certain gain de productivité.

Après, je ne l'ai pas encore utilisé donc je ne vais pas m'avancer sur la difficulté du travail. Ceci dit, les tutoriaux trouvés ici et là sur le web me semblent abordables.
19/04/2013, 18h37
Matthieu Brucher

Citation:

Envoyé par Emmanuel Deloget

Il y a peut-être la possibilité d'utiliser LLVM pour construire l'AST du programme, et ensuite récupérer les appels qui vont bien. L'interface de LLVM n'est pas si compliquée que ça, et son utilisation devrait permettre un certain gain de productivité.

Oui, tu peux tenter ca avec libclang (j'ai par exemple un petit script qui fait de la conversion vers du xml de prototypes, clamg2xml sur github) qui lui expose le parseur C/C++. Normalement, tu peux parcourir l'AST (il n'existe plus dans LLVM), chercher si la methode associee est toto et remonter au type appelant, verifier si c'est bien un tata ou un heritage de tata, recuperer les arguments et faire ca.
Ca demande pas mal de travail, mieux vaut le faire en Python, je pense, et tu reduis la duree du developpement, clairement.
20/04/2013, 02h45
moldavi

Bonjour.

Le métier de développeur C++ ne consiste pas seulement à utiliser/adapter des programmes tout fait. Certes, ce n'est pas toujours judicieux de réinventer la roue, mais quand la roue est carrée, il faut mettre les mains dans le cambouis. Oui, un développeur, ça écrit aussi du code à partir de rien.

Il est vrai que parser un ficher C++ n'est pas chose aisée, mais on ne te demande pas non plus d'écrire un compilateur (d'ailleurs tu peux aller voir les source de gcc, il est en C++ maintenant : GGC).

Mon conseil, surtout si tu apprends le C++, écris du code par toi-même. Un parseur de fichier, ce n'est pas la chose la plus intéressante en programmation. Mais ce n'est pas insurmontable non plus. Cela ne devrait pas rebuter un développeur C++, même débutant.

Citation:

Envoyé par roulian46

Le problème c'est que récupérer les différents appels de méthode est simplement une partie de mon appli, pas le souhait final de mon client sinon ça serait trop facile.
Il me faut récupérer les appels de méthode pour ensuite analyser ces méthodes et ainsi de suite jusqu'à obtenir une requête SQL complète.

Et puis le client il demandera certainement des choses supplémentaires encore. Si un outil répond exactement au besoin présent et futur de ce client (et en plus open source), tu es le plus chanceux de la terre...
20/04/2013, 11h31
Matthieu Brucher

Citation:

Envoyé par moldavi

Mon conseil, surtout si tu apprends le C++, écris du code par toi-même. Un parseur de fichier, ce n'est pas la chose la plus intéressante en programmation. Mais ce n'est pas insurmontable non plus. Cela ne devrait pas rebuter un développeur C++, même débutant.

Ce n'est pas mon avis. Le parsing de fichiers C++ est extrêmement difficile. Ce n'est pas un boulot pour un débutant.
Je ne dis pas qu'il ne faut pas écrire des parties soi-même (si tu regardes bien la discussion et si tu connais un peu les outils dont on parle, il y a encore beaucoup de boulot... et je ne pense pas qu'il soit débutant), mais non, dans le monde de l'entreprise, on ne réinvente pas la roue, ou plutôt on ne devrait pas. Il y a assez de code comme ça à écrire et surtout à maintenir pour ne pas vouloir en ajouter en plus inutilement.
20/04/2013, 12h53
koala01

Salut,

Moi, ce qui m'inquiète particulièrement, c'est que tu semble vouloir obtenir la liste des requêtes effectivement effectuées, avec les noms de tables, de champs et les valeurs effectivement utilisées.

De mon avis personnel, il n'y a, a priori qu'en exécutant réellement l'application qu'il sera possible d'obtenir une liste exhaustive de ces requêtes.

La raison est toute simple : de nombreuses valeurs (essentiellement celles qui interviennent dans les clauses WHERE, mais, peut etre aussi certaines valeurs de champs ou de noms de table) ont de grandes chances d'être issues de données dynamiques (résultat d'autres requêtes, données introduites par l'utilisateur, ...)

L'analyse statique du code risque de n'en arriver qu'à te donner un résultat proche de

Code:

SELECT var_champs FROM var_table WHERE var_condition

ce qui, il faut l'avouer, risque de n'avoir qu'un intérêt relativement restreint parce que cela implique qu'il faudra alors arriver à déterminer où sont définies ces var_champs, var_table et var_conditon afin de se faire une idée de ce à quoi cela peut bien correspondre :aie:

Et comme la définition de ces variables risque d'être dynamique, tu risques encore de te retrouver dans une situation dans laquelle var_condition (par exemple) est en réalité de résultat d'une autre requête dont il t'est impossible de déterminer la teneur de manière statique.

J'ai donc l'impression que la meilleure manière de procéder est, sans doute, de s'orienter vers un système de logging des requêtes réellement utilisées et de faire tourner l'application "suffisamment longtemps" que pour obtenir un panel de requêtes "aussi exhaustif que possible".

A partir de là, il serait alors possible d'envisager de créer "quelque chose" qui soit susceptible de parser les différentes requête et de t'afficher un résultat utilisable ;)

Citation:

Envoyé par Matthieu Brucher

Ce n'est pas mon avis. Le parsing de fichiers C++ est extrêmement difficile. Ce n'est pas un boulot pour un débutant.
Je ne dis pas qu'il ne faut pas écrire des parties soi-même (si tu regardes bien la discussion et si tu connais un peu les outils dont on parle, il y a encore beaucoup de boulot... et je ne pense pas qu'il soit débutant), mais non, dans le monde de l'entreprise, on ne réinvente pas la roue, ou plutôt on ne devrait pas. Il y a assez de code comme ça à écrire et surtout à maintenir pour ne pas vouloir en ajouter en plus inutilement.

+1 :king:
21/04/2013, 13h50
ternel

En théorie, tu peux utiliser le précompilateur de GCC et un plugin dédié pour remonter l'information souhaitée. C'est une option de cpp pour produire un xml qui m'a donné cette piste.

En pratique, je ne connais pas cette voie, je ne sais même pas si c'est un bon conseil.
21/04/2013, 17h00
koala01

Citation:

Envoyé par leternel

En théorie, tu peux utiliser le précompilateur de GCC et un plugin dédié pour remonter l'information souhaitée. C'est une option de cpp pour produire un xml qui m'a donné cette piste.

En pratique, je ne connais pas cette voie, je ne sais même pas si c'est un bon conseil.

Mais le fait est que les requêtes SQL sont composées de données dynamique (tu ne peux que difficilement envisager de faire un copier / coller de toutes les requêtes en prévoyant toutes les variation en terme de clause WHERE, par exemple :aie:)

Tu peux, effectivement, arriver à obtenir quelques résultats intéressants en faisant une analyse statique de ton code, mais le seul résultat que tu obtiendra sera, au mieux, composé d'une succession (correctement décomposées, du moins, on l'espère) de noms de variables auxquels il sera difficile de rattacher une valeur.

Si "tout ce que tu veux", c'est te faire une idée du nombre de requêtes de type "update", "remove", "insert" ou "select" qui seront générées, tu obtiendras ce que tu voudras, mais tu risque d'être déçu parce que tu verras qu'on utilise peut etre cinq tables différentes, dont on ignore le nom, pour récuprérer cinq ensemble de champs (dont on ignore également tout) en appliquant une clause WHERE et deux clauses UNION (dont on ignore tout) parce que tu n'obtiens que des noms de varaibles sans jamais pouvoir les associer à une valeur particulière, à moins qu'elle n'ait été "codée en dur".

Ca fait beaucoup d'inconnues, non :question:
21/04/2013, 23h53
Iradrille

Citation:

Envoyé par koala01

J'ai donc l'impression que la meilleure manière de procéder est, sans doute, de s'orienter vers un système de logging des requêtes réellement utilisées et de faire tourner l'application "suffisamment longtemps" que pour obtenir un panel de requêtes "aussi exhaustif que possible".

Ca me semble une bonne piste (à moins que les requêtes ne dépendent que très peu de données dynamiques).

Pour le logging ça peut se faire de 2 façons
- logguer coté DB
- hook la (ou les) fonctions qui exécutent ces requêtes (peut être regarder du coté de Detours pour ça ?)

Si c'est vraiment une analyse statique que tu veux, bonne chance c'est du gros boulot, mais Lexx / Yacc peuvent être utile pour ça.
Ou peut être reprendre les sources d'un compilo genre GCC.
22/04/2013, 01h09
koala01
Citation:

Envoyé par Iradrille

Ca me semble une bonne piste (à moins que les requêtes ne dépendent que très peu de données dynamiques).

Pour le logging ça peut se faire de 2 façons
- logguer coté DB
- hook la (ou les) fonctions qui exécutent ces requêtes (peut être regarder du coté de Detours pour ça ?)

A vrai dire, la solution devrait, a priori, être très simple à mettre en oeuvre :D

En effet, même si les différentes requêtes sont générées à des endroits différents, même si on peut envisager le fait qu'il puisse exister une "hiérarchie" de requêtes, il faut se dire que toutes les requêtes
1. se résument, au final, à une chaine de caractères
2. sont, a priori, envoyées à la base de données depuis le même objet (la connexion à la base de données :D)
Une fois que l'on dispose d'un système de logging, il n'y a donc plus qu'une fonction (execute() :question:) à modifier afin de faire logger la requête envoyée ;)

Par la suite, il y a, bien sur, tout l'aspect d'analyse automatique des requêtes récupérées, mais ca, c'est de toutes manières quelque chose qu'il faudra développer (s'il n'existe pas déjà des outils similaires)...

En attendant, les requêtes qui seront analysées seront autrement plus précises que ce que l'on pourrait obtenir grâce à une analyse statique, quel que soit le moyen dont on les obtient ;)
22/04/2013, 01h36
Iradrille

Citation:

Envoyé par koala01

Une fois que l'on dispose d'un système de logging, il n'y a donc plus qu'une fonction (execute() :question:) à modifier afin de faire logger la requête envoyée ;)

Plus simple à mettre en place effectivement, j'avais dans l'esprit de ne pas modifier les sources à analyser je sais pas pourquoi.

(Autre solution, toujours sans modifier les sources: sniffer et analyser les paquets en direction de la DB)