IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Coprocesseurs et calcul hétérogène Discussion :

Le GPGPU peut-il aider les bases de données ? [Débat]


Sujet :

Coprocesseurs et calcul hétérogène

  1. #1
    Responsable Qt & Livres


    Avatar de dourouc05
    Homme Profil pro
    Ingénieur de recherche
    Inscrit en
    Août 2008
    Messages
    26 607
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Val de Marne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur de recherche
    Secteur : Enseignement

    Informations forums :
    Inscription : Août 2008
    Messages : 26 607
    Points : 188 574
    Points
    188 574
    Par défaut Le GPGPU peut-il aider les bases de données ?
    Bonjour,

    Il y a peu, l'IDAV (Institute for Data Analysis and Visualization), a publié un article sur l'utilisation des cartes graphiques pour accélérer le traitement des bases de données (http://www.idav.ucdavis.edu/publicat...pub?pub_id=960).

    En effet, les GPU possèdent de nombreuses unités de calcul, 240 coeurs pour la GeForce GTX 285, carte graphique grand-public. Ces unités de calcul sont donc beaucoup plus nombreuses que celles d'un CPU, qui n'en comporte encore que 4 dans le meilleur des cas pour le grand-public.

    Cependant, les SGBD actuels sont prévus pour utiliser des CPU, avec donc très peu d'unités de calcul : il faut repenser l'intégralité des algorithmes actuels pour pouvoir tirer parti d'une architecture aussi parallèle.

    Ce document propose une nouvelle structure d'indexation, parallèle, complètement pensée pour ces nouveaux processeurs aux multiples unités de calcul. De plus, elle permet d'éviter de consommer trop de mémoire, ce qui est crucial sur les GPU, où il n'est pas aussi facile d'ajouter de la mémoire.

    L'implémentation pour GPU reste beaucoup plus efficace que celle pour CPU, mais faut-il rappeler qu'elle est prévue pour un grand nombre d'unités de calcul, que les CPU ne peuvent pas encore fournir.

    Le GPGPU semble donc promis à un grand avenir dans le domaine des bases de données.

    Cette structure sera-t-elle utilisée dans des SGBD répandus et opensource, comme MySQL ou PostgreSQL, ou bien sera-t-elle plutôt réservée au marché du propriétaire, comme SQL Server ou Oracle ?

    Serait-il envisageable de l'utiliser à grande échelle, pour des services comme Google ?

    Qu'en est-il à plus petite échelle ? Serait-ce vraiment utile pour un petit forum ou un CMS, ou bien cela risque-t-il de plutôt en abaisser les performances ?

    Les gains espérés pourraient-ils arriver à un remplacement complet du parc de serveurs ?
    Vous souhaitez participer aux rubriques Qt (tutoriels, FAQ, traductions) ou HPC ? Contactez-moi par MP.

    Créer des applications graphiques en Python avec PyQt5
    Créer des applications avec Qt 5.

    Pas de question d'ordre technique par MP !

  2. #2
    Nouveau membre du Club
    Profil pro
    Inscrit en
    Septembre 2009
    Messages
    25
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Septembre 2009
    Messages : 25
    Points : 32
    Points
    32
    Par défaut
    Je suis content de voir qu'on trouve de plus en plus d'application avec les Processeurs Graphiques.
    En tout cas, je trouve que ça fait un peu "opposition" avec cet article:
    http://www.developpez.net/forums/d80...s-disparaitre/

  3. #3
    Expert éminent sénior
    Avatar de Mat.M
    Profil pro
    Développeur informatique
    Inscrit en
    Novembre 2006
    Messages
    8 347
    Détails du profil
    Informations personnelles :
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Novembre 2006
    Messages : 8 347
    Points : 20 347
    Points
    20 347
    Par défaut
    Je n'y crois pas une minute encore une fois c'est du vapourware...
    est-ce que quelqu'un ici a travaillé avec des bases de données ?
    Parfois il y a des requêtes SQL qui mettent du temps à s'exécuter et puis le disque dur est très sollicité.
    Donc utiliser les possibilités d'une carte graphique c'est peanuts...
    j'avais bossé sur un projet appli VB + bases de données sous SAGE ou SAARI je ne sais plus trop la moindre requête ça pédalait pendant des minutes...
    En effet, les GPU possèdent de nombreuses unités de calcul, 240 coeurs pour la GeForce GTX 285, carte graphique grand-public. Ces unités de calcul sont donc beaucoup plus nombreuses que celles d'un CPU, qui n'en comporte encore que 4 dans le meilleur des cas pour le grand-public.

    Cependant, les SGBD actuels sont prévus pour utiliser des CPU, avec donc très peu d'unités de calcul : il faut repenser l'intégralité des algorithmes actuels pour pouvoir tirer parti d'une architecture aussi parallèle.
    La problèmatique est la suivante : que se passe-t-il si on fait une requêtes SQL sur plusieurs tables avec des jointures ?
    Je crois que des bdd comme MySQL utilisent des arbres binaires de recherches..
    et même si tu passes avec du code de traitement natif comme avec PL-SQL le code PL-SQL est interprété donc que le CPU n coeur ne change pas grand chose.

    Et puis surtout est-ce que cela peut-il améliorer les performances quand on a une base de données de plusieurs Teraoctets avec architecture disque RAID ?

  4. #4
    Membre expert
    Avatar de Emmanuel Lecoester
    Profil pro
    Inscrit en
    Février 2003
    Messages
    1 493
    Détails du profil
    Informations personnelles :
    Âge : 48
    Localisation : France, Nord (Nord Pas de Calais)

    Informations forums :
    Inscription : Février 2003
    Messages : 1 493
    Points : 3 266
    Points
    3 266
    Par défaut
    Lecture très intéressante !

    L'exploitation optimale de cartes graphiques est liée directement à une nouvelle représentation des données en base ainsi que des indexes associés. Reste à savoir commet exploiter cela sur un environnement Unix dépourvu des 150 cartes graphiques .
    Emmanuel Lecoester
    => joomla addict.

  5. #5
    Nouveau membre du Club
    Homme Profil pro
    Inscrit en
    Avril 2008
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Avril 2008
    Messages : 25
    Points : 30
    Points
    30
    Par défaut
    Citation Envoyé par Mat.M Voir le message
    Je n'y crois pas une minute encore une fois c'est du vapourware...
    est-ce que quelqu'un ici a travaillé avec des bases de données ?
    Parfois il y a des requêtes SQL qui mettent du temps à s'exécuter et puis le disque dur est très sollicité.
    Donc utiliser les possibilités d'une carte graphique c'est peanuts...
    j'avais bossé sur un projet appli VB + bases de données sous SAGE ou SAARI je ne sais plus trop la moindre requête ça pédalait pendant des minutes...


    La problèmatique est la suivante : que se passe-t-il si on fait une requêtes SQL sur plusieurs tables avec des jointures ?
    Je crois que des bdd comme MySQL utilisent des arbres binaires de recherches..
    et même si tu passes avec du code de traitement natif comme avec PL-SQL le code PL-SQL est interprété donc que le CPU n coeur ne change pas grand chose.

    Et puis surtout est-ce que cela peut-il améliorer les performances quand on a une base de données de plusieurs Teraoctets avec architecture disque RAID ?
    ben, si freeBSD tire profit des cartes fermi pour acceler l'OS.... la balle est dans le camp des developèurs

  6. #6
    Nouveau membre du Club
    Homme Profil pro
    Inscrit en
    Avril 2008
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Avril 2008
    Messages : 25
    Points : 30
    Points
    30
    Par défaut GPU et BD
    notre big blue de 80 power7, n'est plus le même on a rajouter des cartes nvidia sur chaque lame..... et freeBSD 8.1..... ya pas foto, même sans base de données optimisée pour ça avec openCL ça lui donne un coup de fouet !!!
    car les telsa ne sont pas encore disponibles, pas de drivers optimisés openCL encore !!!

  7. #7
    Expert éminent sénior
    Avatar de Mat.M
    Profil pro
    Développeur informatique
    Inscrit en
    Novembre 2006
    Messages
    8 347
    Détails du profil
    Informations personnelles :
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Novembre 2006
    Messages : 8 347
    Points : 20 347
    Points
    20 347
    Par défaut
    Citation Envoyé par ezmac Voir le message
    ya pas foto, même sans base de données optimisée pour ça avec openCL ça lui donne un coup de fouet !!!
    car les telsa ne sont pas encore disponibles, pas de drivers optimisés openCL encore !!!
    D'accord mais le Big Blue dont tu parles est-ce qu'il gère des bases de données "en production"
    Je serais curieux de voir ces performances dont tu parles je fais preuve de scepticisme...

  8. #8
    Expert confirmé

    Homme Profil pro
    Développeur informatique
    Inscrit en
    Septembre 2007
    Messages
    1 895
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 47
    Localisation : France, Bouches du Rhône (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Septembre 2007
    Messages : 1 895
    Points : 4 551
    Points
    4 551
    Par défaut
    Pour information : il semblerait que le domaine sur lequel la question originale porte soit en pleine effervescence, notamment dans le cas ou le système d'indexation mis en œuvre est complexe (exemple: indexation des pages web pour un moteur de recherche, requêtes, ...). Cf les papiers récents présentés à la WWW2009 et notamment Using Graphics Processors for High Performance IR Query Processing de Ding, He, Yan et Suel.
    [FAQ des forums][FAQ Développement 2D, 3D et Jeux][Si vous ne savez pas ou vous en êtes...]
    Essayez d'écrire clairement (c'est à dire avec des mots français complets). SMS est votre ennemi.
    Evitez les arguments inutiles - DirectMachin vs. OpenTruc ou G++ vs. Café. C'est dépassé tout ça.
    Et si vous êtes sages, vous aurez peut être vous aussi la chance de passer à la télé. Ou pas.

    Ce site contient un forum d'entraide gratuit. Il ne s'use que si l'on ne s'en sert pas.

  9. #9
    Nouveau membre du Club
    Homme Profil pro
    Inscrit en
    Avril 2008
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Avril 2008
    Messages : 25
    Points : 30
    Points
    30
    Par défaut
    Citation Envoyé par Mat.M Voir le message
    D'accord mais le Big Blue dont tu parles est-ce qu'il gère des bases de données "en production"
    Je serais curieux de voir ces performances dont tu parles je fais preuve de scepticisme...
    ben se sont des miliers de données minutes...... come se sont de données qui sont traitées avec la même operation, rien que du SIMD ( single instruction multiple data) ..... donc on revient en arrière au temps des DSP.... mais en trés puissant.

  10. #10
    Nouveau membre du Club
    Homme Profil pro
    Inscrit en
    Avril 2008
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Avril 2008
    Messages : 25
    Points : 30
    Points
    30
    Par défaut
    Citation Envoyé par dourouc05 Voir le message
    Bonjour,

    Il y a peu, l'IDAV (Institute for Data Analysis and Visualization), a publié un article sur l'utilisation des cartes graphiques pour accélérer le traitement des bases de données (http://www.idav.ucdavis.edu/publicat...pub?pub_id=960).

    En effet, les GPU possèdent de nombreuses unités de calcul, 240 coeurs pour la GeForce GTX 285, carte graphique grand-public. Ces unités de calcul sont donc beaucoup plus nombreuses que celles d'un CPU, qui n'en comporte encore que 4 dans le meilleur des cas pour le grand-public.

    Cependant, les SGBD actuels sont prévus pour utiliser des CPU, avec donc très peu d'unités de calcul : il faut repenser l'intégralité des algorithmes actuels pour pouvoir tirer parti d'une architecture aussi parallèle.

    Ce document propose une nouvelle structure d'indexation, parallèle, complètement pensée pour ces nouveaux processeurs aux multiples unités de calcul. De plus, elle permet d'éviter de consommer trop de mémoire, ce qui est crucial sur les GPU, où il n'est pas aussi facile d'ajouter de la mémoire.

    L'implémentation pour GPU reste beaucoup plus efficace que celle pour CPU, mais faut-il rappeler qu'elle est prévue pour un grand nombre d'unités de calcul, que les CPU ne peuvent pas encore fournir.

    Le GPGPU semble donc promis à un grand avenir dans le domaine des bases de données.

    Cette structure sera-t-elle utilisée dans des SGBD répandus et opensource, comme MySQL ou PostgreSQL, ou bien sera-t-elle plutôt réservée au marché du propriétaire, comme SQL Server ou Oracle ?

    Serait-il envisageable de l'utiliser à grande échelle, pour des services comme Google ?

    Qu'en est-il à plus petite échelle ? Serait-ce vraiment utile pour un petit forum ou un CMS, ou bien cela risque-t-il de plutôt en abaisser les performances ?

    Les gains espérés pourraient-ils arriver à un remplacement complet du parc de serveurs ?

    rappeles toi qu'il y a openCL, chacun ne deverat pas avoir à reventer la roue....

  11. #11
    Nouveau membre du Club
    Homme Profil pro
    Inscrit en
    Avril 2008
    Messages
    25
    Détails du profil
    Informations personnelles :
    Sexe : Homme

    Informations forums :
    Inscription : Avril 2008
    Messages : 25
    Points : 30
    Points
    30
    Par défaut
    Citation Envoyé par ezmac Voir le message
    rappeles toi qu'il y a openCL, chacun ne deverat pas avoir à reventer la roue....
    jette un coup d'oeil sur freeBSD dans sa versin 8.1 (beta)... cet OS tire profit de Grand Central (je ne me rappele pas du nom de la version open source) et d'open CL..

    bien qu'il fasse réecrire une partie du code, la vitesse et puisance ça en vaux la chandelle.

  12. #12
    Membre confirmé Avatar de TNT89
    Inscrit en
    Juillet 2007
    Messages
    358
    Détails du profil
    Informations personnelles :
    Âge : 34

    Informations forums :
    Inscription : Juillet 2007
    Messages : 358
    Points : 615
    Points
    615
    Par défaut
    La GTX 285, une carte grand public??? euhhhh...

  13. #13
    Membre expérimenté

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2006
    Messages
    450
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : Etats-Unis

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : Avril 2006
    Messages : 450
    Points : 1 630
    Points
    1 630
    Par défaut
    Ouais enfin si tu compares a une carte pro quadro fx 5600 a... 2000$ et qui est l'equivalent d'une... geforce 8800 GT avec plus de memoire vive... hum
    Je ne réponds à aucune question par MP, posez vos questions sur le forum adéquat.
    Profils : G+ - LinkedIn

  14. #14
    Membre expérimenté
    Avatar de Gouyon
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Novembre 2003
    Messages
    1 076
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 60
    Localisation : France, Loiret (Centre)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Novembre 2003
    Messages : 1 076
    Points : 1 521
    Points
    1 521
    Billets dans le blog
    5
    Par défaut
    Citation Envoyé par Mat.M Voir le message
    Je n'y crois pas une minute encore une fois c'est du vapourware...
    est-ce que quelqu'un ici a travaillé avec des bases de données ?
    Oui sans être un expert ça fait un moment que je suis dedans.

    Citation Envoyé par Mat.M Voir le message
    Parfois il y a des requêtes SQL qui mettent du temps à s'exécuter et puis le disque dur est très sollicité.
    Donc utiliser les possibilités d'une carte graphique c'est peanuts...
    j'avais bossé sur un projet appli VB + bases de données sous SAGE ou SAARI je ne sais plus trop la moindre requête ça pédalait pendant des minutes...
    Bien sur mais ça dépend de plein d'autres facteurs comme la structure de la base, la complexité de la requête etc etc

    Citation Envoyé par Mat.M Voir le message
    La problèmatique est la suivante : que se passe-t-il si on fait une requêtes SQL sur plusieurs tables avec des jointures ?
    Je crois que des bdd comme MySQL utilisent des arbres binaires de recherches..
    et même si tu passes avec du code de traitement natif comme avec PL-SQL le code PL-SQL est interprété donc que le CPU n coeur ne change pas grand chose.
    Les moteurs de base de données sont des logiciels comme les autres et donc susceptible d'être optimisé. Les recherches peuvent être parallélisé par exemple. On commence chez nous à utiliser ces cartes pour optimiser des logiciels de calcul.
    La première chose qu'on découvre c'est que ce n'est pas simple, notamment au niveau de la gestion de la mémoire. Ensuite c'est encore très couteux en temps de développement. On ne peut pas l'appliquer ça à tout. On obtient dans certains cas des gains élevé et dans d'autres cas ce n'est pas flagrant. Il faut tester. Autre inconvénient majeur le logiciel devient difficilement distribuable car il est lié à du hardware.
    Il y a des jours où j'éprouve une haine profonde envers microsoft et Apple c'est pas mieux
    Mon modeste site et mes modestes oeuvres sont
    Rémi

  15. #15
    Expert éminent sénior
    Avatar de Mat.M
    Profil pro
    Développeur informatique
    Inscrit en
    Novembre 2006
    Messages
    8 347
    Détails du profil
    Informations personnelles :
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Développeur informatique

    Informations forums :
    Inscription : Novembre 2006
    Messages : 8 347
    Points : 20 347
    Points
    20 347
    Par défaut
    Citation Envoyé par Gouyon Voir le message
    Les moteurs de base de données sont des logiciels comme les autres et donc susceptible d'être optimisé. Les recherches peuvent être parallélisé par exemple. On commence chez nous à utiliser ces cartes pour optimiser des logiciels de calcul.
    Je crois qu'il y a erreur ; une base de donnée n'utilise pas de calculs sauf si tu utilises implicitement des calculs dans les requêtes SQL par exemple si tu fais SELECT SUM [colonne] .
    Est-ce que tu sais comment fonctionne un moteur de base de donnée ?
    Un moteur de BDD quand tu fais des requêtes SQL construit des arbres de recherches donc je doute fortement que l'utilisation d'un GPU apporte quelque chose de vraiment pertinent.
    Surtout que quand tu fais des traitemens SQL que cela soit sous SQL-Server, Access , Oracle ou les autres le moteur a tendance à "swapper' sur disque dur...

    Pour un jeu vidéo utiliser le processeur de la carte graphique pour calculer des matrices sur des polygones là je dis ce n'est que mieux...
    pour faire des requêtes SQL avec Oracle là je suis vraiment sceptique de l'intérêt du processeur d'une carte graphique...
    c'est vraiment de la tartufferie..


    Citation Envoyé par dourouc05 Voir le message
    Bonjour,

    Il y a peu, l'IDAV (Institute for Data Analysis and Visualization), a publié un article sur l'utilisation des cartes graphiques pour accélérer le traitement des bases de données (http://www.idav.ucdavis.edu/publicat...pub?pub_id=960).
    Attention ce ne sont que des expérimentations effectuées par un institut de recherche.
    Or on est très loin du milieu de l'entreprise !
    Je dis encore une fois que c'est pas très crédible.

  16. #16
    Membre expérimenté
    Avatar de Gouyon
    Homme Profil pro
    Développeur informatique
    Inscrit en
    Novembre 2003
    Messages
    1 076
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 60
    Localisation : France, Loiret (Centre)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Novembre 2003
    Messages : 1 076
    Points : 1 521
    Points
    1 521
    Billets dans le blog
    5
    Par défaut
    Citation Envoyé par Mat.M Voir le message
    Je crois qu'il y a erreur ; une base de donnée n'utilise pas de calculs sauf si tu utilises implicitement des calculs dans les requêtes SQL par exemple si tu fais SELECT SUM [colonne] .
    Tout à fait mais je ne parlais pas de base de donnée mais de l'utilisation qu'on fait de ses cartes chez nous.

    Citation Envoyé par Mat.M Voir le message
    Est-ce que tu sais comment fonctionne un moteur de base de donnée ?
    Un moteur de BDD quand tu fais des requêtes SQL construit des arbres de recherches donc je doute fortement que l'utilisation d'un GPU apporte quelque chose de vraiment pertinent.
    N'étant pas un spécialiste des moteurs de BDD je ne peux pas dire. Maintenant si des gens sont en train d'y réfléchir laissons les pousser leur réflexion jusqu'au bout et on verra.

    Citation Envoyé par Mat.M Voir le message
    Surtout que quand tu fais des traitemens SQL que cela soit sous SQL-Server, Access , Oracle ou les autres le moteur a tendance à "swapper' sur disque dur...
    Ben oui window 32bit est limité en mémoire donc il faut bien utiliser le disque dur. Personnellement j'ai une base de donnée d'images qui est de l'ordre du To. Les images sont stockées sur disque et la base quant à elle tient largement en mémoire vive.
    Il y a des jours où j'éprouve une haine profonde envers microsoft et Apple c'est pas mieux
    Mon modeste site et mes modestes oeuvres sont
    Rémi

Discussions similaires

  1. Réponses: 7
    Dernier message: 05/09/2011, 19h10
  2. [C#] Lister les Bases de données (SQL SERVER) d'un poste
    Par justice007 dans le forum Accès aux données
    Réponses: 9
    Dernier message: 21/06/2010, 17h10
  3. Les bases de données dans un logiciel PRo
    Par LaMusaraigne dans le forum Langages de programmation
    Réponses: 1
    Dernier message: 30/06/2005, 09h18
  4. Livre gratuit sur les bases de données...
    Par benby dans le forum Décisions SGBD
    Réponses: 3
    Dernier message: 26/05/2005, 13h24
  5. Les Bases de Données! tout un monde!!
    Par kikimnet dans le forum Bases de données
    Réponses: 3
    Dernier message: 29/04/2004, 19h26

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo