Pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter, inscrivez-vous gratuitement !

 

Discussion: Firebird et Big Data

  1. #1
    Membre émérite
    Homme Profil pro
    Directeur technique
    Inscrit en
    mai 2008
    Messages
    2 285
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Algérie

    Informations professionnelles :
    Activité : Directeur technique
    Secteur : Service public

    Informations forums :
    Inscription : mai 2008
    Messages : 2 285
    Points : 2 282
    Points
    2 282

    Par défaut Firebird et Big Data

    Bonjour

    Dans un salon où j'avais exposé un projet qui tourné sous firebird un des visiteurs m'avait demandé : est-ce que firebird prend en charge le bigdata ? et avec quels outils ?

    alors je redirige la question vers vous ... car j'étais perplexe et j'avais pas de réponse assez convaincante.

    Merci d'avance.
    Bon courage ou Bonne Chance (selon le contexte)
    Mon blog sur WordPress

  2. #2
    Rédacteur/Modérateur

    Avatar de SergioMaster
    Homme Profil pro
    Développeur informatique
    Inscrit en
    janvier 2007
    Messages
    9 345
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2007
    Messages : 9 345
    Points : 22 713
    Points
    22 713
    Billets dans le blog
    11

    Par défaut

    Bonjour,

    tout dépend de ce que l'on entend par le terme BigData
    en terme de volume : Firebird 2.5 n'arrive qu'à 32 TB pour une DB , je n'ai rien trouvé en ce qui concerne Firebird 3.
    en terme de capacité analytique, je ne sais pas trop ce que cela veut dire ... donc joker

    Ma réponse rapide aurait donc été NON c'est un SGBD relationnel , pas NOSQL mais ce n'est pas une argumentation très convaincante (pour cela il faudrait que j'ai quelque expertise en BigData ce qui, je pense, ne sera jamais le cas)
    La seule chose absolue dans un monde comme le nôtre, c'est l'humour. » Albert Einstein

    Delphi installés : D3,D7,D2010,XE4,XE7,D10 (Berlin, Tokyo) et peut être quelques autres
    SGBD : Firebird 2.5, 3, SQLite
    générateurs Etats : FastReport, Rave, QuickReport
    OS : Window Vista, Windows 10, Ubuntu, Androïd

  3. #3
    Membre confirmé Avatar de freud
    Homme Profil pro
    Développeur
    Inscrit en
    mai 2002
    Messages
    1 165
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Algérie

    Informations professionnelles :
    Activité : Développeur

    Informations forums :
    Inscription : mai 2002
    Messages : 1 165
    Points : 596
    Points
    596

    Par défaut

    Bonsoir,

    Citation Envoyé par SergioMaster
    Firebird 2.5 n'arrive qu'à 32 TB pour une DB, je n'ai rien trouvé en ce qui concerne Firebird 3.
    Pas de gros changement par rapport à FB 2.5 juste que ca été augmenter jusqu'à 64 TB et pour atteindre cette limite ça dépendra de la taille de la page comme quoi que c'est théorique.

    Maximum database size is increased to 232 pages (previously 231 pages).
    The new limit is 16TB|32TB|64TB, depending on the page size.


    Firebird 3.0.3 Release Notes
    Le Savoir c'est le Pouvoir !
    S.Freud

  4. #4
    Rédacteur/Modérateur

    Avatar de SergioMaster
    Homme Profil pro
    Développeur informatique
    Inscrit en
    janvier 2007
    Messages
    9 345
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 62
    Localisation : France, Loire Atlantique (Pays de la Loire)

    Informations professionnelles :
    Activité : Développeur informatique
    Secteur : Industrie

    Informations forums :
    Inscription : janvier 2007
    Messages : 9 345
    Points : 22 713
    Points
    22 713
    Billets dans le blog
    11

    Par défaut

    @Freud Merci, je n'avais pas pensé une seconde à trouver l'information dans ce chapitre
    La seule chose absolue dans un monde comme le nôtre, c'est l'humour. » Albert Einstein

    Delphi installés : D3,D7,D2010,XE4,XE7,D10 (Berlin, Tokyo) et peut être quelques autres
    SGBD : Firebird 2.5, 3, SQLite
    générateurs Etats : FastReport, Rave, QuickReport
    OS : Window Vista, Windows 10, Ubuntu, Androïd

  5. #5
    Rédacteur
    Avatar de SQLpro
    Homme Profil pro
    Expert SGBDR & SQL, spécialiste Microsoft SQL Server
    Inscrit en
    mai 2002
    Messages
    18 070
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Var (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Expert SGBDR & SQL, spécialiste Microsoft SQL Server
    Secteur : Conseil

    Informations forums :
    Inscription : mai 2002
    Messages : 18 070
    Points : 42 272
    Points
    42 272

    Par défaut

    Le "big data" concerne des données très volumineuses qui doivent faire l’objet de processus tels que :
    • la capture de données,
    • le stockage de données,
    • l'analyse de données,
    • la recherche,
    • le partage,
    • le transfert,
    • la visualisation,
    • l'interrogation,
    • la mise à jour,
    • la confidentialité
    • ...

    Il s'agit donc plus d'un traitement analytique et statistique (OLAP) que d'un traitement transactionnel comme c'est le cas des SGBD Relationnel. Les SGBDR sont dédiés à la manipulation des données de gestion et non pas à l'analyse des données. Pour ce faire il faut des bases de type OLAP qui stockent les données différemment (compression systématique, pas de stockage des NULLs, pré-calculs des agrégats, cache de résultat...)

    En fait on doit parler d'OLAP et de Data Mining à grande échelle.

    Les volumes attendus sont très importants, commençant par le To pour aller à plusieurs Po...
    La variété de la structure de l'information est aussi très disparate : données structurées (tables de type "big table"), semi structurées (XML, JSON) , pas du tout structurées (emails, fichiers texte) faisant l'objet de "text mining"...
    Et le système doit impérativement être véloce... Pour ce faire il faut implémenter des algorithme de type "map-reduce" c'est à dire d'un maillage du stockage des données sur de nombreux serveurs ce qui permet d'envoyer les requêtes en parallèle sur l'ensemble des serveurs (phase de mapping de la requête) puis de concaténer les résultats (phase de réduction - reduce) afin de générer le résultat final.

    Les domaines les plus concernés sont l'analyse prédictive et comportementale... Quelques exemples : météorologie, traitement du génome, analyse prophylactique, simulation de processus physique (exemple fusion nucléaire)...

    En ce moment par exemple je travaille avec deux clients sur le traitement du génome dans le domaine agricole, et les volumes attendus et les temps de réponse des SGBDR traditionnels montrent rapidement leurs limites, même si certains encapsulent des techniques d'accélération très efficaces (notamment l'indexation verticale et les tables "in memory").

    Alors inutile de dire que FireBird est à des années lumières de l'ensemble de ces concepts.

    Il faudrait au moins lui ajouter :
    0) un moteur de stockage OLAP
    1) un moteur de requête massivement parallèle
    2) des algorithmes de data mining et text mining
    3) du cache de résultats
    4) du pre processing automatique (pré calculs d'agrégats)
    5) un système de maillage des serveurs (pour faire la partie "map" de map-reduce, par exemple via le langage Pig Latin sur Hadoop)
    6) un système de gestion du parallélisme via des files d'attente (pour faire la partie "reduce" de map reduce, voir Pig Latin)
    7) de la compression de données
    8) des types intégrés XML et JSON, GEOMETRY, GEOGRAPHY et les méthodes de manipulation qui vont avec (XQuery/XPath... JSonPath/JsonQuery..., méthodes OGC pour le spatial)
    9) de l'indexation full text et de la recherche sémantique
    10) de l'indexation verticales (columnstore)
    11) des tables "in memory"
    12) un langage d'interrogation analytique tel que MDX, XMLA, MAQL, SAQL...
    13) un langage de calculs statistique (comme le langage R)
    13) un langage permettant d'ajouter des fonctionnalités de types UDF propres aux autres langages (Pig Latin, MDX, MAQL...)
    14) un ETL

    Et enfin, tout ceci dans le cloud, car le prix d'une telle solution est inenvisageable, même pour de très grande entreprises... Pour information, j'ai un client qui travaille dans le domaine de la santé en ligne et ses analyses se font sur un groupe de plus de 1000 serveurs en parallèle. Heureusement il ne les as pas acheté... Il les loue simplement chaque fois qu'il en a besoin...

    Bref, il ne m'a pas semblé que Firebird proposait quoi que ce soit de la liste ci avant.

    Pour Information dans un SGBDR comme SQL Server on trouve :
    0) un moteur de stockage OLAP (SSAS)
    1) un moteur de requête massivement parallèle (SSAS / SQL Server)
    2) des algorithmes de data mining et text mining (SSAS)
    3) du cache de résultats (SSAS)
    4) du pre processing automatique (pré calculs d'agrégats) (SSAS)
    5) un système de maillage des serveurs (pour faire la partie "map" de map-reduce, par exemple via le langage Pig Latin sur Hadoop) --> via Azure
    6) un système de gestion du parallélisme via des files d'attente (pour faire la partie "reduce" de map reduce, voir Pig Latin) --> via Azure
    7) de la compression de données (SSAS / SQL Server)
    8) des types intégrés XML et JSON, GEOMETRY, GEOGRAPHY et les méthodes de manipulation qui vont avec (XQuery/XPath... JSonPath/JsonQuery..., méthodes OGC pour le spatial) (SSAS / SQL Server)
    9) de l'indexation full text et de la recherche sémantique (SQL Server)
    10) de l'indexation verticales (columnstore) (SQL Server)
    11) des tables "in memory" (SQL Server)
    12) un langage d'interrogation analytique tel que MDX, XMLA (QL Server)
    13) un langage de calculs statistique (comme le langage R) (SQL Server)
    13) un langage permettant d'ajouter des fonctionnalités de types UDF propres aux autres langages (Pig Latin, MDX, MAQL...) (SQL Server / SSAS via Python)
    14) un ETL (SSIS)

    Bref, à part la partie map-reduce qu'il faut faire dans le cloud (ou bien simuler via Service Broker), tout peut se faire dans une instance SQL Server doté des moteurs SQL Server, SSAS (SQL Server Analysis Services) et SSIS (SQL Server Integration Services), ces modules étant inclus dans les versions standard et Enterprise...

    A +
    Frédéric Brouard - SQLpro - ARCHITECTE DE DONNÉES - expert SGBDR et langage SQL
    Le site sur les SGBD relationnels et le langage SQL: http://sqlpro.developpez.com/
    Blog SQL, SQL Server, SGBDR : http://blog.developpez.com/sqlpro
    Expert Microsoft SQL Server - M.V.P. (Most valuable Professional) MS Corp.
    Entreprise SQL SPOT : modélisation, conseils, audit, optimisation, formation...
    * * * * * Enseignant CNAM PACA - ISEN Toulon - CESI Aix en Provence * * * * *

Discussions similaires

  1. Réponses: 3
    Dernier message: 13/01/2012, 19h45
  2. [Serveurs] [BIG DATA] sas/access to mongoDB
    Par wise2 dans le forum Administration et Installation
    Réponses: 1
    Dernier message: 06/12/2011, 16h05
  3. Réponses: 1
    Dernier message: 28/10/2011, 14h38
  4. Réponses: 0
    Dernier message: 17/10/2011, 17h01
  5. Firebird et Change Data Capture
    Par jonathansauret dans le forum Firebird
    Réponses: 3
    Dernier message: 10/11/2008, 14h04

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo