IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Débats sur le développement - Le Best Of Discussion :

Cloud et Big Data : le futur de l’intégration passera nécessairement par eux


Sujet :

Débats sur le développement - Le Best Of

  1. #1
    Expert éminent sénior

    Inscrit en
    Juillet 2009
    Messages
    3 407
    Détails du profil
    Informations forums :
    Inscription : Juillet 2009
    Messages : 3 407
    Points : 149 059
    Points
    149 059
    Par défaut Cloud et Big Data : le futur de l’intégration passera nécessairement par eux
    Cloud et Big Data : le futur de l’intégration passera nécessairement par eux
    Pour Yves de Montcheuil, Vice-Président de Talend : et pour vous ?


    « Aujourd’hui, la question n’est plus de savoir si une entreprise doit conserver ses applications « on premise » ou les porter vers le Cloud, mais plutôt quelles applications migrer vers le Cloud et comment gérer un environnement informatique voué à devenir de plus en plus hybride ? », c’est en ces mots que Yves de Montcheuil, Vice-Président de Talend, commence son avis d’expert qu’il vient de publier sur le Cloud et le Big Data.

    Pour lui, d’ailleurs, de nombreuses entreprises ne voient plus de réelles frontières claires entre leurs serveurs virtualisés et une plate-forme de Cloud privé (« le Cloud privé étant considéré comme une extension, voire une partie intégrante, de leur infrastructure informatique »).

    Mais ce flou s’adapterait mal aux problématiques d’intégration. Les solutions traditionnelles demanderaient d’importantes ressources en bande passante pour transporter les données et supporter les opérations de transformation.

    « Ceci crée des contraintes importantes sur l’infrastructure globale, génère des coûts considérables et ralentit le processus d’intégration, ce qui finalement limite la capacité de l’entreprise à travailler en temps réel, écrit Yves de Montcheuil. C’est pourquoi, nous pensons que 2013 marquera l’avènement de plates-formes d’intégration conçues pour supporter et être déployées dans des environnements hybrides ».

    Ce type de solutions a commencé à émerger. Mais, si elles sont efficaces pour charger dans un système de CRM des données issues de réseaux sociaux (via un minimum de transformations), elles n’offriraient pas encore les fonctionnalités « puissantes et variées » des plates-formes d’intégration traditionnelles.

    « Avec le temps, ces offres vont mûrir et offriront aux entreprises une connectivité élargie aux systèmes à la fois on premise et Cloud, un éventail complet de fonctionnalités d’intégration et une flexibilité suffisante pour les déployer dans des environnements hybrides et massivement distribués ».


    Yves de Montcheuil, Vice-Président de Talend

    Autre prédiction du Vice-Président de Talend – qu’il n’est par ailleurs pas le seul à faire : 2013 sera également l’année de la démocratisation des Big Data.

    « À peine cinq ans après la création d’Hadoop, ce projet open source a mûri à un rythme rarement égalé dans le passé. Aujourd’hui, des start-ups solides, telles Hortonworks, Cloudera ou MapR, offrent des distributions Hadoop certifiées, qui non seulement sont fiables ». Mais surtout, elles répondraient aux problématiques d’entreprise.

    Fini le temps des premiers déploiements expérimentaux, « qui généralement étaient réalisés en dehors du système d’information de l’entreprise ». Aujourd’hui, voici venu le temps des solutions d’intégration de nouvelle génération qui « permettent à d’autres applications, systèmes et bases de données d’interagir avec Hadoop ».

    Grâce à cette intégration, Hadoop devrait devenir cette année un composant clé du système d’information.

    « Mais pas de déploiement sans retour sur investissement ! », prévient également Yves de Montcheuil. « Si les Big Data font désormais partie des préoccupations des directeurs informatiques, les bénéfices obtenus devront être quantifiés précisément ».

    Selon Talend, le retour sur investissement des plates-formes de Big Data sera lié à leur capacité à décharger d’autres plates-formes de l’exécution de tâches de « routine ». Par exemple, des opérations de type ETL (Extraction, Transformation, Loading) réalisées dans le moteur Hadoop via une génération de code MapReduce ; ou l’archivage en ligne de volumes massifs de données historiques, qui nécessitent de rester accessibles et exploitables rapidement.

    Enfin, les Big Data devraient également contribuer à l’évolution des systèmes de qualité de données.

    « L’enjeu est clair : comment adapter nos systèmes de MDM (N.D.L.R. : Master Data Management) à la soudaine apparition de volumes de données si massifs ? Nous pensons qu’en 2013, les Big Data seront intégrées aux programmes de MDM des entreprises à mesure qu’elles prendront conscience que ce nouveau type de données est en train de s’imposer dans leur système d’information ».

    Mais ces nouvelles données, issues de sources diverses, elles-mêmes nouvelles, sont généralement non-structurées. Ce qui n'est pas sans conséquence. Un point qu’explicite bien le Vice-Président : « intégrer la notion de « Big » au MDM ne signifie pas que le hub de MDM sera stocké dans Hadoop (bien que NoSQL y soit parvenu beaucoup plus rapidement qu’on le pensait), ni que sa taille va croître exponentiellement en quelques mois. Mais plutôt que les nouveaux types de données seront gérés soit dans le hub de MDM lui-même, soit reliés au hub de MDM via une approche fédérée ou simplement bénéficieront de la cohérence et des services de résolution de conflits qu’apporte le MDM ».

    Et de conclure « la réussite des projets de Big Data et de Cloud des entreprises dépend largement des fonctions d’intégration qu’elles mettront en œuvre ».

    Un point de vue que vous partagez ?

  2. #2
    Membre expérimenté
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Mai 2011
    Messages
    366
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2011
    Messages : 366
    Points : 1 361
    Points
    1 361
    Par défaut
    Citation Envoyé par Gordon Fowler Voir le message
    Un point de vue que vous partagez ?

    Sur le cloud, je n'ai rien à en dire, je ne connais pas.

    Sur le big data, en revanche, je trouve que la réflexion n'a pas été assez poussée. Bien sûr que la question du volume se pose, bien sûr que l'ETL sera un des gros problèmes, mais... Mais une fois qu'on a tout persisté, que va t'on faire de tout ce volume? Requêter? Pas seulement, il faut pouvoir l'analyser, en tirer quelque chose. Je trouve dommage de ne pas avoir d'avantage mentionner l'usage des data-warehouse, voire de Mahout.
    les raisonnables ont duré, les passionné-e-s ont vécu

  3. #3
    Modérateur
    Avatar de gangsoleil
    Homme Profil pro
    Manager / Cyber Sécurité
    Inscrit en
    Mai 2004
    Messages
    10 148
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Manager / Cyber Sécurité

    Informations forums :
    Inscription : Mai 2004
    Messages : 10 148
    Points : 28 113
    Points
    28 113
    Par défaut
    Citation Envoyé par Gordon Fowler Voir le message
    Un point de vue que vous partagez ?
    Dans son marche de niche, pourquoi pas. Il cite plein de jolis mots-clefs qui en jettent surement aupres des DSI, mais alors dans mon domaine, le cloud, il est tres tres loin d'arriver...

    Depuis que j'ai commence a bosser, on se bat pour avoir des plateformes avec un temps d'acces correct, et meme les machines virtuelles en local passent leur temps a ramer. Alors si un DSI vient nous expliquer qu'on va bosser sur des serveurs distants, tous les developpeurs vont lui montrer que oui, mais avec une perte de productivite estimee a 50%...

    Aujourd'hui, je ne connais pas une seule entreprise qui ait un lien internet suffisant vers l'exterieur, c'est a dire sur lequel les gens ne gueulent pas toute la journee (celui qui bosse tout seul a 7h du matin ne comptant pas). La encore, il y a beau avoir toute une belle infrastructure derriere, le prix d'une ligne symetrique (car c'est bien ce qu'il faut) est tellement demesure que, dans certains domaines, le cloud l'externalisation n'apporte rien d'autre que des ennuis.
    "La route est longue, mais le chemin est libre" -- https://framasoft.org/
    Les règles du forum

  4. #4
    Inactif  
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Février 2009
    Messages
    1 083
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Développeur .NET
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Février 2009
    Messages : 1 083
    Points : 1 222
    Points
    1 222
    Par défaut
    Citation Envoyé par gangsoleil Voir le message
    Dans son marche de niche, pourquoi pas. Il cite plein de jolis mots-clefs qui en jettent surement aupres des DSI, mais alors dans mon domaine, le cloud, il est tres tres loin d'arriver...

    Depuis que j'ai commence a bosser, on se bat pour avoir des plateformes avec un temps d'acces correct, et meme les machines virtuelles en local passent leur temps a ramer. Alors si un DSI vient nous expliquer qu'on va bosser sur des serveurs distants, tous les developpeurs vont lui montrer que oui, mais avec une perte de productivite estimee a 50%...

    Aujourd'hui, je ne connais pas une seule entreprise qui ait un lien internet suffisant vers l'exterieur, c'est a dire sur lequel les gens ne gueulent pas toute la journee (celui qui bosse tout seul a 7h du matin ne comptant pas). La encore, il y a beau avoir toute une belle infrastructure derriere, le prix d'une ligne symetrique (car c'est bien ce qu'il faut) est tellement demesure que, dans certains domaines, le cloud l'externalisation n'apporte rien d'autre que des ennuis.
    C'est vrai que pour matter Youtube au boulot ça ne va jamais assez vite

    J'ai une connexion internet pas terrible, un projet cloud.....et pas de problèmes liés à la connexion...ce qui m'étonne parfois d'ailleurs !

  5. #5
    Inactif  


    Homme Profil pro
    Inscrit en
    Novembre 2008
    Messages
    5 288
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 48
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Secteur : Santé

    Informations forums :
    Inscription : Novembre 2008
    Messages : 5 288
    Points : 15 620
    Points
    15 620
    Par défaut
    Citation Envoyé par gangsoleil Voir le message
    Aujourd'hui, je ne connais pas une seule entreprise qui ait un lien internet suffisant vers l'exterieur, c'est a dire sur lequel les gens ne gueulent pas toute la journee
    J'ai fait une vidéo de l'install de Qt sur Linux, téléchargement compris. 388 Mo en 1''01

    On a besoin de haut débit dans la fonction public... pour youtube en autre
    (beaucoup de vidéos de conférences sont sur youtube ou équivalent maintenant et c'est une source d'auto formation non négligeable)

  6. #6
    Modérateur
    Avatar de gangsoleil
    Homme Profil pro
    Manager / Cyber Sécurité
    Inscrit en
    Mai 2004
    Messages
    10 148
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Manager / Cyber Sécurité

    Informations forums :
    Inscription : Mai 2004
    Messages : 10 148
    Points : 28 113
    Points
    28 113
    Par défaut
    Citation Envoyé par erwanlb Voir le message
    C'est vrai que pour matter Youtube au boulot ça ne va jamais assez vite

    J'ai une connexion internet pas terrible, un projet cloud.....et pas de problèmes liés à la connexion...ce qui m'étonne parfois d'ailleurs !
    J'ai du travailler en SSH sur des serveurs a plus de 500Kms, bases a Paris. Outre les coupures recurrentes qui te cassent un peu tout ton boulot, le debit etait suffisamment pourri pour que la compilation soit finie largement avant l'affichage a l'ecran (deux ou trois minutes).

    Mais a cote de ca, toute la bande passante etait disponible pour faire du download, donc je pouvais passer le temps.
    "La route est longue, mais le chemin est libre" -- https://framasoft.org/
    Les règles du forum

  7. #7
    Expert éminent sénior
    Profil pro
    Inscrit en
    Décembre 2007
    Messages
    6 803
    Détails du profil
    Informations personnelles :
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations forums :
    Inscription : Décembre 2007
    Messages : 6 803
    Points : 32 044
    Points
    32 044
    Par défaut
    ça dépend vraiment des boites, mais ça peut plomber la productivité. J'ai connu un projet pour lequel, à la fin, pour chasser les derniers bugs, je passais un mois complet de volumétrie dans ma moulinette.

    8h00 : 9 minutes
    9h00 : 18 minutes
    10h00 : 1 heure
    11h00 : 1 heure 45 minutes.....bon, on verra après le repas

    Fatalement, les itérations de déboguage, j'en faisais plus tôt le matin. Bon, le coupable était plus le CPU du serveur central que le réseau, mais la problématique se base sur les mêmes soucis : le bon matériel, le mauvais chef en voit le cout, il n'en voit pas le gain.
    Les 4 règles d'airain du développement informatique sont, d'après Michael C. Kasten :
    1)on ne peut pas établir un chiffrage tant qu'on a pas finalisé la conception
    2)on ne peut pas finaliser la conception tant qu'on a pas complètement compris toutes les exigences
    3)le temps de comprendre toutes les exigences, le projet est terminé
    4)le temps de terminer le projet, les exigences ont changé
    Et le serment de non-allégiance :
    Je promets de n’exclure aucune idée sur la base de sa source mais de donner toute la considération nécessaire aux idées de toutes les écoles ou lignes de pensées afin de trouver celle qui est la mieux adaptée à une situation donnée.

  8. #8
    Membre averti
    Homme Profil pro
    Directeur de projet
    Inscrit en
    Octobre 2012
    Messages
    117
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Directeur de projet

    Informations forums :
    Inscription : Octobre 2012
    Messages : 117
    Points : 343
    Points
    343
    Par défaut
    Citation Envoyé par gangsoleil Voir le message
    J'ai du travailler en SSH sur des serveurs a plus de 500Kms, bases a Paris. Outre les coupures recurrentes qui te cassent un peu tout ton boulot...
    Comme le dit el_slapper, ça dépend des boites, je n'ai personnellement jamais eu de problèmes (qui ne puissent être réglés , tu peux réserver de la bande passante a certains outils par exemple) travaillant sur des serveurs hébergés un peu partout dans le monde avec presque un simple brin symétrique a quelques mégas travaillant depuis pas mal d'années maintenant en "mode Saas". Je dirais même que j'ai eu moins de problèmes que dans un mode plus traditionnel "interne" où l'infrastructure, par souci parfois de "trop bien faire" pose tout autant de problèmes.

    Après, il faut penser les choses un peu autrement, tes besoins de débit, ils se feront de "cloud a cloud", finalement, tu n'as besoin que d'un écran (j'ai par exemple effectué des tests de charge avec un simple vnc ou équivalent)

    Le défaut par contre que je trouve a l'hébergement "virtualisé", au "big data", c'est de faire croire qu'on a plus de questions a se poser et on fait n'importe quoi en stockant inutilement des tonnes de données (dont on ne se pose qu'après la question du "traitement"!) tout comme on se raconte qu'il suffit de rajouter des serveurs pour résoudre tous les problèmes, le buzz du "scaling" a fait beaucoup de dégâts au sein même du développement.

    Un exemple très concret que j'ai vécu, le "big data" permet de conserver tous les logs d'une application, super, on a la "solution miracle" a tous les problèmes, mais par contre personne ne s'est posé la question de la pertinence de l'information générée (par le développement) et au final tu as des tera de données qui ne servent absolument a rien si ce n'est poser de gros problèmes de hosting.

  9. #9
    Membre expérimenté
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Mai 2011
    Messages
    366
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 42
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Conseil

    Informations forums :
    Inscription : Mai 2011
    Messages : 366
    Points : 1 361
    Points
    1 361
    Par défaut
    Citation Envoyé par rimram31 Voir le message
    Le défaut par contre que je trouve a l'hébergement "virtualisé", au "big data", c'est de faire croire qu'on a plus de questions a se poser et on fait n'importe quoi en stockant inutilement des tonnes de données (dont on ne se pose qu'après la question du "traitement"!) tout comme on se raconte qu'il suffit de rajouter des serveurs pour résoudre tous les problèmes, le buzz du "scaling" a fait beaucoup de dégâts au sein même du développement.
    Je suis tout à fait d'accord! On ne parle pas du traitement, juste de la possibilité de stocker. Et bien entendu, de payer pour stocker.

    Ce qui m'amène à la question suivante: est ce que pour vous, ça implique le retour des technologies telles que le data-mining ou le data-warehouse? Histoire de synthétiser les données, d'en faire quelque chose d'utile?
    les raisonnables ont duré, les passionné-e-s ont vécu

  10. #10
    Membre averti
    Homme Profil pro
    Directeur de projet
    Inscrit en
    Octobre 2012
    Messages
    117
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Directeur de projet

    Informations forums :
    Inscription : Octobre 2012
    Messages : 117
    Points : 343
    Points
    343
    Par défaut
    Citation Envoyé par rmaker Voir le message
    ...Ce qui m'amène à la question suivante: est ce que pour vous, ça implique le retour des technologies telles que le data-mining ou le data-warehouse? Histoire de synthétiser les données, d'en faire quelque chose d'utile?
    Ben pour moi, c'est la bonne question, de quoi j'ai besoin, ensuite quelles technologies je met en oeuvre, éventuellement big data si c'est justifié. Je crains dans le "buzz" l'inverse, je me sert de la technologie et ensuite je me demande ce que je vais bien en faire et pour certains de venir expliquer que c'est top parce qu'a la mode. On parle en particulier beaucoup des ETL, pour avoir tenté a plusieurs reprises de les utiliser, je reconnais que ce sont des outils impressionnants quand on sait "ce qu'il y a derrière", mais au final, je me suis rabattu vers de simples scripts système pour faire le travail.

    Quelle que soit la techno, la vraie question est quelle information je stocke, pour quel usage et comment puis je améliorer le ratio Ko/pertinence. L'avantage d'une approche de type "data mining" c'est qu'elle pose d'abord la bonne question, celle de la définition des indicateurs. Mais a relire le post initial, c'est finalement assez proche de ce qui est appelé la problématique d'intégration, en gros, du big data pourquoi pas, mais pour quoi faire?

  11. #11
    Membre actif
    Profil pro
    Inscrit en
    Mars 2009
    Messages
    65
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Mars 2009
    Messages : 65
    Points : 230
    Points
    230
    Par défaut
    Citation Envoyé par rimram31 Voir le message
    Quelle que soit la techno, la vraie question est quelle information je stocke, pour quel usage et comment puis je améliorer le ratio Ko/pertinence.
    C'est l'essence même de notre métier. Quelle information est il essentiel que je stocke pour assurer le Service/Business d'une entreprise (données atomique, données calculées). Quelles sont les données qui seront recaculées par les applications. De quelle manière je vais les stocker (temporaire/permanent). Sur quel support (fichier/base de données ou autre).
    Bref en 23 d'info, ce sont toujours les mêmes questions récurrentes, juste la terminologie employée change.

  12. #12
    Membre habitué
    Homme Profil pro
    Consultant en Business Intelligence
    Inscrit en
    Février 2004
    Messages
    131
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Consultant en Business Intelligence

    Informations forums :
    Inscription : Février 2004
    Messages : 131
    Points : 187
    Points
    187
    Par défaut
    Pour ma part, je ne me prononcerai pas sur la notion de Cloud mais plutot sur celle de BigData.

    De manière générale, l'ensembles des "outils décisionnels" tels que le Datawarehouse, les ETLs, le big data, le in memory, le reporting, le dataminig sont des OUTILS. On a un peu l'impression que le BIG DATA est présenté comme une révolution, moi je le considère comme une simple nouveauté (sans pour autant sous estimé les aspects techniques avancés).

    Un projet décisionnel n'est pas seulement la mise en place de tel ou tel outil, c'est aussi la mise en adéquation entre besoins de pilotage de l'entreprise définis dans le cadre d'une stratégie spécifique et outils de restitution.
    Cet un aspect très largement sous estimé dans le cadre de projets décisionnels. Combien de fois j'ai eut des clients qui voulaient Business Objects car ça allait les aider à piloter leur activité sans avoir auparavant défini de stratégie...

    Donc oui le big data est un outil intéressant qui permettra de traiter des volumes d'informations très importants et non structurés... mais :
    - les entreprises feraient mieux de se concentrer sur des notions telles que le Data Quality Management (DQM) avant de s'attaquer à ce genre d'outil
    - le big data sera limité à des secteurs d'activité spécifiques ou à des entreprises souhaitant pour l'image utiliser "The last technologies"

  13. #13
    Expert éminent sénior

    Profil pro
    Inscrit en
    Janvier 2007
    Messages
    10 601
    Détails du profil
    Informations personnelles :
    Âge : 66
    Localisation : France

    Informations forums :
    Inscription : Janvier 2007
    Messages : 10 601
    Points : 17 913
    Points
    17 913
    Billets dans le blog
    2
    Par défaut
    Je suis d'accord avec plusieurs posts ci-dessus (dont rinram).

    Mais de toutes façons, je ne vois même pas pourquoi on discute de ce genre de choses.

    C'est du marketing et du "buzz-word".. Le sieur en question prêche pour sa paroisse, et quand je lis ""passera nécessairement par", je me dis qu'il n'y a même pas besoin d'aller plus loin...
    "Un homme sage ne croit que la moitié de ce qu’il lit. Plus sage encore, il sait laquelle".

    Consultant indépendant.
    Architecture systèmes complexes. Programmation grosses applications critiques. Ergonomie.
    C, Fortran, XWindow/Motif, Java

    Je ne réponds pas aux MP techniques

Discussions similaires

  1. Réponses: 0
    Dernier message: 16/01/2014, 15h53
  2. Big Data, Cloud et Internet des Objets sont-ils encore des objets de débats ?
    Par Gordon Fowler dans le forum Débats sur le développement - Le Best Of
    Réponses: 0
    Dernier message: 22/05/2013, 14h04
  3. Réponses: 1
    Dernier message: 28/10/2011, 15h38
  4. Réponses: 0
    Dernier message: 17/10/2011, 18h01

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo