Big Data : c'est pour l'automne 2014 ?

Hello !

Bossant dans la Business Intelligence, je continue à jeter un oeil distrait dans le Big Data. Peut-être que ce sera vers quoi me tourner quand ma techno sera obsolète ^^ cependant je ne sais toujours pas où en est ce marché au niveau des projets et de l'emploi. Evidemment les SSII orientées BI font tout un foin et prétendent même avoir gagné des projets à ce sujet, sans pour autant que je sache quelles sont les technos qui sont dedans - la seule chose un peu concrète est le gain d'un projet... mais plutôt pour étudier des faisabilités :D

Quels sont vos ressentis à ce sujet ?
Avez-vous vu de vos propres yeux des projets Big Data se lancer ?
Ou êtes-vous même carrément dessus ?

Ou alors ce n'est qu'un énième joli-word pour faire croire que l'informatique de gestion se révolutionne alors que ce n'est pas sur cette branche ?

Pour moi le big data est une des branches de la BI ! donc tu devrais etre en contact avec certaines technos du big data !

Jai des potes qui bossent sur informatica pour l'ETL et dans l'analyste/stats/maths qui se sont cassés a londres , selon eux la sauce a deja pris mais pour des gros projets ca ne vas pas assez vite

Donc ya des possibilites la dedans , mais pour AWS et azure , selon les reours que jai eu , les boites ne veulent pas investir pour deployer des grosses infras big data du "jour au lendemain" .

Sinon tu n'as qu'a voir quelles technos elle demandent pour des architectes big data , a partir de la tu sauras plus ou moins ce que les SSII et donc les clients veulent

Salut,

de mon côté, j'encadre des projets d'étudiants en rapport avec le Big Data.

Les défis du moment sont à deux niveaux :
- le data mining (recherche et exploration des données)
- la restitution des résultats (data visualization)

La masse de données exploitable étant colossale, tu te retrouves à :
- mettre en place des algorithmes pour retrouver des informations pertinentes
- utiliser des algorithmes déjà en place et améliorer les moyens de voir les résultats

Le tournant sur cette techno existe bien, vu que certaines écoles d'ingé y consacrent désormais des cours spécialement dédiés...

Il y a déjà des projets Big Data (en cours ou déjà terminés) et les clients sont de plus en plus demandeurs sur le sujet. Ce n'est pas uniquement un arguement commercial pour être dans le "move".

Les technologies existent (HADOOP, NoSQL ...) et semblent déjà assez matures.

Je n'ai pas personnellement travaillé sur le sujet, mais j'ai vu passer des réfèrences dans le domaine.

Citation:

---

Envoyé par jpcheck

de mon côté, j'encadre des projets d'étudiants en rapport avec le Big Data.
[..]
Le tournant sur cette techno existe bien, vu que certaines écoles d'ingé y consacrent désormais des cours spécialement dédiés...

---

Ah ok. Effectivement c'est un signe. Par exemple moi quand j'ai fait mes études, le décisionnel existait en entreprise, notamment chez IBM, mais il n'était pas enseigné, je l'ai appris sur le tas. Car contrairement à la BI, le Big Data me semblait être un réhabillage marketing de la BI.

Citation:

---

Envoyé par jpcheck

[1]Les défis du moment sont à deux niveaux :
- le data mining (recherche et exploration des données)
- la restitution des résultats (data visualization)

[2]La masse de données exploitable étant colossale, tu te retrouves à :
- mettre en place des algorithmes pour retrouver des informations pertinentes
- utiliser des algorithmes déjà en place et améliorer les moyens de voir les résultats

---

En revanche quand je lis ton explication je vois qu'il y a 2 axes. Un axe d'interfaçage de la demande [1], et un axe de restitution/récupération de données [2].

Ce que je veux dire que c'est finalement, à te lire, on dirait que les grands changement viennent de l'implémentation technique de bas niveaux [2] pour aller chercher ces données dans un volume énorme et les restituer avec une bande passante suffisante.

Mais du point de vue de l'IHM et même du traitement de la donné de base [1], je ne vois aucun changement, non ? Est-ce que le système Données->ODS->DWH->Restitution (BO ou autres) n'est en fait pas remplacé du tout. Il est simplement couplé à un système de de bas niveau de récupération de volume [2] important via un lien, par exemple, dans un champ de DWH [1]?

Autrement dit du point de vue de l'utilisateur, l'IHM et les principes de recherches ne changeront pas fondamentalement ? D'ailleurs de même ça ne changera pas grand chose pour l'expert BI ? Je veux dire: ce n'est pas lui qui va programmer en java, ou même en langage non interprétée comme C++, l'accès aux données volumineuses [2] ?

Le problème est qu'aujourd'hui, (chiffres de mémoire mais à vérifier) on n'a accès qu'à 30% des données disponibles dans ce foutraque, et que moins de 4% est exploitable.

Du coup, côté utilisateur final, ca ne changera rien, mais le défi est clairement technique (stockage, requête, techno, hardware, software, IHM) et conceptuel (quoi ? où ? contraintes ? pour quoi ? pour qui ?)...

Le Big Data peut représenter une source de données pour des statistiques historiques, mais beaucoup y voit aussi un formidable instrument de prédiction => $ $ $ :aie:

Je ne suis pas du tout expert dans le domaine, mais les problématiques liées aux BG sont clairement en train d'évoluer, et c'est effectivement un axe de montée en compétences intéressant à mon avis :)

Re,

Merci pour vos retours d'expérience, du moins ce que vous voyez à côté :) donc ce qui semblait être une légende il y a cinq ans et un grand flou y a deux ans et demi se concrétise :mrgreen:

Effectivement, il me semble avoir vu du Big Data dans le programme des écoles. Ca me semblait un bon signe :) maintenant les écoles sont aussi là pour miser sur les tendances.

Même si les définitions sont meilleures qu'il y a 2 ans, le Big Data ne porte pas super bien son nom parce qu'en terme de volumétrie, on peut traiter ces informations par ETL (après, ça peut être des traitements mensuels qui tournent pendant 20 jours via ETL). C'est plutôt l'idée de données non-structurées et inutilisables en soit qu'on souhaiterait utiliser quasiment en temps réel (ou du moins à J+1), et souvent non numériques (l'exemple qui revient souvent est l'analyse des tendances de FB par l'équipe "data / comm" de Barack Obama pour séduire les jeunes pour l'élection). Effectivement, mon idée c'était de voir si Hadoop, MapReduce et tout le tintouin est mis en place.

Remarque : pour le dataviz je le mettrai pas vraiment du côté du Big Data, mais une manière plus ludique voire efficiente de créer du reporting. Maintenant, comme dans beaucoup de projets reporting type BO, du côté MOE on met souvent juste en place la structure, tout le côté fun de créer du reporting est géré par les utilisateurs voire les AMOAs - du moins dans les types de projet que j'ai vu.

Bonjour,

Il y a de tout dans le big data : certaines boites qui disent travailler dessus parce qu'elles ont fait la moyenne de 300 données par an sur 3 ans, et à côté de ça de vrais projets qui ont un réel intéret.

Ensuite, il y a plusieurs axes bien distincts : l'analyse de données sur des années pour en tirer des tendances n'est pas la fouille de données façon moteur de recherche, et pourtant les deux vont être classés dans le big data.

En tout cas, je pense que la connaissance métier prend tout son sens dans cette branche, car une personne capable d'analyser ET de dégager des tendances, ça va couter cher.

Bonjour,

J'ai assisté au salon du E-commerce il y a deux semaines et en effet les projets "Big Data" se développent.
Par exemple la start-up TinyClues qui s'est placée sur le prédictif et ciblage pour des campagnes de mailing.
Les technologies utilisées sont du "machine learning", Python, Cassandra, Hadoop...

À l'étranger ça bouge un peu plus. Pendant ma thèse, j'ai travaillé trois ans au CERN sur du "Big Data" scientifique. Pas mal de mes anciens collègues se sont fait embaucher dans des postes d'expert "Data Scientist" aux USA ou à Londres directement après leur thèse.