IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Emploi Discussion :

Big Data : c'est pour l'automne 2014 ?


Sujet :

Emploi

  1. #1
    Inactif  

    Homme Profil pro
    Freelance EURL / Business Intelligence ETL
    Inscrit en
    Avril 2005
    Messages
    5 879
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Freelance EURL / Business Intelligence ETL
    Secteur : Finance

    Informations forums :
    Inscription : Avril 2005
    Messages : 5 879
    Points : 26 145
    Points
    26 145
    Billets dans le blog
    3
    Par défaut Big Data : c'est pour l'automne 2014 ?
    Hello !

    Bossant dans la Business Intelligence, je continue à jeter un oeil distrait dans le Big Data. Peut-être que ce sera vers quoi me tourner quand ma techno sera obsolète ^^ cependant je ne sais toujours pas où en est ce marché au niveau des projets et de l'emploi. Evidemment les SSII orientées BI font tout un foin et prétendent même avoir gagné des projets à ce sujet, sans pour autant que je sache quelles sont les technos qui sont dedans - la seule chose un peu concrète est le gain d'un projet... mais plutôt pour étudier des faisabilités

    Quels sont vos ressentis à ce sujet ?
    Avez-vous vu de vos propres yeux des projets Big Data se lancer ?
    Ou êtes-vous même carrément dessus ?

    Ou alors ce n'est qu'un énième joli-word pour faire croire que l'informatique de gestion se révolutionne alors que ce n'est pas sur cette branche ?
    - So.... what exactly is preventing us from doing this?
    - Geometry.
    - Just ignore it !!
    ****
    "The longer he lived, the more he realized that nothing was simple and little was true" A clash of Kings, George R. R. Martin.
    ***
    Quand arrivera l'apocalypse, il restera deux types d'entreprise : les pompes funèbres et les cabinets d'audit. - zecreator, 21/05/2019

  2. #2
    Membre émérite
    Avatar de fiftytwo
    Homme Profil pro
    DevOps
    Inscrit en
    Novembre 2009
    Messages
    713
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Pologne

    Informations professionnelles :
    Activité : DevOps

    Informations forums :
    Inscription : Novembre 2009
    Messages : 713
    Points : 2 662
    Points
    2 662
    Par défaut
    Pour moi le big data est une des branches de la BI ! donc tu devrais etre en contact avec certaines technos du big data !

    Jai des potes qui bossent sur informatica pour l'ETL et dans l'analyste/stats/maths qui se sont cassés a londres , selon eux la sauce a deja pris mais pour des gros projets ca ne vas pas assez vite

    Donc ya des possibilites la dedans , mais pour AWS et azure , selon les reours que jai eu , les boites ne veulent pas investir pour deployer des grosses infras big data du "jour au lendemain" .

    Sinon tu n'as qu'a voir quelles technos elle demandent pour des architectes big data , a partir de la tu sauras plus ou moins ce que les SSII et donc les clients veulent
    "bye bye !" : Antonio Ferrara , 12 mars 2003 - check also my flight's diary and my flight's reports

  3. #3
    Rédacteur/Modérateur

    Avatar de Jean-Philippe André
    Homme Profil pro
    Développeur VBA/C#/VB.Net/Power Platform
    Inscrit en
    Juillet 2007
    Messages
    14 586
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : Canada

    Informations professionnelles :
    Activité : Développeur VBA/C#/VB.Net/Power Platform
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2007
    Messages : 14 586
    Points : 34 255
    Points
    34 255
    Par défaut
    Salut,

    de mon côté, j'encadre des projets d'étudiants en rapport avec le Big Data.

    Les défis du moment sont à deux niveaux :
    - le data mining (recherche et exploration des données)
    - la restitution des résultats (data visualization)

    La masse de données exploitable étant colossale, tu te retrouves à :
    - mettre en place des algorithmes pour retrouver des informations pertinentes
    - utiliser des algorithmes déjà en place et améliorer les moyens de voir les résultats

    Le tournant sur cette techno existe bien, vu que certaines écoles d'ingé y consacrent désormais des cours spécialement dédiés...
    Cycle de vie d'un bon programme :
    1/ ça fonctionne 2/ ça s'optimise 3/ ça se refactorise

    Pas de question technique par MP, je ne réponds pas

    Mes ouvrages :
    Apprendre à programmer avec Access 2016, Access 2019 et 2021

    Apprendre à programmer avec VBA Excel
    Prise en main de Dynamics 365 Business Central

    Pensez à consulter la FAQ Excel et la FAQ Access

    Derniers tutos
    Excel et les paramètres régionaux
    Les fichiers Excel binaires : xlsb,

    Autres tutos

  4. #4
    Membre émérite Avatar de Drizzt [Drone38]
    Homme Profil pro
    Directeur de projet
    Inscrit en
    Mai 2004
    Messages
    1 001
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Isère (Rhône Alpes)

    Informations professionnelles :
    Activité : Directeur de projet

    Informations forums :
    Inscription : Mai 2004
    Messages : 1 001
    Points : 2 453
    Points
    2 453
    Par défaut
    Il y a déjà des projets Big Data (en cours ou déjà terminés) et les clients sont de plus en plus demandeurs sur le sujet. Ce n'est pas uniquement un arguement commercial pour être dans le "move".

    Les technologies existent (HADOOP, NoSQL ...) et semblent déjà assez matures.

    Je n'ai pas personnellement travaillé sur le sujet, mais j'ai vu passer des réfèrences dans le domaine.
    Je ne réponds pas aux questions techniques par MP, le forum est là pour cela.

    La crypto c'est comme les flambys, une fois que tu as trouvé la languette tu as juste à tirer pour tout faire tomber.

    (\ _ /)
    (='.'=)
    Voici Lapinou. Aidez le à conquérir le monde
    (")-(") en le reproduisant

  5. #5
    Expert éminent
    Homme Profil pro
    Big Data / Freelance EURL
    Inscrit en
    Mars 2003
    Messages
    2 124
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 53
    Localisation : France, Rhône (Rhône Alpes)

    Informations professionnelles :
    Activité : Big Data / Freelance EURL

    Informations forums :
    Inscription : Mars 2003
    Messages : 2 124
    Points : 7 291
    Points
    7 291
    Par défaut
    Citation Envoyé par jpcheck Voir le message
    de mon côté, j'encadre des projets d'étudiants en rapport avec le Big Data.
    [..]
    Le tournant sur cette techno existe bien, vu que certaines écoles d'ingé y consacrent désormais des cours spécialement dédiés...
    Ah ok. Effectivement c'est un signe. Par exemple moi quand j'ai fait mes études, le décisionnel existait en entreprise, notamment chez IBM, mais il n'était pas enseigné, je l'ai appris sur le tas. Car contrairement à la BI, le Big Data me semblait être un réhabillage marketing de la BI.


    Citation Envoyé par jpcheck Voir le message
    [1]Les défis du moment sont à deux niveaux :
    - le data mining (recherche et exploration des données)
    - la restitution des résultats (data visualization)

    [2]La masse de données exploitable étant colossale, tu te retrouves à :
    - mettre en place des algorithmes pour retrouver des informations pertinentes
    - utiliser des algorithmes déjà en place et améliorer les moyens de voir les résultats
    En revanche quand je lis ton explication je vois qu'il y a 2 axes. Un axe d'interfaçage de la demande [1], et un axe de restitution/récupération de données [2].

    Ce que je veux dire que c'est finalement, à te lire, on dirait que les grands changement viennent de l'implémentation technique de bas niveaux [2] pour aller chercher ces données dans un volume énorme et les restituer avec une bande passante suffisante.

    Mais du point de vue de l'IHM et même du traitement de la donné de base [1], je ne vois aucun changement, non ? Est-ce que le système Données->ODS->DWH->Restitution (BO ou autres) n'est en fait pas remplacé du tout. Il est simplement couplé à un système de de bas niveau de récupération de volume [2] important via un lien, par exemple, dans un champ de DWH [1]?

    Autrement dit du point de vue de l'utilisateur, l'IHM et les principes de recherches ne changeront pas fondamentalement ? D'ailleurs de même ça ne changera pas grand chose pour l'expert BI ? Je veux dire: ce n'est pas lui qui va programmer en java, ou même en langage non interprétée comme C++, l'accès aux données volumineuses [2] ?

  6. #6
    Rédacteur/Modérateur

    Avatar de Jean-Philippe André
    Homme Profil pro
    Développeur VBA/C#/VB.Net/Power Platform
    Inscrit en
    Juillet 2007
    Messages
    14 586
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : Canada

    Informations professionnelles :
    Activité : Développeur VBA/C#/VB.Net/Power Platform
    Secteur : Finance

    Informations forums :
    Inscription : Juillet 2007
    Messages : 14 586
    Points : 34 255
    Points
    34 255
    Par défaut
    Le problème est qu'aujourd'hui, (chiffres de mémoire mais à vérifier) on n'a accès qu'à 30% des données disponibles dans ce foutraque, et que moins de 4% est exploitable.

    Du coup, côté utilisateur final, ca ne changera rien, mais le défi est clairement technique (stockage, requête, techno, hardware, software, IHM) et conceptuel (quoi ? où ? contraintes ? pour quoi ? pour qui ?)...

    Le Big Data peut représenter une source de données pour des statistiques historiques, mais beaucoup y voit aussi un formidable instrument de prédiction => $ $ $

    Je ne suis pas du tout expert dans le domaine, mais les problématiques liées aux BG sont clairement en train d'évoluer, et c'est effectivement un axe de montée en compétences intéressant à mon avis
    Cycle de vie d'un bon programme :
    1/ ça fonctionne 2/ ça s'optimise 3/ ça se refactorise

    Pas de question technique par MP, je ne réponds pas

    Mes ouvrages :
    Apprendre à programmer avec Access 2016, Access 2019 et 2021

    Apprendre à programmer avec VBA Excel
    Prise en main de Dynamics 365 Business Central

    Pensez à consulter la FAQ Excel et la FAQ Access

    Derniers tutos
    Excel et les paramètres régionaux
    Les fichiers Excel binaires : xlsb,

    Autres tutos

  7. #7
    Inactif  

    Homme Profil pro
    Freelance EURL / Business Intelligence ETL
    Inscrit en
    Avril 2005
    Messages
    5 879
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Freelance EURL / Business Intelligence ETL
    Secteur : Finance

    Informations forums :
    Inscription : Avril 2005
    Messages : 5 879
    Points : 26 145
    Points
    26 145
    Billets dans le blog
    3
    Par défaut
    Re,

    Merci pour vos retours d'expérience, du moins ce que vous voyez à côté donc ce qui semblait être une légende il y a cinq ans et un grand flou y a deux ans et demi se concrétise

    Effectivement, il me semble avoir vu du Big Data dans le programme des écoles. Ca me semblait un bon signe maintenant les écoles sont aussi là pour miser sur les tendances.

    Même si les définitions sont meilleures qu'il y a 2 ans, le Big Data ne porte pas super bien son nom parce qu'en terme de volumétrie, on peut traiter ces informations par ETL (après, ça peut être des traitements mensuels qui tournent pendant 20 jours via ETL). C'est plutôt l'idée de données non-structurées et inutilisables en soit qu'on souhaiterait utiliser quasiment en temps réel (ou du moins à J+1), et souvent non numériques (l'exemple qui revient souvent est l'analyse des tendances de FB par l'équipe "data / comm" de Barack Obama pour séduire les jeunes pour l'élection). Effectivement, mon idée c'était de voir si Hadoop, MapReduce et tout le tintouin est mis en place.

    Remarque : pour le dataviz je le mettrai pas vraiment du côté du Big Data, mais une manière plus ludique voire efficiente de créer du reporting. Maintenant, comme dans beaucoup de projets reporting type BO, du côté MOE on met souvent juste en place la structure, tout le côté fun de créer du reporting est géré par les utilisateurs voire les AMOAs - du moins dans les types de projet que j'ai vu.
    - So.... what exactly is preventing us from doing this?
    - Geometry.
    - Just ignore it !!
    ****
    "The longer he lived, the more he realized that nothing was simple and little was true" A clash of Kings, George R. R. Martin.
    ***
    Quand arrivera l'apocalypse, il restera deux types d'entreprise : les pompes funèbres et les cabinets d'audit. - zecreator, 21/05/2019

  8. #8
    Modérateur
    Avatar de gangsoleil
    Homme Profil pro
    Manager / Cyber Sécurité
    Inscrit en
    Mai 2004
    Messages
    10 148
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Haute Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Manager / Cyber Sécurité

    Informations forums :
    Inscription : Mai 2004
    Messages : 10 148
    Points : 28 113
    Points
    28 113
    Par défaut
    Bonjour,

    Il y a de tout dans le big data : certaines boites qui disent travailler dessus parce qu'elles ont fait la moyenne de 300 données par an sur 3 ans, et à côté de ça de vrais projets qui ont un réel intéret.

    Ensuite, il y a plusieurs axes bien distincts : l'analyse de données sur des années pour en tirer des tendances n'est pas la fouille de données façon moteur de recherche, et pourtant les deux vont être classés dans le big data.

    En tout cas, je pense que la connaissance métier prend tout son sens dans cette branche, car une personne capable d'analyser ET de dégager des tendances, ça va couter cher.
    "La route est longue, mais le chemin est libre" -- https://framasoft.org/
    Les règles du forum

  9. #9
    Candidat au Club
    Homme Profil pro
    Développeur Web
    Inscrit en
    Octobre 2014
    Messages
    1
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Développeur Web
    Secteur : High Tech - Multimédia et Internet

    Informations forums :
    Inscription : Octobre 2014
    Messages : 1
    Points : 4
    Points
    4
    Par défaut
    Bonjour,

    J'ai assisté au salon du E-commerce il y a deux semaines et en effet les projets "Big Data" se développent.
    Par exemple la start-up TinyClues qui s'est placée sur le prédictif et ciblage pour des campagnes de mailing.
    Les technologies utilisées sont du "machine learning", Python, Cassandra, Hadoop...

    À l'étranger ça bouge un peu plus. Pendant ma thèse, j'ai travaillé trois ans au CERN sur du "Big Data" scientifique. Pas mal de mes anciens collègues se sont fait embaucher dans des postes d'expert "Data Scientist" aux USA ou à Londres directement après leur thèse.

Discussions similaires

  1. Réponses: 0
    Dernier message: 18/06/2012, 20h25

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo