BI, Datamining, Big Data - Insertion professionnelle

Version imprimable

11/04/2012, 16h25
Xplik

BI, Datamining, Big Data - Insertion professionnelle

Bonjour à tous,

On entend de plus en plus parler de Big Data ces derniers temps. Il semblerait que cela ne soit pas qu'une simple mode mais bel et bien un enjeu crutial pour le futur proche de l'Entreprise.
Aussi, la blogosphère s'amuse beaucoup à définir un profil qui semble émerger en même temps que la mouvance Big Data; le Data Scientist ou le scientifique de la donnée (bien moins élégant, messieurs les anglophobes ;) ) Malgré mes recherches et ma veille sur ce sujet, j'ai des difficultés à me faire une réelle idée du sujet; qu'en est-il vraiment et où en est le marché du travail ?

Je suis en dernière année d'école d'ingénieur (cti) mention Informatique et Gestion (spécialisation BI) et je prépare en parallèle un Master 2 en analyse de données.
Je suis en stage de fin d'étude et l'heure du choix approche. Je pense consacrer ma carrière à l'informatique décisionnelle car les problématiques qui s'y rattachent me passionnent. (J'ai l'impression d'écrire une lettre de motivation). Je ne souhaite pas me cantonner à un domaine, choisir entre un poste très orienté métier ou de modélisation pure.

Je pense avoir une bonne formation en informatique et généraliste (Développement, Bases de données et entrepôts, Gestion de projet...) et mon master en analyse de données me permet de me positionner sur ce domaine de compétence également. Les définitions du "Data Scientist" qui émanent du web me séduisent et j'aimerais bien me positionner sur les problématiques liées à la préparation et l'architecture des données (Prévoir la mise en place d'ETL, Organisation de Data wharehouse, modélisation de datamarts..) mais aussi sur l'analyse de données. J'ai bien conscience qu'on ne peut pas couvrir toute les couches d'un projet décisionnel à la fois mais je souhaite rester le plus possible entre le métier et l'analyse, la modélisation. C'est pourquoi j'ai choisis d'effectuer mon stage de fin d'étude (5 mois) à un poste de datamineur (ou chargé d'études statistiques ) dans une grande banque française; le but étant d'aiguiser mes compétences coté métier. Mon stage me passionne (le possibilités offerte par le monde de la banque sont vastes et passionnantes (typologies, PAC, segmentation, géomarketing...) mais je ne pense pas rester sur un poste de datamining pure et dure sur le long terme.

Problème, je ne trouve pas beaucoup d'offre qui me permettrait de m'épanouir dans tous ces domaines à la fois. Bien souvent (comme dans l'entreprise où j'exerce) j'ai l'impression que l'on fait appel à des consultants externes pour la modélisation de données et qu'on les fait travailler avec des représentants métiers mais que chacun reste sur son domaine et pas plus. Dois-je vraiment choisir entre mon père et ma mère :cry: ?

Je suis jeune et je n'ai qu'une infime expérience du marché du travail, c'est pourquoi j'aimerais avoir vos lumières sur le sujet. Bientôt la fin de mon stage. J'aimerais trouver le premier emplois parfait :mouarf: mais j'ai bien peur d'être à moitié dans l'utopie; j'aurais dans ce cas un premier poste à moitié parfait :aie:.

Aussi, quel type d'entreprise pourrait me proposer un tel poste ? Ils sont encore très peu nombreux à rechercher des "Scientifiques de la donnée".

Merci d'avance.

Roman
11/04/2012, 17h05
npuzin

big data = grosses structures déjà (banques, organisations internationales et grandes entreprises

peut etre par exemple Interpol a lyon, ou encore le CERN a geneve
12/04/2012, 10h59
Glutinus

Bonjour,

Je suis assez dubitatif. En général lorsqu'un terme apparaît comme ça, c'est un terme "exceptionnel" inventé par un journaliste pour parler de ça, alors qu'au final c'est juste un rôle qui s'est créé pour une minorité. Si jamais le job te tente, je pense qu'il faut percer l'origine de ce mot et voir hors des frontières françaises.

De manière générale, ça me fait penser un peu à Business Analyst, aussi bien pour son exotisme que pour son rôle. Essaie de voir en Belgique, Luxembourg ou Suisse s'il n'y a pas ce genre d'offres.
18/04/2012, 11h08
Jester

Bonjour Xplik,

Etant un data scientist (peut-être ça dépend des définitions), je pense pouvoir te répondre. Déjà le terme data scientist n'est pas utilisé en France. Si tu veux être moderne tu peux utiliser analytics (terme à la mode aux US il y a 2 ans).

Pour ton poste c'est assez simple, il te faut une structure plus petite. Pas non plus trop petite car sinon l'importance donnée aux données sera trop faible. Il n'y a pas de seuil définis, mais il faut au moins 100 000 clients réguliers pour qu'un poste de data mining soit utile. Mais plus tu descend sur des structures petites plus tu va faire de la BI. Ca n'en reste pas moins passionant.
18/04/2012, 12h33
frexville

Bonjour Xplik,

Ce que tu cherches, je l'ai déjà vu au cours de mon stage chez le gros fournisseur d’électricité. j'ai fait mon stage en BI classique et une autre équipe explorait les solutions de volumétrie de données. Il y avait une équipe R&D qui se penchait sur ce problème et du coup cela demandait l'intervention en plus des statisticiens.
Ce que je constate de plus en plus est qu'il y a de moins en moins de projets avec de la BI classique (datawarehouse, entrepot, ...). Il y a de plus en plus de TMA. Par contre dans les nouveaux projets, tu trouveras systématiquement un enjeux de volumétrie, de performance, de mélange web & décisionnel, de portails et de multiplicité des sources de données.
quelques outils différents certes mais convergent dans le sens: Hadoop, NodeJS, Terradata
18/04/2012, 13h34
Xplik

Merci, vraiment pour vos réponses.

C'est pas du tout évident quand on se lance et qu'on a une envie aussi précise de poste :lol:.
C'est un peu l'idée qui ressortait lors de mes dernières recherches, petites à moyennes structures si on veux se placer à l'intersection de ces domaines. Je vais orienter mes recherches en ce sens, et pourquoi pas en R&D.
C'est vrai, la TMA ne m'attire pas vraiment.

Jester, si tu as le temps, pourrais-tu nous préciser (dans les grandes lignes) quels sont les problématiques auxquelles tu es confronté et quelles sont les tâches qui en découlent (si ce n'est pas du datamining pure) ?

En tout cas, merci d'avoir pris le temps de m'éclairer sur la chose :ccool:
18/04/2012, 15h14
HerQuLe

Citation:

Envoyé par frexville

quelques outils différents certes mais convergent dans le sens: Hadoop, NodeJS, Terradata

Question complètement HS mais c'est quoi la convergence entre NodeJS et BI / Datamining?
18/04/2012, 20h37
Jester
Citation:

Envoyé par Xplik

Jester, si tu as le temps, pourrais-tu nous préciser (dans les grandes lignes) quels sont les problématiques auxquelles tu es confronté et quelles sont les tâches qui en découlent (si ce n'est pas du datamining pure) ?

Des exemples de problématiques que je rencontre tous les jours et que ne tombent pas dans l'aspect sexy du data scientist :
- le reporting classique (BI): nombre de ventes, ... c'est basique mais ça prend du temps. il ya aussi une partie réflexion qui est intéressante.
- requêtes ad-hoc: "On a combien de clients à Tombouktou qui nous payent en cacahuettes périmée et qui on profité de notre offre super pistache qu'on avait fait il y a 20 ans?".
- archéologie: L'offre super pistache étant bien sur sous la colonne "dummy_char1" (ce nom est pris d'une expérience personnelle), mais bien sur vous ne le savez pas au début. En fait il n'y a qu'une personne dans l'entreprise qui le sait. Ou alors c'est sur un doc qui traine dans la boite mail d'une personne qui ne l'a jamais ouvert.
- intégration (BI): Si vous voulez que le reporting et les requêtes ad-hoc ne vous prennent pas tout votre temps ou des machines du futur, il faut intégrer les données pour les rendre plus utilisables et plus efficientes.
- problem solving: on a pas les données et/ou elles sont sales mais on voudra quand même la réponse. Le business veut faire un truc avec les données qui n'est pas possible pour une raison X ou Y.
Pour ma part il me semble important pour un data scientist d'être au fait du business, donc d'être un peu sur ces tâches là. Sinon on peut être déconnecté et travailler à résoudres des problèmes sans intérêts ou dont la solution peut être obtenue d'une manière moins coûteuse.
19/04/2012, 16h32
frexville

Citation:

Envoyé par HerQuLe

Question complètement HS mais c'est quoi la convergence entre NodeJS et BI / Datamining?

J'en étais sûr que la question allait être relevée. J'ai cité que les outils sont différents. Pour ne pas m'attarder sur le sujet, puisque ce n'est pas l'objet à la base : j'ai déjà vu un prototype de portail où l'on peut introduire des données et jouer avec des graphiques dans une sorte de tableau de bord et qui se base sur des masses de données => "pour moi" c'est de la BI. ici le temps réel, la masse de données et l'aide à la décision cohabitent.
19/04/2012, 17h45
HerQuLe

Citation:

Envoyé par frexville

J'en étais sûr que la question allait être relevée. J'ai cité que les outils sont différents. Pour ne pas m'attarder sur le sujet, puisque ce n'est pas l'objet à la base : j'ai déjà vu un prototype de portail où l'on peut introduire des données et jouer avec des graphiques dans une sorte de tableau de bord et qui se base sur des masses de données => "pour moi" c'est de la BI. ici le temps réel, la masse de données et l'aide à la décision cohabitent.

Mouis enfin à mon avis tu fais ça avec n'importe quel techno :)

Au passage je suis curieux vu que tu cites Hadoop. Je ne connais pas trop le monde de la BI mais pourtant j'avais l'impression que jusqu'a présent, tout le monde utilisait plutot du SGDB classique ou des cubes si bien que je m'étonnais de ne pas trop entendre parler de map/reduce vu que ca permet de bien scaler... Pareil Mahout a l'air pas mal pour faire de la classification, j'ai pas testé plus que ça, pas facile à utiliser pour un user qui ne fait pas ce genre de choses habituellement mais bon...

Je me demande donc, est-ce que les mecs qui font de la BI utilisent souvent du map/reduce ou du in-place processing, est-ce que ce genre de truc peut résoudre les mêmes problématiques BI résolues avec les trucs plus classiques?

Est-ce que vous utilisez des In Memory Data Grid pour gérer les traitements map/reduce en mémoire plutôt que sur disque, pour pouvoir produire des analyses ultrarapides et distribuées?
19/04/2012, 17h58
frexville

Seuls les grands groupes (à ma connaissance) type google, facebook, amazon ... utilisent du Map reduce. Par contre, il y a énormément d'entreprises qui lancent des projets R&D pour tester ces projets. Des entreprises qui doivent gérer des milliards de lignes par an... oui ça existe !
D'autres explorent le in-memory.
Oui, j'ai déjà vu des gens travailler sur Hadoop, ce n'est pas simple effectivement et les tests nécessitent des investissements matériels non négligeables.

L'engouement que suscite le monde du big data provient des demandes de POC aux éditeurs et grands cabinets de conseils.
Le cloud complexifie ces problématiques.

PS : Facebbok utilise Cassandra.
19/04/2012, 18h17
Jester

Hadoop est très rare et les cas où il y en a besoin encore plus.

Les performances c'est une problématique de la BI mais pas la plus grande. Souvent on utilise des solutions moins performantes mais plus maintenables ces des arbitrages à faire. De même hadoop sacrifie de la performance et des fonctionnalité pour être scalable.

Des milliards de lignes par an ça se gère très bien avec une base de données classique si l'on sait ce qu'on fait.

Zynga qui a énormement de données et est à fond BI n'est pas basé sur du hadoop et n'y compte pas.

Après Hadoop et à la mode, donc à terme ce sera probablement un système très pertinent pour énormement d'usages.
20/09/2012, 20h07
123opendata

Informations sur le Big Data

Bonjour ! J'écris des articles sur un site d'information : 123opendata dédié à l'Open Data, Big Data et Data viz où toute l'actualité est recensée, ainsi que les acteurs Open data (voici le lien : http://123opendata.com/). Certains articles pourraient t'apporter plus d'informations sur le sujet. De plus Ayant l'opportunité d'assister à des conférences sur le thème, je vais prendre l'initiative d'écrire un article consacré aux emplois et formations qui émergent avec le Big Data. Il faut savoir que ce phénomène devenu à la mode existe depuis un certains temps.
En espérant que notre site t'apportera quelques éclaircissements.
N'hésites pas à m'envoyer un mail à julia@123opendata.com pour toutes questions ou voire m'apporter des informations supplémentaires !
21/09/2012, 15h18
HerQuLe

Hello,

Perso j'ai du mal a comprendre comment s'organisent les métiers qui tournent autour de la donnée...

Notamment tout ce qui touche au Machine Learning, c'est quoi?
De la BI?
Du datamining?
22/09/2012, 11h20
Jester

Le data mining est un sous occupation de la BI, sachant qu'on peut avoir du data mining sans que ce soit de la BI (si ce n'est pas business related par exemple).

Le machine learning peut être utilisé en data mining, mais couvre aussi d'autres sujets que le data mining (qui se limite aux données), par exemple l'apprentissage par inférences.

Le mieux c'est de voir tous ces domaines comme des disques qui se recouvrent partiellement.

Le data viz est intéressant mais se retrouve peu en BI et plus dans le journalisme et la communication. C'est malheureusement un peu cher.

L'open data, est plus lié aux startup (produit basé sur une source de données publique par exemple) et aux administrations. L'entreprise n'a pas attendu l'open data pour utiliser des données externes, les panels Gfk par exemple sont coûteux, mais savoir comment évolue la concurrence est utile. C'est plus un mouvement sociétal donc.
05/05/2014, 11h59
lau-univ

Big data, le nouvel avenir

D'ici à 2015, le phénomène Big Data devrait créer selon le cabinet de conseil Gartner 4,4 millions d'emplois à travers le monde. Si les professionnels du secteur ne peuvent confirmer cette information ou donner des chiffres précis pour le marché français, ils s'accordent tous sur un point : les embauches vont se multiplier au cours des prochaines années.
Le Big data crée des nouvelles formations et de nouveaux métiers, c'est donc un acteur majeur pour l'économie ! De plus, cela crée de nouvelles compétences,de nouveaux métiers ainsi que les formations se sont aussi adaptées à ce phénomène ( par exemple les formations en statistique). Cela crée des liens entre industriels et chercheurs ! C'est pourquoi le Big data est un phénomène à regarder de très près pour le futur des entreprises !
05/05/2014, 21h00
ulspider

Citation:

Envoyé par lau-univ

D'ici à 2015, le phénomène Big Data devrait créer selon le cabinet de conseil Gartner 4,4 millions d'emplois à travers le monde. Si les professionnels du secteur ne peuvent confirmer cette information ou donner des chiffres précis pour le marché français, ils s'accordent tous sur un point : les embauches vont se multiplier au cours des prochaines années.
Le Big data crée des nouvelles formations et de nouveaux métiers, c'est donc un acteur majeur pour l'économie ! De plus, cela crée de nouvelles compétences,de nouveaux métiers ainsi que les formations se sont aussi adaptées à ce phénomène ( par exemple les formations en statistique). Cela crée des liens entre industriels et chercheurs ! C'est pourquoi le Big data est un phénomène à regarder de très près pour le futur des entreprises !

Il faut arrêter de croire tout ce qui est dit par les cabinets de conseil.

Personnellement je ne crois pas aux créations d'emplois dans le domaine IT avec l'arrivée du Big Data. On a eu les mêmes effets d'annonces il y a quelques années avec le cloud computing qui devait être créateur de millions d'emplois dans le monde. Force est de constater que le bilan pour l'emploi est au mieux neutre, au pire négatif. Bien sûr il y aura de l'embauche dans le domaine du Big Data mais à l'inverse il y aura des suppressions de postes dans d'autres domaines. L'avis du cabinet Gartner est à mon avis très orienté !
20/05/2014, 14h29
lau-univ

Formation Big data !

Certes , mais le Big représente un enjeu certain pour les entreprises et de plus en plus d'entreprises souhaitent utiliser cette technique pour un meilleur traitement des données !

de plus en plus de cabinets de conseils proposent ces formations, notamment dans le domaine de la statistique !

par exemple l'entreprise Soladis propose une formation orientée Big data pour l'analyse de tableaux de données multiples et multidimensionnelles, afin de tirer le meilleur parti de vos données de sources différentes et de volume important, pour une meilleure compréhension et optimisation de vos process (recherche, production, vente, marketing…).

Cette formation se déroulera le 28 Mai à paris, plus d'informations concernant cette formation ici : http://www.soladis.fr/Methodes-d-int...imensionnelles
21/05/2014, 12h31
Mat.M

Citation:

Envoyé par lau-univ

D'ici à 2015, le phénomène Big Data devrait créer selon le cabinet de conseil Gartner 4,4 millions d'emplois à travers le monde. Si les professionnels du secteur ne peuvent confirmer cette information ou donner des chiffres précis pour le marché français, ils s'accordent tous sur un point : les embauches vont se multiplier au cours des prochaines années.

ah bon ?
:fleche: En 2012 des milliers d'emplois devaient être crées en France , raison invoquée : les départs massifs à la retraite de salariés qu'il fallait renouveler.
Ehhh je ne parlerais même pas des destuctions d'emplois et des faillites d'entreprises, du chômage élevé,une croissance économique du PIB quasi nulle,bref ce qui caractérise l'économie française.
Où sont donc ces milliers d'emplois si ce n'est ces millions d'emplois qu devaient être crées ?

:fleche: l'économie "verte" et de l'environnement devait créer des tas d'emplois....euuh même remarque que précédemment.

Citation:

Envoyé par lau-univ

Certes , mais le Big représente un enjeu certain pour les entreprises et de plus en plus d'entreprises souhaitent utiliser cette technique pour un meilleur traitement des données !

cela représente des dépenses accrues quand ce n'est pas des dépenses abyssales pour des systèmes de traitement de l'information qui n'ont pas encore prouvé leur pertinence et efficacité.
Déjà que pour des projets de systèmes informatiques "classiques" client-serveur, web ou tout ce que vous voudraient , il y a une majorité d'échecs de projets alors se convertir par la suite au Big Data ou au Cloud Computing ça tient presque de l'hérésie
21/05/2014, 13h34
phili_b

Citation:

Envoyé par Mat.M

se convertir par la suite au Big Data ou au Cloud Computing

ll ne faut perdre de vue que ce sont des effets d'annonces pour faire du buzz et du marketing. Ces 2 technologies ne sont pas du tout nouvelles techniquement, des bases de données volumineuses (BI, BdD) et des données centralisées accessibles de partout (S&R), c'est simplement qu'elles sont remis au goût du jour avec des méthodes plus modernes.

Par conséquent c'est du flanc ce que dit Gartner. Certes il pourrait y avoir autant d'emplois à ce sujet mais ce ne seront pas des créations d'emploi nettes, ou très peu, mais simplement des réaffectations de gens qui savent faire à peu près la même chose sous un autre nom.

Il n'y a donc pas de conversion en tant que telle, mais plutôt de légère mise à niveau le cas échéant. Pour simplifier si tu es dans le Systèmes et Réseaux tu pourras te diriger vers le Cloud Computing, si tu viens de la BI et/ ou des bases de données tu pourras te diriger vers le Big data.