Discussion :

[pkp85pkp]

Bonjour à tous,

Je me suis formé sur le BigData en autoformation et j'ai réussi a voir des certifs (MogoDB-java, Hadoop, Pig, Hive).
Mais malgré tous ça je n'arrive pas à comprendre comment utiliser le BigData dans la vie réelle dans un vrai projet, par exemple :
- Quand on parle sur le traitement des avis des clients sur internet : comment ça se fait????
- Dans le BigData on parle sur le traitement des données qui sont sous forme des signaux, vidéos, images, des tweets, des avis des clients, ... comment on peut faire ca ?
- ...
Je sais que y'en a une différence entre la veille technologique et la vraie pratique mais quand mm y'en a pas sur internet une explication claire sur l'utilisation de BigData ou un exemple d'un vrai projet déjà réalisé

Merci d'avance pour vos réponses.

[A. D.]

Bonjour,

Effectivement entre faire de la veille et réaliser concrètement un projet il y a une différence et c'est vrai que le sujet "big data" est très vaste et est traité de plein de points de vue différents (recueil de données, bases de données, mise en place informatique d'environnements "big data", traitements et calculs de données, analyses statistiques, ...). Comme en plus c'est un sujet "à la mode" et un peu le "saint graal" ces temps-ci il semblerait, on ne trouve pas forcément aisément un exemple de mise en place d'un projet "big data" de A à Z.
Egalement, je pense qu'il y a autant de "types" de projet "big data" qu'il y a de "types" de données potentiellement possibles à recueuillir

Après sinon, pour des cas d'applications "concrètes" du big data, il y a par exemple :

• Classification des mails en "spam".
• Suggestions de titres/films sur des applications type "Spotify", "Netflix", ...
• Détection de fraude dans le système bancaire.

Pour ce qui est du traitement d'avis clients sur internet sinon, une fois le recueil des données fait, il y a plusieurs axes d'étude possibles, notamment analyse de la note (selon différents critères par exemple, en fonction des données dispo) ou analyse textuelle des commentaires publiés.
Pareil pour l'analyse de tweet par exemple, on peut analyser selon une thématiques particulière (en se basant sur les hastags), faire de "l'analyse des sentiments" pour classifier les tweets en négatifs/positifs par exemple, etc.

En espérant que ces quelques éléments vous donne des pistes supplémentaires de réflexions...
Il est vrai que le "big data" est un sujet très vaste qui englobe beaucoup de choses, donc pour faciliter vos recherches vous devriez peut-être vous centrer sur un certain type de données en particulier ou bien une problématique particulière à laquelle vous souhaiteriez répondre.

Bonne continuation en tout cas, et au plaisir d'échanger de nouveau avec vous à ce sujet


Cordialement,


A.D.

[DotNetMatt]

Je voudrais nuancer les info données par A. D. En effet, ce sont des exemples de projets utilisant du big data, mais au final faire une analyse de sentiments ou un système de suggestions ca ne relève pas que du big data.

La partie la plus importante là-dedans c'est le Machine Learning : des algorithmes sont entrainés pour reconnaitre des sentiments ou des comportements d'utilisateurs.

Pour pouvoir entrainer ces algorithmes, il faut d'abord faire du Big Data, qui consiste principalement à faire de l'analyse de données. Et on entend ici données au sens très large (fichiers plats, XML, bases de données, documents, signaux...).

En gros le Big Data permet juste d'analyser des données que les moyens "classiques" d'analyse de données ne sont pas en mesure de traiter dans un temps acceptable et sans utiliser trop de ressources. Par exemple analyser des documents (données non structurées) avec un SGBDR relève de l'absurde, car il faudra des capacités de calcul démesurées, des ingénieurs, beaucoup de temps, et SQL n'est pas adapté pour ce genre de choses.

En revanche avec un système type Hadoop, on peut plus facilement analyser ce genre de données grâce à tous les outils fournis. Au final, en sortie, on va obtenir un jeu de données fusionné ou une pré-analyse d'un jeu de données par exemple.

Derrière, on pourra consommer cela avec un autre système (machine learning, BI (analytics), etc.).

Un exemple concret : pour dégager des statistiques sur le comportement des utilisateurs sur un site Web, on peut prendre comme source de données les logs HTTP + la base de données des utilisateurs du site + la base de données des ventes réalisées. Cela nous permettra de savoir précisément qui est passé par quelle page, quand, combien de fois, et combien de ventes ont pu être déclenchées suite à certains comportements. A l'aide de l'identifiant de l'utilisateur (qui est la clé commune qui va nous permettre de rassembler les données), on va pouvoir créer un job Hadoop pour nous relier tout ca et en sortie nous générer quelque chose qu'on pourra pousser dans un système d'analyse.

[pkp85pkp]

Merci pour vous deux DotNetMatt A.D.
Si quelqu'un à des informations complémentaires soyez le bienvenu je laisse le sujet ouvre comme ça tout le monde pourra profiter