BI Vs Big Data Vs Data mining Vs Analytics Vs Machine Learning

Bonjour,

Tout d'abord je tiens a vous remerciez pour le partage d'informations, Car c'est d'ici que j'ai commencé mon auto formation sur le Big Data, aussi les cours étaient vraiment enrichissants.

Pour mes questions je crois que tout est indiqué dans le titre...sachant que je suis en Master en BI je m'intéresse aussi au Big Data. J'ai lu pas mal d'articles donc j'ai un bagage concernant le Big Data mais j'ai toujours quelques confusion à propos 5 entités décisionnel :

BI
Big Data
Data mining
Analytics
Machine Learning

Donc, je veux bien savoir la différence (Pratique et théorique) entre ces 5 entités par exemple entre le BI et le Big Data on fait du BI pour faire une décision alors que pour moi le Big Data à le même objectif aussi on analyse ce masse de données pour finalement faire une décision ou plutôt résoudre un problèmes ..?? mes questions son dans ce sens, Donc je vous laisse la parole.

Merci pour tout.

Le Big Data c'est juste un terme que les hipsters du marketing on inventé... Je suis sûr que même eux n'y comprennent rien.

En gros le Big Data c'est du traitement de données. La BI, l'analytics et le machine learning sont des finalités. Le Big Data est juste un moyen d'y arriver, qu'on peut comparer à un ETL puissant.

Par exemple, prenons un système capable d'analyser des sentiments des tweets. On aura besoin du Big Data pour préparer de gros volumes de données, comme par exemple des tweets : il faudra les récupérer, vérifier l'encodage, supprimer les accents, etc. Une fois cette étape terminée, on pourra alors utiliser du Machine Learning pour entraîner l'algorithme.

Autre exemple, on a un site Web, une base de données clients, une base de données contenant les commandes... On veut analyser les comportements d'utilisateurs sur notre site pour déterminer si un utilisateur est susceptible d'acheter ou non. On va donc récupérer nos logs HTTP, on va recouper ca avec la base de données clients et avec celle qui contient les commandes. Ici on va utiliser du Big Data car les logs HTTP sont très volumineux, ce sont des fichiers textes et on veut les recouper avec des bases SQL. Au final on obtiendra un autre fichier (par exemple) qui contiendra tous ces recoupements.

On utilise du Big Data (comme Hadoop) car ces outils permettent de traiter les infos en parallèle, et ils permettent de gérer des types de données très différents, allant du non structuré (documents...) au structuré (SQL, XML...).

Une fois qu'on a préparé nos données, on consomme avec du BI/Analytics, du Data Mining ou du Machine Learning.

Merci beaucoup DotNetMatt pour votre réponse,

Quand on parle du BI (une vrai architecture BI) on doit respecter certains éléments : L'extraction des données depuis les sources vers un Datawarhouse avec un ETL (Talend...etc) puis faire des traitements sur le Datawarhouse (Data mart, Cubes...etc) puis visualiser les données avec un outil BI (BO, MS BI, Cognos..etc), Mais pour le Big Data j'ignore toujours son architecture est ce que Hadoop = Big Data ou il utilise juste la technologie Big Data.. sur quoi il se base Hadoop ?(Comme Cognos pour la technologie BI), Il y a plusieurs plateformes déjà prête pour le Big Data (ou Hadoop pour être exacte) (Cloudera, hortonworks...etc) c'est quoi leurs fonctionnement ? sur quoi ils se basent ? c'est quoi le noyau ?

Aussi est ce qu'on peut faire des analyse et prendre des décisions avec le Big Data sans faire appel au BI (Analyser les données et l'affichés) ? vous avez dit que le Big Data pour analyser une grande masse de données puis faire appel a un outil BI donc je veux savoir si c'est obligatoire de de respecter cette architecture ? il n'y a pas d'outils de visualisation pour le BIg Data ?

Aussi c'est quoi la diffirence entre Data Mining et Analytics dans quelle situation faut choisir Data mining et non pas l'Analytics, ce dernier est utilisé juste sur le Big Data et non pas le BI ?

Prenons une entreprise X par exemple qui doit analyser une masse de données pour finalement envoyer par SMS chaque jour une résultat Y aux directeurs ou bien aux décideurs pour faire une décision après les grands responsables doivent visualiser a leurs coté aussi et faire des analyses (BI), cette entreprise va migrer vers le Big Data (Normal car les données sont extrêmement volumineux), le budget pour implémenter le Big Data sera vraiment énorme, donc pour visualiser les données aussi on doit faire du BI, donc implémenter aussi une solution BI (un budget pour le BI aussi) ?

Sans parler du Macihne Learnig car je crois que le sais comment ça fonctionne mais si vous avez du temps pour un apprenti comme moi ça sera vraiment gentil de votre part :)

Merci beaucoup DotNetMatt pour vos précieuses informations.

Citation:

---

Envoyé par dhamza

Merci beaucoup DotNetMatt pour votre réponse,

Quand on parle du BI (une vrai architecture BI) on doit respecter certains éléments : L'extraction des données depuis les sources vers un Datawarhouse avec un ETL (Talend...etc) puis faire des traitements sur le Datawarhouse (Data mart, Cubes...etc) puis visualiser les données avec un outil BI (BO, MS BI, Cognos..etc),

---

Dans l'industrie il est vrai que le terme BI a tendance à englober tout ca mais si on veut rester correct : la BI en elle-même c'est juste l'outil qui te permet d'analyser les données et d'avoir le rendu tableau de bord ou autres rapports. L'ETL c'est quelque chose à part, et le Datawarehouse aussi. Il ne faut pas tout mélanger...

Citation:

---

Envoyé par dhamza

Mais pour le Big Data j'ignore toujours son architecture est ce que Hadoop = Big Data ou il utilise juste la technologie Big Data.. sur quoi il se base Hadoop ?(Comme Cognos pour la technologie BI), Il y a plusieurs plateformes déjà prête pour le Big Data (ou Hadoop pour être exacte) (Cloudera, hortonworks...etc) c'est quoi leurs fonctionnement ? sur quoi ils se basent ? c'est quoi le noyau ?

---

Encore une fois "Big Data" ca ne veut rien dire, c'est juste un concept marketing dans lequel on fourre tout ce qu'il est possible de fourrer pour masturber le cerveau des clients et leur mettre des étoiles dans les yeux. Donc je ne vais pas répéter ce que j'ai déjá dit plus haut, à toi de relire. Ensuite Haddop et consors ce sont bien des outils de "Big Data". On peut dire que ce sont des Frameworks composés d'un multitude d'outils qui permettent de gérer les données. Les outils qu'on trouve vont de la gestion de clusters (pour pouvoir exécuter les traitements en parallèle), au traitement de certains types de fichiers en pseudo-SQL.

Citation:

---

Envoyé par dhamza

Aussi est ce qu'on peut faire des analyse et prendre des décisions avec le Big Data sans faire appel au BI (Analyser les données et l'affichés) ? vous avez dit que le Big Data pour analyser une grande masse de données puis faire appel a un outil BI donc je veux savoir si c'est obligatoire de de respecter cette architecture ? il n'y a pas d'outils de visualisation pour le BIg Data ?

---

Il y en a sûrement, vu qu'aujourd'hui le Big Data est principalement assimilé à ce genre de scénario, mais je n'ai jamais eu à traiter ce type de projet donc je n'ai pas de noms à te donner...

Citation:

---

Envoyé par dhamza

Aussi c'est quoi la diffirence entre Data Mining et Analytics dans quelle situation faut choisir Data mining et non pas l'Analytics, ce dernier est utilisé juste sur le Big Data et non pas le BI ?

---

Ca, ce sont des scénarios propres à la BI ;) Pour faire très simple, le Data Mining ce sont des techniques principalement utilisées en Marketing et qui permettent de classer, estimer, prévoir, etc. En gros ca permet d'extraire du sens de données complexes. L'Analytics c'est juste le fait de générer des rapports, des tableaux de bord, etc. pour piloter une activité.

Citation:

---

Envoyé par dhamza

Prenons une entreprise X par exemple qui doit analyser une masse de données pour finalement envoyer par SMS chaque jour une résultat Y aux directeurs ou bien aux décideurs pour faire une décision après les grands responsables doivent visualiser a leurs coté aussi et faire des analyses (BI), cette entreprise va migrer vers le Big Data (Normal car les données sont extrêmement volumineux), le budget pour implémenter le Big Data sera vraiment énorme, donc pour visualiser les données aussi on doit faire du BI, donc implémenter aussi une solution BI (un budget pour le BI aussi) ?

---

C'est un bon exemple de cas où le Big Data n'a pas sa place. Le Big Data, ce n'est pas seulement pour traiter de gros volumes de données. Sur un projet très récent, on devait faire de l'analyse de documents (donc données non structurées). Il aurait été abhérent et irréaliste d'utiliser une base de données SQL pour faire ca, et le faire en C# par exemple avec un programme classique multithreadé même sur une grosse bécane, ca aurait pris beaucoup trop de temps. Donc on a choisi Hadoop afin de pouvoir bénéficier des traitements en parallèles sur le cluster. On a paramétré un job qui s'occupait d'extraire le texte des documents, vérifier l'encodage, supprimer les accents, etc puis on utilisait une librairie de Machine Learning pour extraire certaines informations. Ensuite ces infos étaient stockées dans une base de données. Cette base de données était ensuite utilisee par un ETL pour populer un data warehouse. Et ce data warehouse était utilisé pour dégager des statistiques.

Dans ton cas, s'il s'agit juste de récupérer des infos de grosses bases SQL, le traditionnel ETL reste une très bonne solution. Après, si on parle de bases réellement énormes, avec des jointures à faire du plein de bases externes elles aussi énormes, et qu'au final le traitement nécessite plusieurs semaines, le Big Data peut devenir intéressant.

Citation:

---

Envoyé par dhamza

Sans parler du Macihne Learnig car je crois que le sais comment ça fonctionne mais si vous avez du temps pour un apprenti comme moi ça sera vraiment gentil de votre part :)

---

Le Machine Learning, on va faire du très grossier (pardon pour les puristes) ca consiste principalement à entraîner un algorithme à faire des choses, puis à pouvoir établir des prédictions basées sur ces connaissances. C'est utilisé dans la vie de tous les jours pour : les voitures automatiques, les prévisions des résultats de match de football sur les gros évènements, les concurs d'échecs ou de jeu de go (hier il y a d'ailleurs eu un champion du monde battu par un ordinateur), aider les médecins à faire des diagnostics, classer des données, extraire des sentiments d'un texte, etc.

Pour mettre ca sur pied, ca se déroule en 2 phases principales :
- On crée un jeu de données pour l'entrainement. Pour une classification, on va par exemple dire cette ligne fait partie de la catégorie A, celle-ci de la B, etc.
- On crée un second jeu de données pour vérifier que l'entrainement est bon, donc on va comparer la prédiction faite par l'algo (ex. cette ligne appartient a la catégorie A à 20%, et à la B à 80%). Ca permet de détecter les vraix/faux positifs/négatifs.
- Enfin on soumet des données non labellisées pour voir la pertinence des prédictions.

Voilà bon c'est très simpliste, c'est juste pour te donner une idée. Il y a beaucoup plus à dire dessus...

Bonjour DotNetMatt,

Encore une fois je vous remercie pour le temps que vous avez accorder pour répondre à mes questions, Aussi pour ces fiable informations qui sont pour moi une mine d'or.

Oui, Tout a fait d'accord il ne faut pas mélanger le Data Warehousing et le BI ce sont deux concepts différents, c'était juste pour englober le cycle décisionnel dans d'un seul et unique terme.

Sinon, j'ai lu sur quelques articles BI/Big Data que le BI sert à répondre à une question (j'ai bien compris cela. ex: comment augmenté le chiffre d'affaire pour l'année prochaine..etc) et le Big Data sert à neutraliser ou bien montrer les questions que vous devez poser en analysant une grande masse de données (pour que le BI puisse répondre à ces questions), Donc je veux savoir si cette hypothèse tienne le coup et comment ça fonctionne coté Big Data (Je suis une entreprise qui fait chaque année un chiffre d'affaire plus que l'année dernière et tout est en ordre comment le Big Data va m'aider pour pouvoir extraire les questions que je dois poser? quelle genre de question?).

Aussi, c'est quoi les critères qui nous pousse de choisir le BI et non pas le Big Data et vice versa, Je sais que c'est selon le besoin mais parfois le besoin n'est pas assez claire donc je suis sur qu'il y a des critères et/ou bien des étapes (phase étude) à respecter. comme par exemple une vision pour le future ou la nature des données a traités et surtout depuis quand on peut parler du Big Data (sur des millions des teraoctet...Sinon sur quoi justement ?) car Pour moi le BI n'est pas assez limité on peut traiter des milliers de données et avec des sources différent juste avec le Data Warehousing et Data Mining (Je ne parle pas pour les projets de grand échelle comme Open Data ou les données de gouvernement...ect car parfois il y a des entreprises qui veulent passer au Big Data alors que POUR MOI le BI suffit largement), Donc comme conclusion je veux savoir si une entreprise m'appel pour évaluer leurs besoins et de leurs proposer entre le BI et Big Data comment je vais me procéder.

Vous avez dit que l'Analytics et pour faire la suivi d'une activité, Ex : une entreprise qui produit chaque jour un produit X et qui fait une livraison hebdomadaire de ce produit, Donc si je veux analyser l'activité de la livraison hebdomadaire je peut faire de l'analytics pour ça ? sinon un exemple plus concret avec des outils ?

Retournons au Data Mining, Vous avez dit que ce dernier sert a extraire du sens depuis des données complexe (Analyse, Traitement...etc), en voyant de plus prêt on peut attribuer cette définition au Big Data aussi (Normal...!!), Donc puisque le Data Mining peut faire tout ça...(??) pour quoi je vais implémenter du Big Data ?? (je sais que le Big Data à l'avantage de stockage et le parallélisation de calcul...etc, d'ailleurs que crois que c'est la seul différence entre les deux..)

Au passage je cherche toujours comment on va gérer la visualisation des rapports, Analyse..etc sur le Big Data sans faire appel au BI comme Finalité ou restitution.


Finalement, Je vous remercie vraiment pour le temps et l’intérêt que vous accorde pour un apprenti soif d'apprentissage :) Aussi pour les apprentis de la communauté Developpez, Merci encore une fois.

Desole pour le delai de reponse, entre-temps j'ai demenage aux US :mrgreen:

Citation:

---

Envoyé par dhamza

Sinon, j'ai lu sur quelques articles BI/Big Data que le BI sert à répondre à une question (j'ai bien compris cela. ex: comment augmenté le chiffre d'affaire pour l'année prochaine..etc) et le Big Data sert à neutraliser ou bien montrer les questions que vous devez poser en analysant une grande masse de données (pour que le BI puisse répondre à ces questions), Donc je veux savoir si cette hypothèse tienne le coup et comment ça fonctionne coté Big Data (Je suis une entreprise qui fait chaque année un chiffre d'affaire plus que l'année dernière et tout est en ordre comment le Big Data va m'aider pour pouvoir extraire les questions que je dois poser? quelle genre de question?).

---

Oui et non, ca permet de vulgariser le Big Data pour quelqu'un qui n'y connait rien. Derriere c'est comme tout outil de reporting, on a des questions auxquelles on veut repondre. C'est la meme chose quand on fait un dashboard par exemple, on veut permettre a un decideur de prendre des decisions rapidement et donc on veut repondre a ses principales questions rapidement.

Comme la plupart du temps le system de Big Data est utilise pour fournir de l'analytics, il est utilise pour cela. Par contre j'ai eu a bosser sur un projet ou le Big Data servait a analyser des documents et non a fournir de l'analytics, donc dans ce cas, ca ne servait pas specialement a repondre a une question.

Il faut voir la plateforme big data comme un simple framework qui permet de preparer de gros volumes de donnees plus rapidement qu'avec des outils classiques.

Citation:

---

Envoyé par dhamza

Aussi, c'est quoi les critères qui nous pousse de choisir le BI et non pas le Big Data et vice versa, Je sais que c'est selon le besoin mais parfois le besoin n'est pas assez claire donc je suis sur qu'il y a des critères et/ou bien des étapes (phase étude) à respecter. comme par exemple une vision pour le future ou la nature des données a traités et surtout depuis quand on peut parler du Big Data (sur des millions des teraoctet...Sinon sur quoi justement ?) car Pour moi le BI n'est pas assez limité on peut traiter des milliers de données et avec des sources différent juste avec le Data Warehousing et Data Mining (Je ne parle pas pour les projets de grand échelle comme Open Data ou les données de gouvernement...ect car parfois il y a des entreprises qui veulent passer au Big Data alors que POUR MOI le BI suffit largement), Donc comme conclusion je veux savoir si une entreprise m'appel pour évaluer leurs besoins et de leurs proposer entre le BI et Big Data comment je vais me procéder.

---

Le principal critere c'est la rapidite d'execution. Quand on analyse quelques centaines de Go de donnees relativement structures, une solution de BI suffit. Et cela peut suffir meme s'il faut plusieurs heures pour construire les donnees. Par contre quand tu as des Peta octets (Po) a analyser, et que ces donnees viennent de differentes sources, comme des fichiers plats, des logs, des bases de donnees, etc, il peut etre preferable d'utiliser le big data (pas toujours), si par exemple il y a un besoin particulier de performance.

Il y a aussi des cas ou on veut integrer des donnees non structurees dans le reporting, et dans ce cas on va par exemple vouloir analyser des documents. Dans la plupart des cas, le traitement sera assez lourd donc il peut etre preferable d'utiliser une solution de big data, peu importe que le volume total de donnees a gerer soit gros ou non.

Tout est une question de scenario.

Citation:

---

Envoyé par dhamza

Vous avez dit que l'Analytics et pour faire la suivi d'une activité, Ex : une entreprise qui produit chaque jour un produit X et qui fait une livraison hebdomadaire de ce produit, Donc si je veux analyser l'activité de la livraison hebdomadaire je peut faire de l'analytics pour ça ? sinon un exemple plus concret avec des outils ?

---

Oui tu peux utiliser une solution de BI classique (ex. un ETL avec SSIS, des cubes OLAP avec SSAS et du reporting avec SSRS ou Excel), ou avoir du big data en amont si tes donnees s'y pretent.

Citation:

---

Envoyé par dhamza

Retournons au Data Mining, Vous avez dit que ce dernier sert a extraire du sens depuis des données complexe (Analyse, Traitement...etc), en voyant de plus prêt on peut attribuer cette définition au Big Data aussi (Normal...!!), Donc puisque le Data Mining peut faire tout ça...(??) pour quoi je vais implémenter du Big Data ?? (je sais que le Big Data à l'avantage de stockage et le parallélisation de calcul...etc, d'ailleurs que crois que c'est la seul différence entre les deux..)

---

Je pense que tu melanges, le big data sert juste a preparer les donnees en amont. Ensuite on envoie les donnes dans une solution de data mining qui va en degager du sens.

Citation:

---

Envoyé par dhamza

Au passage je cherche toujours comment on va gérer la visualisation des rapports, Analyse..etc sur le Big Data sans faire appel au BI comme Finalité ou restitution.

---

Comme dit plusieurs fois ici, le big data est juste une plateforme de traitement des donnees, ca ne gere pas l'affichage. En gros tu mets tes donnees en entrée, tu les traits, et tu les met a disposition quelque part en destination. C'est un peu comme un ETL surpuissant. Derriere, il te faut une solution de BI si tu fais de l'analytics.

Merci DotNetMatt pour vos réponses ^_^

Je reviens vers vous pour d'autres questions plus tard lol prépare toi xD

Discussion très intéressante et enrichissante. Je ne suis pas expert en Big Data, cependant, je crois qu'il y a un manque dans votre échange. Le système des 3V qui semblent être la racine synthétique d'un projet big data. Vous trouverez certains qui parlent de 4, 5 voir 6V mais, des experts BIG DATA m'ont assuré qu'il ne s'agissait que de furniture (même si il y avais de l'intérêt)

Donc les 3V sont :
-Vélocité (Le système doit être très rapide, voir en temps réel)
-Volume (Traitement de très grand volume de données, on parle aussi de scalabilité qui représente la capacité à traité de petites comme de gigantesques sources)
-Variété (La variété d'origine et de type de données donnera plus de poids aux indicateurs qui en seront extrait)

Les autres V si je ne me trompe pas sont :
-Valeur
-Véracité
-Variabilité
Ces derniers m'avaient semblé cohérent et complémentaire mais des personnes mieux placées que moi n'ont pas le même point de vue.