Discussion :

[Francis Walter]

Bonjour,

Je vous présente un article sur la BI Agile : Comment la BI agile apporte une valeur ajoutée au business des ETI ? Réponse en 5 points*: état des lieux des enjeux, des pratiques et des tendances en business intelligence au sein des ETI -France, 2015.

En 2015, la majorité des entreprises placent l’exploitation et l’analyse des données parmi leurs principales problématiques de gestion de l’information. Au sein des Entreprises de Taille Intermédiaire (ETI1), 72*% des décideurs interrogés citent l’optimisation de la performance, de la prise de décision et des activités métier comme des objectifs métier clés en matière de gestion de l’information.
Le décisionnel n’est plus cantonné aux seules directions générales, voire aux directions financières. Désormais toutes les directions métier au sein des ETI s’intéressent au décisionnel pour suivre leurs activités et faciliter leur prise de décision. La démocratisation de la Business Intelligence (BI) est plus que jamais d’actualité, poussée par des métiers désireux de disposer rapidement de solutions leur permettant d’être autonomes dans la gestion et l’analyse de leurs données.

[nuke_y]

C'est dommage, l'article n'apporte aucune réponse à la question titre "Comment la BI agile apporte une valeur ajoutée au business des ETI ?". Je trouve aussi dommage que la BI agile ne soit définie nulle part. Le BI agile ce n'est pas forcément la même chose que rendre les métiers autonomes. On peut faire de la BI Agile avec un dispositif strictement IT et de la BI traditionnelle au sein des métiers. C'est avant tout une question de démarche.

De même pour la partie I-C qui n'apporte pas de réponse à mon sens: elle se contente de citer les résultats d'un sondage. La réalité sur le terrain montre au contraire que la dataviz est très loin d'être la panacée.

Je trouve la partie I-D est intéressante même si elle aussi n'apporte pas de réponse, principalement parce que le prédictif est encore un mythe. Beaucoup d'entreprises disent en avoir fait mais ce ne sont souvent que des POC et surtout les modèles ne sont jamais évalués avec des scores et le ROI n'est jamais évalué.

[wash_bash]

C'est dommage, l'article n'apporte aucune réponse à la question titre "Comment la BI agile apporte une valeur ajoutée au business des ETI ?". Je trouve aussi dommage que la BI agile ne soit définie nulle part. Le BI agile ce n'est pas forcément la même chose que rendre les métiers autonomes. On peut faire de la BI Agile avec un dispositif strictement IT et de la BI traditionnelle au sein des métiers. C'est avant tout une question de démarche.

De même pour la partie I-C qui n'apporte pas de réponse à mon sens: elle se contente de citer les résultats d'un sondage. La réalité sur le terrain montre au contraire que la dataviz est très loin d'être la panacée.

Je trouve la partie I-D est intéressante même si elle aussi n'apporte pas de réponse, principalement parce que le prédictif est encore un mythe. Beaucoup d'entreprises disent en avoir fait mais ce ne sont souvent que des POC et surtout les modèles ne sont jamais évalués avec des scores et le ROI n'est jamais évalué.

Bonjour, je plussoie votre remarque au niveau de la partie I-C mais j'aimerais bien que vous m'expliquiez :
1) en quoi évaluer les modèles en faisant du scoring permettrait d'affiner les prédictions?
2) comment vous quantifiez le ROI dans un cadre prédictif?
Ca m'intéresse car en ce qui me concerne, je n'ai pas eu l'occasion d'observer sur le terrain des métriques pertinentes pour le 2)...
Thierry

[nuke_y]

1) Je constate que les modèles prédictifs ne sont jamais scorés, on a trop peur d'exposer les scores qui montrent que les résultats ne sont pas ce qu'on avait prévu à cause de tel ou tel événement. Et oui, c'est pour ça que c'est difficile et dangereux voire infaisable de faire du prédictif. Si les modèles étaient systématiquement scorés, ça permettrait au moins de mettre en évidence les cas d'usage où ils sont applicables de ceux où ils ne le sont pas.

2) Il y a quand même quelques solutions pour évaluer un ROI:

• La justification business : c'est le business qui donne les critères d'évaluation du ROI. Normalement c'est un élément du business plan ou de l'analyse coût / bénéfice ou de l'analyse de risque. Il suffit donc de s'y reporter pour évaluer le ROI. Si finalement le système a bien prédit mais que le bénéfice constaté est moindre pour l'organisation, c'est de la responsabilité de celui qui a monté le business plan.
• L'économie : évaluer à posteriori les économies réalisées du fait de la bonne prédiction (et les pertes en cas de mauvaise) : ressources mobilisés, gaspillage, temps perdu, etc. Par exemple si j'ai prédit 1000 personnes et qu'ils n'étaient que 500, j'ai sûrement payé un dispositif sur-dimensionné. C'est un travail de contrôleur de gestion, plutôt factuel.
• La stratégie / les opportunités: évaluer à posteriori les opportunités engendrées par la prédiction. Exemple : j'ai investi sur le Big Data et moins d'1 an après on a rentré un gros projet qui a rapporté X M€ et a permis de faire une marge de Y% supérieure à nos marges habituelles.. C'est un travail de pipoteur, mais c'est beaucoup utilisé. Disons que si on a eu de bons résultats ça marche, sinon c'est inapplicable. C'est un peu l'équivalent de ne pas avoir de stratégie en fait.

[Invité]

Bonjour,

Je n'ai jamais eu de cas concret d'entreprise de modèles prédictifs, tels qu'ils m'ont été appris en école. Mais la discussion m'intéresse :
Lorsque vous parlez de scoring d'un modèle prédictif, j'imagine que vous parlez de l'évaluation de la validité d'un modèle.
Qu'en est-il des valeurs "p-value", valeurs critiques, etc ... ? Ce n'est pas à ca qu'elles servent ?

[nuke_y]

Si, elles servent à évaluer la validité d'un modèle par rapport aux données sur lesquelles il a été construit. C'est déjà un bon début.

Mais le vrai enjeu du prédictif c'est de prédire le futur... pas le passé ! Les critères statistiques cités ne peuvent évaluer le modèle que sur le passé, même en échantillonnant les données et en testant le modèle sur une partie des données qui n'ont pas servi à l'apprentissage, ça reste du passé. Or les entreprises qui se remettent en question et vérifient la validité de leur modèle et la pertinence de ses prédictions à posteriori sont trop rares. C'est-à-dire "j'avais prévu X ventes en 2014 pour 2015, je suis maintenant en 2016, combien est-ce que j'ai fait de vente en 2015 ?". Les banques et les assurances le font, c'est une question de survie, mais les autres...

Le problème réside aussi dans la mauvaise utilisation de prédictions. Exemple: depuis 20 ans que je fais un parcours, excepté de rares exceptions que j'estime négligeables, je ne mets jamais plus de 20mn. Bon je prends 10mn de risque (+50%). Je pars donc 30mn avant mon train. Sur la route, un accident a provoqué un bouchon, je mets 45mn à arriver, je rate mon train et par la même occasion un évément ultra-important qui va impacter toute ma vie:
- après analyse je m'aperçois que les rares exceptions étaient aussi liées à des événements rares mais qui ont provoqué un temps de parcours pouvant aller jusqu'à 1h: mauvaise prise en compte des outliers
- après analyse je m'aperçois que je fais ce parcours depuis 20 ans certes mais seulement 5/6 fois par an dans ces conditions. Donc je n'ai que 100 / 120 événements : mauvaise évaluation statistique de la fiabilité de mon modèle à cause d'un trop faible nombre d'événement
- à la réflexion je n'ai pas accordé assez d'importance au risque lié au fait de rater mon train

Bref je me suis planté en beauté: mauvaises données, mauvais modèle, j'ai mis en risque mon opérationnel avec du prédictif mal ficelé. Et surtout je ne vais pas me remettre en cause, ni moi ni mon modèle, ni la façon dont je l'utilise, je vais surtout râler contre les pouvoirs publics qui font des routes dangereuses, oui ma bonne dame.

La réalité des entreprises qui font du prédictif c'est malheureusement celle-là: un stagiaire qui tente un truc avec un outil open-source pour une demande d'un chef ambitieux qui veut donner l'impression que sa stratégie est basée sur des données et pas juste sur du pif, on ne conserve pas les prédictions, on ne score pas les prédictions a posteriori, on ne demande pas à de vrais statisticiens de faire le travail et on n'accepte pas les critiques sur la pertinence de la démarche.

Les entreprises qui font du prédictif sérieusement:
- n'en font pas n'importe quand, n'importe comment
- savent le prix que ça coûte
- évaluent le ROI en terme d'opérationnel et de stratégie
- l'appliquent à des domaines pertinents

[Invité]

Le modèle ne peut être entrainé que sur les données passées, de toute façon, non ? A part l’entraîner régulièrement en y ajoutant au fur et à mesure les données récentes, de quel autre moyen dispose-t-on ? Ou bien c'est justement ce qui n'est pas assez fait selon vous ?

[nuke_y]

C'est ce qui n'est pas assez fait selon moi. Je vous donne un exemple : sur les mêmes données peuvent être construits 10 modèles avec des approches différentes. La technique habituelle consiste à évaluer le meilleur modèle en fonction de:
- son approche : non factuel, souvent basé sur l'expérience du statisticien
- ses hypothèses : non factuel, souvent basé sur l'expérience du business
- des critères statistiques : factuels, enfin normalement

Dans l'idéal il faudrait garder les 10 et évaluer à posteriori lequel est le meilleur, le plus robuste, le plus agile, etc. Evidemment on a jamais les ressources pour le faire. Sachant qu'en plus chaque modèle peut être le meilleur selon un critère donné:
- meilleure prédiction globale (par exemple ventes sur l'année sur toute la France)
- meilleure prédiction détaillée (par exemple ventes chaque mois sur chaque agence)
- moins de faux positifs
- etc.

Et comme ce qui importe c'est ce qui va se passer dans le futur on ne peut pas dire à priori quel modèle sera le meilleur. Donc on travaille avec des hypothèses, des suppositions, mais ce niveau d'incertitude est rarement partagé, compris, accepté par le business.