Discussion :

[popo2016]

Bonjour tout le monde,

Je suis en M2 en alternance et j'ai pour mission le traitement de grandes masses de données en vba (macro) et avec d'autres solutions à venir.
Etant donné que je travaille dans le but de garantir et de vérifier la qualité des données et que tout ce qui est domaine décisionnel m’intéresse tout particulièrement, je suis à la recherche d'un sujet de mémoire intéressant et dans lequel je peux rajouter des idées novatrices .

est ce que vous auriez des propositions/idées ou indications sur le choix de ce sujet ?

Meeerci !

[pnoel-bi]

Bonjour,

L’apport des outils de la BI dans ce genre de projet.
Pour le chargement: apport des ETL par rapport à des chargements en VBA, surtout pour les évolutions et la maintenance.

Le stockage des données, avec gros volumes.

L’apport des outils BI d’exploration de données pour la restitution et le data mining.

Slts

[popo2016]

Bonjour,

L’apport des outils de la BI dans ce genre de projet.
Pour le chargement: apport des ETL par rapport à des chargements en VBA, surtout pour les évolutions et la maintenance.

Le stockage des données, avec gros volumes.

L’apport des outils BI d’exploration de données pour la restitution et le data mining.

Slts

merci pour ces idées, il est vrai que c'est une galère de gérer des centaines de milliers de données avec Excel avec le VBA qui tourne très lentement !!
d'après ce que je sais, les ETLs sont utiles pour les chargements des données, par contre je ne vois pas ce qui pourra remplacer les macros VBA ?

[pnoel-bi]

Bonjour,

Effectivement il est facile de faire des chargements avec du code (VBA, macros, autres), mais à la condition de connaitre ces langages.
Maintenant il faut penser à la fin du stage, qui va maintenir le chargement, y a-t-il une personne compétente pour faire évoluer un mapping de base, en cas de changement.
Je ne parle pas de la société dans laquelle tu es en ce moment, mais en général (si tu te tournes ensuite vers ce métier).
Avec un ETL une personne sans réelle compétence informatique est capable de faire cela, de plus il y a un système de surveillance du bon déroulement du process en cas de plante pouvoir faire une reprise rapidement.
L’ETL est un vrai outil pour la production de n traitements par jour, de plus très rapide car les connecteurs aux bases sont conçus pour cela..

Tu as déposé ton sujet, sur la partie du forum BI et regardes bien je ne vois pas VBA dans les outils que nous suivons.
Ma proposition sur ton sujet, était d’expliquer l’apport des outils du décisionnel par rapport à des développements avec des outils bureautique.

Slts

[popo2016]

Bonjour,

Effectivement il est facile de faire des chargements avec du code (VBA, macros, autres), mais à la condition de connaitre ces langages.
Maintenant il faut penser à la fin du stage, qui va maintenir le chargement, y a-t-il une personne compétente pour faire évoluer un mapping de base, en cas de changement.
Je ne parle pas de la société dans laquelle tu es en ce moment, mais en général (si tu te tournes ensuite vers ce métier).
Avec un ETL une personne sans réelle compétence informatique est capable de faire cela, de plus il y a un système de surveillance du bon déroulement du process en cas de plante pouvoir faire une reprise rapidement.
L’ETL est un vrai outil pour la production de n traitements par jour, de plus très rapide car les connecteurs aux bases sont conçus pour cela..

Tu as déposé ton sujet, sur la partie du forum BI et regardes bien je ne vois pas VBA dans les outils que nous suivons.
Ma proposition sur ton sujet, était d’expliquer l’apport des outils du décisionnel par rapport à des développements avec des outils bureautique.

Slts

Bonjour,


justement il y a chaque année besoin d'un stagiaire/ apprenti pour écrire les macros VBA, c'est un service non info donc il n' y a pas de connaissances des langages de prog. ce que vous me proposez me semble très intéressant, je vais sûrement partir sur ce sujet mais je vais devoir savoir la meilleure manière de le traiter.

En effet, j'avais testé avant un 2 ETL "talend" et "SQLServer" pour extraire les données d'excel, access et de les charger dans un entrepôt de données (Datawarehouse), apparement cet entropôt devrait être analysé selon une ou plusieurs dimensions (selon l'architecture en étoile du BI) et avec d'autres outils.

Jusqu'à présent c'est tout ce que j'ai pu voir, par contre, je voudrais savoir s'il y a moyen de créer des traitements automatisés (équivalent des macros en Excel) qui ne font pas uniquement le chargement des données mais des des traitements de type : décomposition des fichier selon certains critères, faire une recherche par ligne sur un site web et récupérer l'information obtenue dans le résultat du site web, envoie automatisé des mails, ...). Je ne crois pas que ce soit fait par des ETL car ce n'est pas son rôle ? y a t il moyen de l'interfacer avec d'autres outils? les outils d'analyse et de traitements d'information peuvent t ils faire des vérification de la qualité d'une donnée (selon un algo par exp)?

auriez vous un tutoriel qui explique ce que c'est que la différence entre BI, BIg Data et tous ce qui est data mining et traitement d'infos ?

Merci pour vos réponses

[pnoel-bi]

Je pense qu'il y a des posts sur ces sujets, sur le forum.

Slts