Discussion :

[nollalolla]

Bonjour à tous,
Je suis débutante avec QlikView et je viens de commencer la phase etl de mon projet !
J'ai des tables sous oracle dont je veux faire l'extraction , l'ensemble de mes transformation nécessaire et finalement le chargement!
Je compte travailler avec QlikView mon reporting pourtant je doute encore pr l'etl car j'hésite entre Talend et QlikView
J'ai déja travaillé avec Talend et tout est bon mais je veux savoir est_ce que l'etl de qlikview est bon?
j'ai pas trouvé comment ce fait la procédure via ce logiciel ...Je me trouve un peu perdu dedans et je n'ai pas trouver d'ou commencer
Si vous avez des suggestions n'hésiter surtout pas à me guider un tout petit peu
Merci .

[stylor]

Qlikview n'est pas réellement destiné à faire de l'ETL. Je pense que ton choix doit se porter sur Talend.

[nollalolla]

d'accord merci pour votre réponse .
J'ai déja commencer à utiliser talend ! mais je me pose une question !
après que je termine ma phase de chargement dans la nouvelle base je vais réaliser mon reporting . Est_ce que je dois établir une connexion entre talend et qlikView ? la question en tant que tel est un peu floue dans ma tête.

[PhunkyBob]

Le rôle d'un ETL (comme son nom l'indique) c'est de charger des données quelque part.
Vous pouvez enregistrer votre résultat dans n'importe quel format (SQL, CSV, ...), et QlikView ira lire les données traitées directement dedans.

[nollalolla]

D'accord, mais dans le cas ou j'aurai de nouveaux enregistrements !
Avec mon ETL TALEND il ya un moyen de réaliser la mise à jour de ma base cible !
Dans ce cas comment faire avec un fichier.csv ? je dois à chaque fois importer le fichier concerné pour faire le reporting?
Merci.

[PhunkyBob]

Si votre CSV n'est pas très gros, vous pouvez vous contenter de le recharger entièrement.

S'il est vraiment très gros, vous pouvez effectuer un rechargement partiel pour ne prendre que les données "nouvelles".

[herbien]

On peut tout à fait effectuer la partie ETL avec QlikView, même s'il est vrai que Talend est un ETL plus complet que QlikView. Tout dépend du contexte et du volume.

Faire la partie ETL directement avec QlikView est plus simple pour l'exploitation, c'est à dire charger directement les données depuis la source dans QlikView, sans intermédiaire. Personnellement, pour les cas simples, sans datawarehouse & co, je le ferais comme cela.

Faire : Oracle > Talend => CSV => QlikView => .qwf .. c'est se compliquer pour rien! Est-ce vraiment nécessaire ?

Maintenant, si vous êtes plus à l'aise avec Talend qu'avec les scripts QlikView, ce peut être un argument suffisant

[nollalolla]

j'ai déjà commencer avec talend car je ne connais pas bien le principe de qlikview!
si c'est possible est-ce que vous pouvez me répondre à quelque questions ! car je me suis arrivé à un stade et je me trouve coincé !

j'ai une base source oracle, j'ai construit une base cible qui représente mon datawarehouse!

le principe de l'etl est de faire extraction ,transformation et alimentation dans ma base cible!

est_ce que à ce niveau je fait le chargement de ma table de fait???? même question pour la dimension temps!

j'entend parler d'alimentation de l'outil Molap?

je me suis bloqué et je me trouve perdu de la route ! les étapes à suivre de mon projet sont un peu flou puisque je suis débutante dans le domaine .

j'espère trouvez chez vous une réponse qui me sera utile pour pouvoir avancer!
Merci d'avance

[pkp85pkp]

j'ai déjà commencer avec talend car je ne connais pas bien le principe de qlikview!
si c'est possible est-ce que vous pouvez me répondre à quelque questions ! car je me suis arrivé à un stade et je me trouve coincé !

j'ai une base source oracle, j'ai construit une base cible qui représente mon datawarehouse!

le principe de l'etl est de faire extraction ,transformation et alimentation dans ma base cible!

est_ce que à ce niveau je fait le chargement de ma table de fait???? même question pour la dimension temps!

j'entend parler d'alimentation de l'outil Molap?

je me suis bloqué et je me trouve perdu de la route ! les étapes à suivre de mon projet sont un peu flou puisque je suis débutante dans le domaine .

j'espère trouvez chez vous une réponse qui me sera utile pour pouvoir avancer!
Merci d'avance

Bonjour,
Si tu cherches toujours la réponse
Voila quelques réponses peut être ça t'aideras :
- Une fois que tu as modélisé ta datawarehouse (tables des faits et dimensions) et tu as définis tes indicateurs à calculer
- Tu passes à la partie intégration et là il te faut un ETL (Talend, Informatica, ...) pour faire intégrer tes données des divers sources (Oracle, CSV, Txt,...) avec l'ETL aussi tu fais tes transformations nécessaire le mapping entre les cibles et sources le calcule des indicateurs,...
- Une fois que tu as transformé tes données tu le charges dans ta DWH voila ou il viens ETL (Extract-Transform-Load).
la phase d’après c'est la restitution (il s'appelle aussi reporting ) à ce niveau là tu as besoin d'un outil de restitution (QlikView,BO,...) et comme dans la phase d’intégration tu as centralises tes données dans un seul endroit qui est le DWH tu te connectes direct à ton DWH qui peut etre une base oracle, Sqlserveur,... avec QlikView via des connecteurs spécifique à chaque base, une fois tu es connecté a ton DWH tu construit tes rapports avec les indicateurs que tu les souhaites et sur les dimensions que tu les veux.
- Dans la suite tu as la phase une phase d'analyse tu utlises des outils d'analyse et datamining (SAS,R,..., je pense aussi le cube olap)

Malgré que c'est un très vieux projet peut être ça aidera quelqu'un d'autre qui tomber sur le sujet puisque j'avais ce problème quand j'ai commencé le BI

Cdlt

[samgratt]

J'utilise Qv en partie comme un ETL et c'est très efficace.

[pkp85pkp]

J'utilise Qv en partie comme un ETL et c'est très efficace.

Je suis d’accord que on peut faire quelques transformations avec Qlikview mais il reste toujours un outil de reporting par exemple on peut pas charger des données dans SAP, SQL serveur,...

[samgratt]

Bon, j'avais écris une réponse mais je crois que j'ai du zapper de la poster.

Pourquoi charger des données dans SAP ou SQL Server ???
Il est tout à fait possible de le faire depuis QlikView. C'est un peu compliqué je suppose par rapport à Talend qui est un outil dédié à l'ETL.
J'avoue que son interface graphique est intuitive et bien pensée, mais ...

A quoi sert d'acheter un logiciel très cher, souvent accompagné d'une formation très chère, pour au final arriver au même résultat que sans ?

Autrefois je constituais moi même mon ETL en PL/SQL, mes datamart en PL/SQL pour utiliser PEntaho comme outil de reporting.
C'était compliqué, mais très efficace.

Bon, je dois pas bien connaitre Talend, mais en ce qui me concerne, j'utilse QlikView comme ETL, je constitue mes datamart avec et mes applications finales.
Ça oblige à mettre les mains dans le moteur, mais QlikView est assez complet pour constituer un ETL tout à fait correct, et ses performances dépendent de la machine utilisée (machine virtuelle avec 16go de Ram).

Depuis QlikView tu peux charger n'impote quel format (csv, txt, excel) et tu peux attaquer n'importe quel SGBD (SqlServer, oracle, Mysql ...)

Bon, je suis pas commercial QlikView, mais j'ai découvert ce logiciel l'année dernière et je me demande comment j'ai pu faire avant !



Au final, le plus important c'est de définir le périmètre de ton projet, la volumétrie (combien de ligne à traiter par jour par ex) et ton degré d'implication.

Personnellement je suis informaticien, donc coder ne me fait pas peur.

Je peux tout à fait comprendre qu'on n'en ait pas envie et qu'on ait d'autres activités plus importantes que de développer.

Aujourd'hui c'est juste une question d'économie (est il plus rentable d'acheter talend et de le faire faire par tout un chacun, ou d'embaucher un dev qui va nous pondre un ETL aux petits oignons ?).

Et là je suis pas assez calé pour te répondre.

[pkp85pkp]

Bon, j'avais écris une réponse mais je crois que j'ai du zapper de la poster.

Pourquoi charger des données dans SAP ou SQL Server ???
Il est tout à fait possible de le faire depuis QlikView. C'est un peu compliqué je suppose par rapport à Talend qui est un outil dédié à l'ETL.
J'avoue que son interface graphique est intuitive et bien pensée, mais ...

A quoi sert d'acheter un logiciel très cher, souvent accompagné d'une formation très chère, pour au final arriver au même résultat que sans ?

Autrefois je constituais moi même mon ETL en PL/SQL, mes datamart en PL/SQL pour utiliser PEntaho comme outil de reporting.
C'était compliqué, mais très efficace.

Bon, je dois pas bien connaitre Talend, mais en ce qui me concerne, j'utilse QlikView comme ETL, je constitue mes datamart avec et mes applications finales.
Ça oblige à mettre les mains dans le moteur, mais QlikView est assez complet pour constituer un ETL tout à fait correct, et ses performances dépendent de la machine utilisée (machine virtuelle avec 16go de Ram).

Depuis QlikView tu peux charger n'impote quel format (csv, txt, excel) et tu peux attaquer n'importe quel SGBD (SqlServer, oracle, Mysql ...)

Bon, je suis pas commercial QlikView, mais j'ai découvert ce logiciel l'année dernière et je me demande comment j'ai pu faire avant !



Au final, le plus important c'est de définir le périmètre de ton projet, la volumétrie (combien de ligne à traiter par jour par ex) et ton degré d'implication.

Personnellement je suis informaticien, donc coder ne me fait pas peur.

Je peux tout à fait comprendre qu'on n'en ait pas envie et qu'on ait d'autres activités plus importantes que de développer.

Aujourd'hui c'est juste une question d'économie (est il plus rentable d'acheter talend et de le faire faire par tout un chacun, ou d'embaucher un dev qui va nous pondre un ETL aux petits oignons ?).

Et là je suis pas assez calé pour te répondre.

Je suis pas commercial pour Talend mais j'ai travaillé sur cet outil ca fait 2.5/3 ans et pour Qlikview presque 1ans.
Je suis d'accord avec toi que on peut créer des processus stocks pour alimenter nos bases mais tu m'as pas explique comment charger des données dans SAP et Oracle, ... via Qlikview?????
Tu poses la question pour quoi on charge les données dans SAP ou Oracle ou SQL server je te réponds que c'est le besoin de la société et ce a 75% le cas.
Dérinere chose tu peux aller sur Wikipidia https://en.wikipedia.org/wiki/Qlik tu trouveras : Qlik is the provider of QlikView and Qlik Sense, business intelligence & visualization software.

[PhunkyBob]

par exemple on peut pas charger des données dans SAP, SQL serveur,...

Quand vous parlez de "charger", vous voulez dire "écrire dans la base" ?
Effectivement, Qlik a pour but de lire les données, pas les écrire.

[samgratt]

C'est pas le but initial, on est d'accord.

Après je connais pas le besoin du client, mais si, au final, si c'est juste obtenir des statistiques sous forme de rapport QV fait tout.
Du reste c'est comme ça que j'avais interprété ton message.

Ceci dit, oui, c'est tout à fait possible d'insérer des données dans SAP depuis QV.
Comment ?
Je vais te donner mon exemple il y a plusieurs méthodes ;
1 - En passant par du VBA, dans les modules de QV. C'est lent et puis ça bloque l'application QV pendant toute la durée de l'insertion.
2 - En générant un fichier CSV depuis QV qui sera pris en charge par la suite par un batch sql loader. Cette solution a l'avantage d'utiliser un prog extérieur qui allège la charge de l'appli QV.
3 - Je me demande même si dans le load on peut pas exécuter des requêtes ou des procédures stockées chargées d'insérer des données.

Comme vous le voyez, c'est pas "simple" et je comprends que Talend soit très apprécie pour sa simplicité d'utilisation.