Discussion :

[hakrimi]

Bonjour
Je dois trouver une méthode pour créer un data warehouse automatiquement à partir d'un fichier sql qui crée la base de données postgreSQL
je ne sais pas par où commencer et comment procéder
pouvez vous m'aider??
merci

[slimlus]

Bonjour,

Il te faut un outils de datawarehouse, telque cognos, mais lui est payant, y'en a plein d'autre, il suffira que tu lui donne en source ta requete sql, et lui se chargera de généré le cube, mais reste un probleme, la coherence!!! donc, faudra faire attention a ta requete!!

[ItFriend]

L'ETL DataStudio (www.data.fr) est une solution qui permet de construire dynamiquement des requêtes Sql de type DDL (Data Definition Language), donc les instructions de création des tables et qui permet aussi de créer dynamiquement les requêtes Sql de type DML (Data Manipulation Language).

Il te suffit de disposer en entrée des données identifiant les tables et les colonnes et de disposer des données à charger. Ces données peuvent être diponibles dans tout format tables, fichiers etc. Le traitement lit ces données sources et génère à la volée et exécute les scripts de création des objets de la base ainsi que les requêtes insert qui chargent les données.

La solution est gratuite dans un certain mode d'utilisation. Si tu n'es pas obligé d'utiliser Talend, tu peux essayer cette solution.

Bonne continuation
ItFriend

[hakrimi]

bjr
merci pour vos réponses
mais je suis obligée d'utiliser Talend

[DevNico]

Bonjour,

Pourrais-tu préciser ce que tu veux faire ?

Est-ce que ta question concerne juste la création des tables dont tu connais déjà la structure, ou est-ce que tu dois modéliser toi-même ton datawarehouse ?
Pourquoi parles-tu d'un fichier sql ? Est-ce que ce fichier existe déjà ?

Nicolas

[hakrimi]

Merci pour votre réponse
en fait j'ai une plateforme qui génère des application web avec la base de données sous postgresql, moi ce que je veux c'est faire un job Talend qui crée le data warehouse correspondant à cette base de données, et ce job doit marcher non pas pour une seule application mais pour toutes les applications
pour le fichier sql c'est le fichier qui crée la base de données dans postgres et je peux l'avoir ce fichier ainsi que le fichier orm.xml
je bloque
merci pour votre aide

[kisskool45]

Si j'ai bien compri ton fichier sql c les create table de ta base source ?
En pensant que pour chaque application web ces tables ne seront pas exactement les mêmes.
Si j'ai bien compris tu voudrais pouvoir créer un job qui charge les modèles sources dynamiquement a chaque exécution... si c'est bien ça... Talend sait pas faire.

[hakrimi]

oui c bien ça
alors que pourrais je utiliser pour faire ça??

[boubsy]

Heu,

Datstage EE qui gere les schemas dynamiques:-)
C'est bien sûr payant (très cher)

Il y a des rumeurs pour le support des schemas dynamiques dans Talend en 4.1, mais je pense que cela sera sur TIS (payant, mais moins que datastage).

Bref si tu n'as pas la possibilité de justifier l'aquisition d'un outil d'integration payant, il te reste le bon vieux custom code/scripting.


boubsy

[hakrimi]

bonjour
merci pour votre réponse
en fait je suis en stage donc je ne pense pas que je puisse avoir un outil payant, donc apparemment je vais devoir coder comme vous avez dit
merci

[hakrimi]

J'ai pensé à utiliser les fichiers csv au lieu des tables de la base de données, comme ça j'aurai pas besoin des schémas
qu'est ce que vous en pensez??

[DevNico]

Générer automatiquement un schéma de Datawarehouse à partir du schéma de la base de données opérationnelle me semble super compliqué.

A part si on ne fait que recopier le contenu de chaque table sans modification, le process de définir un datawarehouse nécessite une phase de conception qui est loin d'être évidente.

Nicolas

[hakrimi]

oui les modification ne seront pas énormes, si vous avez une idée dans le cas ou on ne va pas modifier les tables je serai reconnaissante
merci

[DevNico]

Alors à mon avis, il faut juste travailler sur le fichier sql pour le transformer en script de génération des tables du Datawarehouse.

Dans ce cas, Talend n'est pas utile.

Il faut retraiter le fichier sql afin d'y apporter les modifications que tu juges nécessaire (modification du nom du shéma, modification du nom des tables, ...).
Puis générer un fichier de chargement qui ferait du insert select entre les 2 schémas. (il faut que les 2 schéma soient sur la même base)

C'est d'un outil de modification en masse du fichier dont tu as besoin ici, et non d'un ETL.

Nicolas

[rdubois]

Talend gère effectivement les schémas dynamiques en 4.1. Par contre, cette fonctionnalité n'est disponible qu'à partir de TIS.

Des opérations sont faisables sur les champs fixés. On peut en effet considérer dans certains cas que les premiers champs de toutes les tables aient toujours le même schéma.

On spécifierait alors ce genre de schéma :

-id INTEGER
-champ1 STRING
-leReste DYNAMIC