[ETL] Migration base/transformation des données

[tom_92]

Bonjour,

Pour des soucis de performances (site web à forte charge) et de mauvaise modélisation on envisage de migrer notre base de production actuelle Firebird 1.5 vers Mysql 4.x.

Le modèle a été réécrit à 90% pour la nouvelle base.

Voici donc ma question : de part vos expériences quel(s) logiciel(s) (genre ETL) me conseilleriez-vous pour effectuer la migration des données entre ces 2 bases sachant que les modèles physiques ne correspondent pas et qu'il sera par conséquent nécessaire d'effectuer certaines transformations des données.

Pré requis :
- Cette migration étant unique il serait préférable que la licence ne coute pas une fortune !
- Possibilité de faire du scripting et/ou sauvegarder les traitements afin de pouvoir basculer un jour précis après les tests.
- Simple et souple (mais c'est peut être trop demander... )

D'avance merci pour vos retours d'expérience et vos conseils!

Tom.

p.s. msg déjà posté dans le forum Mysql

[tom_92]

Personne n'a jamais été confronté à un problème similaire (sur Mysql ou autres bases) ??

Peut être que ma question n'était pas assez claire, je vais la redéfinir : pourriez vous me conseillez un ETL (autres que Datastage & Co) ?

Merci

[frederic_s]

salut


Je ne connais pas tout les prix des ETL mais la plupart on déjà un cout assez conséquent. L'un des moins cher, de mémoire, reste l'ETL de microsoft (perte de mémoire pour le nom).

Je ne connais pas Firebird, seulement mySQL quoique datant de 2002, et ne pourrais-tu pas mettre en place cette procédure:

1. extraction des éléments des tables Firebird en fichier plat
2. récupération par mySQL des fichiers plats dans les mêmes structures.
3. création de procédure pour effectuer tes transformation de données


Cela ne reste qu'un avis mais acheter un ETL pour cela reste hasardeux


A bientôt


Frédéric
___________
Vaut mieux un qui sait que deux qui cherchent...mais deux qui cherchent valent toujours mieux qu'un qui croit savoir...

[co2]

Envoyé par tom_92

Voici donc ma question : de part vos expériences quel(s) logiciel(s) (genre ETL) me conseilleriez-vous pour effectuer la migration des données entre ces 2 bases sachant que les modèles physiques ne correspondent pas et qu'il sera par conséquent nécessaire d'effectuer certaines transformations des données.

Hello Tom,

Je travaille chez l'éditeur de l'ETL Open Source Talend Open Studio qui est adapté pour faire ta migration de données.

Envoyé par tom_92

Pré requis :
- Cette migration étant unique il serait préférable que la licence ne coute pas une fortune !

La licence de T.O.S. est du GPL... donc c'est gratuit.

Envoyé par tom_92

- Possibilité de faire du scripting et/ou sauvegarder les traitements afin de pouvoir basculer un jour précis après les tests.

Dans T.O.S., tu disposes d'une gestion de contextes (DEV, VABF, PRE-PROD, PROD...) permettant de rejouer tes jobs plusieurs fois avec différents paramètres (IP du SGBD...)

Envoyé par tom_92

- Simple et souple (mais c'est peut être trop demander... )

Tu indiques que tu as changé complètement ton modèle à 90%. De ce fait, tu vas avoir de nombreux mappings à écrire (ou plutot à dessiner ). Dans T.O.S. tu as un composant qui s'appelle le tMap qui te permet de mapper tes sources et tes destinations via un outil graphique grace à des Drag&Drop.

De plus, T.O.S. te permettra de réccupérer simplement l'ensemble des structures de tes tables de base de données (via le MetadataManager)


Pour que tu es un overview du produit, tu peux regarder les tutoriaux flash à l'adresse http://www.talend.com/tos/tutorials/menu.php
Ensuite, il te reste à le télécharger la solution!

---
Cordialement,
Cédric Carbone
Directeur Technique Talend
Skype : cedriccarbone
Mail : ccarbone(a)talend.com

• Téléchargement de Talend Open Studio (ETL Open Source) http://www.talend.com/downloads-talend.htm
• Outils communautaires (Forum, Bugtracker, Wiki, business case sous forme de tutoriels animés...) http://www.talend.com/communities-talend/index.htm