Discussion :

[ShaiLeTroll]

Bonjour,

1ere Question sur Talend !

Avant de me lancer sur ce produit, déjà partiellement utilisé par mes collègues, je voudrais savoir si ma problématique est "solutionnable" par Talend

Contexte :
- Une Application Delphi (une Exe Windows)
- 60 Sites (département) avec plus ou moins la dernière version (2.4.030 à 2.4.057, sachant que le dev c'est 2.4.060)
- 60 Bases MySQL (une par Site)
- 10 Sites Spéciaux (qui synchronise et fusionne des données des Sites Normaux qui leur sont rattachés)

L'objectif serait de faire une réplication de ces 60 Bases vers un serveur Web, seules quelques tables seraient concernées (les plus grosses évidemment et les plus critiques )
Pour le moment, il n'y a pas encore de volonté de fusion des bases à un niveau région voire nationale (même si pour certaines problématiques et certains modules récemment mis en place, cela simplifierait l)

La volumétrie,
Sites Normaux
5 tables à synchroniser, de 100 000 à 2 000 000 d'enreg par Table
Sites Spéciaux
de 2 000 000 à 10 000 000 enreg par Table (forcément c'est la fusion de plusieurs Sites Normaux)

Le but serait d'invoquer Talend (via Delphi) avec tout un ensemble de script, de générer ainsi une série de fichier, envoyés sur le serveur, et du côté web, un autre ensemble de script serait chargé d'importer ces fichiers dans la base centralisée







NB : J'étudie en parallèle, le log MySQL pour replication, le problème c'est que les bases centralisées auraient une structure différente des Bases sur Site (ne me demandez pas pourquoi, j'ai non plus compris pourquoi, ils ont décidé ça au bureau)
Hors le log contiendra aussi les ALTER, donc finalement, ce n'est plus applicable sans une base tampon qui serait ensuite recopier dans la Base Centralisée

[mathieu_r]

Bonjour,

Oui, je pense que Talend pourrait répondre à ton problème.
Via Talend, tu peux sélectionner les tables à exporter et les répliquer au sein d'un autre entrepôt en changeant le nom des bases, des tables, des champs de destination.

1-Via ton interface Delphi, tu pourrais lancer des process d'intégration créant des fichiers. Ces process se trouveraient sous forme de batch/bash exécutables via ton appli delphi.
Aussi, si nécessaire, tu pourrais transmettre la valeur de variables via l'argument -context_param applicable dans le batch.

2-Du côté de ton serveur, tu pourras également lancer des process qui intègrent le contenu de tes fichiers au sein de la base...

J'aurais plusieurs questions:
-ton appli delphi alimente-t-elle une base de données? est-ce à partir de cette base de données que tu dois créer tes fichiers?
-si ton appli alimente une BDD, tu pourrais mettre en route un script qui fasse une réplication [base du site]<->[base centralisée] sans passer par des fichiers, peut-être

[ShaiLeTroll]

Merci de ta réponse !

Cette notion de Batch m'intéresse, j'ai vu que cela générait des programmes Java ou Perl

L'Appli Delphi repose totalement sur la DB MySQL (en fait c'est une appli de collecte de données), c'est effectivement l'objectif d'exporter des données de cette base pour recouper les informations à un niveau régional\national (en fait, les mêmes entités apparaissent dans plusieurs bases avec identifiant interne différent, quelques identifiants permettent un recoupage, et si il n'y en a pas, d'autres caractères peuvent être utilisés)

Effectivement, j'ai proposé une réplication MySQL via un Tunnel SSH entre les sites Client et la Base Centralisé, mais la structure pouvant être différent cela pose problème
Si Talend peut proposer un système où l'on peut extraire les données (Sites en Windows) et envoyer lui même les données (sécurisées évidemment) vers un Serveur Linux (FireWall et tout ce qui va avec) qui serait aussi équipé d'un Talend sans devoir passer par des fichiers, et pouvoir gérer la granularité de chaque emission\reception avec un acquittement, cela m'arrangerait !

Le Mode non connecté par Fichier pose le problème de la gestion du retour d'importation, actuellement, on a tout plein de façon de faire, soit on transfert les 8 dernières jours d'activité (via filtre sur TIMESTAMP on UPDATE ou des champs DATE géré manuellement, avec un peu de chance, on récupère tout) ou alors on ré-exporte tout et ré-importe tout (ce qui fait tomber nos serveurs la nuit et empêche nos clients d'asie de travailler correctement)


EDIT : Pour Info, Sujet via Replication Asynchrone MySQL 4.1 (Master) et 5.0 (Slave)