Discussion :

[Classico]

Bonjour,

dans le cadre d'une mission, je dois importer des données provenant de sources hétérogènes : fichiers textes, excels, tables d'Oracle, et autres sources de données propriétaires accessibles uniquement via des API propriétaires (genre, Reuters, Bloomberg etc ...).

J'ai entendu parler de Sunopsis, devenu maintenant Oracle Data Integrator.
Avez déjà utilisé ce produit ? et si oui, savez-vous s'il est possible d'appeler des API propriétaires via Oracle Data Integrator ?

Sachant que les volumes de données sont énormes (plusieurs dizaines de Go), je me vois pas développer une solution custom pour charger les données car les performances seraient catastrophiques.

Edit : quelqu'un a-t-il déjà essayé d'importer des données de plusieurs dizaines de Go via une application développée soi-même ? Perso, j'ai déjà chargé des données faisant plusieurs centaines de Mo et c'était déjà super lent. Ce serait sympa de me faire votre retour d'expérience là-dessus.

Merci d'avance.

[Classico]

Personnne n'a essayé ce genre d'outils ?

[ChristopheL]

Concernant ODI, anciennement Sunopsis, il est possible d'appeller des API externes à partir de langage scripy Jython intégré à l'outils. Afin de capitaliser, il est possible de developper ces propres modéles de comportement.

Concernant les problémes de volumes, il n'y a pas de secret, les meilleurs performances sont données par les procédures de chargement massif des systémes cibles. Oracle et SQL*Loader par ex, qui a des options d'optimisation interressante. Le probléme est de présenter les données dans un format pivot et donc l'extraction de ses données à partir du systéme source, et les régles de transformations.