Migration de données

Bonjour à tous!!

Je commence tout juste un stage et je dois réaliser de la migration de données. Les données sont pour l'instant dans un fichier excel et je dois les exporter dans PostgreSQL/PostGIS. L'export n'est pas un simple export puisque la stucture de la base PostGIS sera compètement différente de celle du fichier excel : pour un "enregistrement" excel j'aurai plusieurs enregistrements dans différentes tables et il faudra donc que je stocke temporairement les identifiants utilisés comme clé étrangère.
Ma question est la suivante : quel langage me conseillez-vous pour réaliser cette migration? Je pensais m'orienter sur du Python, mais plus par intuition qu'autre chose.

Merci d'avance!!

Quels sont les langages que tu connais déjà?

Plein : Java, C, C++, PHP, Lisp, Prolog... :) Après je les connais plus ou moins bien, sans en maitriser aucun, mais je peux me débrouiller. J'aimerais surtout un langage si possible multi-plateformes et efficace (j'ai déjà testé une fois une librairie php pour manipuler des fichiers excel mais c'était super lent). Disons que ça me gène pas de me plonger dans un nouveau langage si ça améliore les performances.

Bonjour,

pourquoi manipuler des fichier xls ?

Faites un import de vos fichier dans une base de migration et travaillez uniquement en SQL.

Pour une migration de données, en principe l'essentiel du temps est passé dans l'exécution des requêtes SQL et le transfert des données, et donc le choix du langage pour le code client n'influe pas vraiment sur la vitesse.

En milieu professionnel on s'intéresse plutôt au temps que ça met à développer et mettre au point (parce que c'est ça qui coute cher) qu'au temps que ça met à s'exécuter.
Surtout si c'est du code qui va servir une seule fois en production.

C'est pourquoi en général la réponse à la question du langage est de choisir celui qu'on connait le mieux.

Bonjour,

Si je devais faire ça, je mettrai les données dans des fichiers plats et je ferai un petit script perl pour lire le fichier et générer les requêtes SQL ou les fichiers plat à insérer avec COPY.

perl est très efficace pour les traitements de fichier.

Pour les insertions en masse, postgreSQL conseille d'utiliser COPY au lieu de INSERT. (http://www.postgresql.org/docs/9.1/static/sql-copy.html)

Cordialement,

Arkhena

Citation:

---

Envoyé par punkoff

Bonjour,

pourquoi manipuler des fichier xls ?

Faites un import de vos fichier dans une base de migration et travaillez uniquement en SQL.

---

Au final l'application sera utilisée par d'autres utilisateurs que moi, et leurs connaissances en bdd sont plutôt limitées :roll: L'idée était donc de leur fournir un exécutable avec une interface de choix de fichier à ajouter à la base de données. En gros qu'ils aient le moins de choses possibles à faire, et rien de technique :D

Citation:

---

Envoyé par estofilo

Surtout si c'est du code qui va servir une seule fois en production.

---

Le code sera utilisé plusieurs fois. Il y aura (au moins) une exécution par pays qui existe dans le monde. De mémoire j'ai déjà utilisé une librairie php pour lire un fichier excel et c'était assez lent... Je voudrais éviter que l'exécution soit trop longue. Après pour le temps passer à coder, même si c'est un nouveau langage, dans la mesure où ça reste relativement basique, je ne devrais pas mettre trop de temps en plus.

oki,

Pour ce genre de chose, personnellement je met en place un process du genre :
=> Interface pour loader un ficheir xls / csv
=> Test côté applicatif du format du fichier
=> Si ok, load dans des tables sas
=> test fonctionnel en sql (si possible, traitement ensembliste plutot que ligne à ligne ...)
=> insertion / update / delete dans base cible