changer le datestyle pour importer avec PGLoader

[Davboc]

Bonjour

Je cherche à importer des fichiers assez volumineux par le biais de PGLoader. Mon problème est que les dates sont définies au format SQL, DMY alors que postgreSQL est configuré en ISO, MDY (défaut).

Je souhaiterais pouvoir changer le datestyle temporairement, le temps de faire mon import. Mais je n'y arrive pas. J'ai essayé en écrivant le batch suivant :

Code :

1
2
"C:\Program Files\PostgreSQL\8.2\bin\psql.exe" -d DATABASE -U user -c "SET DateStyle TO 'SQL, DMY';"
pgloader.py -T -F 1 -c pgloader.conf diffusion

Auriez-vous une idée ? Le must aurait été de bidouiller le code pour ajouter cette option dans les fichiers de conf, mais j'ai vu ma première page de code en python la semaine dernière alors je ne me sens pas trop de le faire

[tapoueh]

Bonjour,

Merci déjà d'avoir testé pgloader sous windows (et peut être, si j'ai bien suivi, fait en sorte que ça marche --- en faisant le package de psycopg), je n'aurais pas pris en charge de l'y faire tourner

On pourrait ajouter des options 'preload' et 'postload' à la configuration de pgloader, pointant sur un fichier de commandes SQL qui seraient exécutés dans la même session.
Ces options seraient disponible à la fois globalement et pour chaque table, mais cette fois ne seraient pas surchargées : l'option preload globale sera exécutée en premier, puis celle de chaque table, puis le postload pour chaque table, puis enfin le postload global.

Cela pourrait même remplacer (côté code) les options Truncate et Vacuum actuellement proposées, à voir.

Je peux essayer de faire cela bientôt (j'ai écris pgloader 2.x), pour certaines valeur de bientôt

[Davboc]

Merci

J'ai reussi à contourner le pb en utilisant la commande copy, mais c'est une bonne idée d'ajouter les fonctionnalités que tu as proposé.

Je n'ai pas eu de problème particulier pour utiliser pgloader sous windows, mis à part ceux liés à ma connaissance plus que limitée de python et quelques broutilles dont j'ai fait part à JP Argudo

[tapoueh]

Bonjour,

Je viens de me rendre compte qu'un paramètre 'datestyle' identique à 'client_encoding' suffit à résoudre le problème soulevé.

La version 2.2.1 de pgloader vient d'être publiée, elle contient l'option voulue et une page d'accueil publique rénovée :
http://pgloader.projects.postgresql.org/

C'est sûrement un peu tard, mais enfin c'est fait

[spy707]

Bonjour,

J'ai un souci avec l'importation de grande table. J'entend par grande table qui a un grand nombre de champs.
J'obtiens l'erreur suivante : OSError: [Errno 36] File name too long:...

il semble que pgloader, notament dans db.py, créé un fichier temporaire dont le nom est le nomde la table suivi du nom des champs. Dans mon cas ce nom de fichier dépasse les 255 caractères et donc CRAC! ça coince.

J'ai modifié le fichier db.py pour que ce fichier tmp ne prenne en compte que le nom de la table dans le fichier db.py lignes 299 et 331, l'appel à self.save_copy_buffer().

Cet modification résoud le problème mais ça coince ensuite plus loin à l'exécution du COPY mais cette fois le retour est dans les logs postgre : ERROR: syntax error at end of input at character 255


Et là je coince quand à la provenance de l'erreur. Je pense à psycopg qui ne ferai pas son travail correctement ou qui ne reçoit pas les bonnes infos.


Si quelqu'un a une idée ...

Merci d'avance

[gleu_]

J'ai déjà eu ce genre de soucis. Il s'est avéré que j'avais mal codé mon fichier de configuration. Je ne dis pas que vous avez ce problème mais commencez par vérifier votre fichier de configuration... surtout que le code de pgloader ne semble pas créer de fichier temporaires dont le nom dépendrait des noms des colonnes.