chargement d'une table postgresql

Version imprimable

Bonjour,

j'essaie de charger une table d'une base de données PosgreSQL/PostGIS via python à partir d'un fichier csv et l'instruction copy_from

Un extrait de mon fichier csv :

Code:

0106000020721500000100000001030000000100000005000000666666666F17244100000080CB703B41666666666517244100000080CB703B41666666666517244100000080C6703B41666666666F17244100000080C6703B41666666666F17244100000080CB703B41,AERODROM0000002203176519,Internationale,HÃ©liport,Civil,\N,\N,1,En service,2019/06/20 20:17:43.552,\N,\N,\N,\N,\N,Orthophotographie,3.0,\N,\N,\N

Mon code :
Code:

1 2 3 4 5 6 f = open('monfichier.csv', 'r') with maconnection.cursor() as cur: cur.copy_from(f, 'aerodrome', sep=',', columns=('geometrie', 'cleabs', 'categorie', 'nature', 'usage', 'toponyme', 'statut_du_toponyme', 'fictif','etat_de_l_objet', 'date_creation', 'date_modification', 'date_d_apparition', 'date_de_confirmation','sources', 'identifiants_sources', 'methode_d_acquisition_planimetrique', 'precision_planimetrique','altitude', 'code_icao', 'code_iata')) maconnection.commit() f.close()
Ca ne renvoie pas d'erreur, mais ça ne charge pas les données, la table est vide au final.

Pourquoi?

Merci,
Nico

09/02/2024, 14h40
Sve@r

Bonjour

Citation:

Envoyé par DiverSIG

Pourquoi?

:cristal:

Soit ça vient de Python, soit ça vient de Postgres. Déjà la base serait de vérifier si un copy sql fonctionne. Cela permettrait déjà de cibler.
Et puis peut-être une description de ta table nous aiderait aussi. Par exemple je suis curieux de voir comment est défini ce champ "geometrie" qui peut stocker une data "0106000020721500000100000001030000000100000005000000666666666F17244100000080CB703B41666666666517244100000080CB703B41666666666517244100000080C6703B41666666666F17244100000080C6703B41666666666F17244100000080CB703B41"...8O
09/02/2024, 14h50
wiztricks

Citation:

Envoyé par DiverSIG

Pourquoi?

Avec postgres vient un client psql (ou un client pgadmin) qui est optimisé pour faire çà en ligne de commande. (qu'on pourra toujours lancer depuis python si nécessaire). Après réinventer la roue, c'est plus difficile mais quel intérêt?

- W

j'ai l'extension PostGIS.

voici le script de création de la table :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
SET client_encoding = 'utf-8';
SET standard_conforming_strings = OFF;
DROP TABLE IF EXISTS "aerodrome" CASCADE;
BEGIN;
CREATE TABLE "aerodrome"();
SELECT AddGeometryColumn('aerodrome','geometrie',5490,'MULTIPOLYGON',2);
CREATE INDEX "aerodrome_geometrie_geom_idx" ON "aerodrome" USING GIST ("geometrie");
ALTER TABLE "aerodrome" ADD COLUMN "cleabs" VARCHAR(24);
ALTER TABLE "aerodrome" ADD COLUMN "categorie" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "nature" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "usage" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "toponyme" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "statut_du_toponyme" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "fictif" BOOLEAN;
ALTER TABLE "aerodrome" ADD COLUMN "etat_de_l_objet" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "date_creation" timestamp with time zone;
ALTER TABLE "aerodrome" ADD COLUMN "date_modification" timestamp with time zone;
ALTER TABLE "aerodrome" ADD COLUMN "date_d_apparition" date;
ALTER TABLE "aerodrome" ADD COLUMN "date_de_confirmation" date;
ALTER TABLE "aerodrome" ADD COLUMN "sources" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "identifiants_sources" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "methode_d_acquisition_planimetrique" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "precision_planimetrique" NUMERIC(5,1);
ALTER TABLE "aerodrome" ADD COLUMN "altitude" NUMERIC(7,2);
ALTER TABLE "aerodrome" ADD COLUMN "code_icao" VARCHAR(4);
ALTER TABLE "aerodrome" ADD COLUMN "code_iata" VARCHAR(3);
COMMIT;

pour le COPY, j'ai pgAdmin 4 version 5.1, et la commande COPY ne fonctionne pas sur cette version apparement (il faut la version 8 si j'ai bien vu)

Nico

09/02/2024, 15h03
wiztricks

Citation:

Envoyé par DiverSIG

pour le COPY, j'ai pgAdmin 4 version 5.1, et la commande COPY ne fonctionne pas sur cette version apparement (il faut la version 8 si j'ai bien vu)

Il y a un forum postgres pour répondre à ces questions (il y a pgloader, pg_bulkload,...). L'idée étant d'utiliser les outils qui ont été fabriqués pour avant de partir à coder...

- W

Citation:

Envoyé par DiverSIG

voici le script de création de la table :

En enlevant la colonne "geometrie" (je n'ai pas mis l'extension postgis et je n'ai pas envie de la télécharger) et bien entendu en adaptant alors ton CSV (supprimer la première colonne) j'obtiens (sous Postgres) cette erreur
Code:

1 2 ERROR: invalid input syntax for type timestamp with time zone: "\N" CONTEXT: COPY aerodrome, line 1, column date_modification: "\N"
Voici le contenu du fichier: AERODROM0000002203176519,Internationale,HÃ©liport,Civil,\N,\N,1,En service,2019/06/20 20:17:43.552,\N,\N,\N,\N,\N,Orthophotographie,3.0,\N,\N,\N.

Et la commande sql: copy aerodrome from '...(nom du fichier CSV)...' with delimiter ',' csv.

J'ai aussi tenté via les noms des colonnes...
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 copy aerodrome ( "cleabs", "categorie", "nature", "usage", "toponyme", "statut_du_toponyme", "fictif","etat_de_l_objet", "date_creation", "date_modification", "date_d_apparition", "date_de_confirmation", "sources", "identifiants_sources", "methode_d_acquisition_planimetrique", "precision_planimetrique","altitude", "code_icao", "code_iata" ) from '...(nom du fichier CSV)...' with delimiter ',' csv
...même erreur.

Citation:

Envoyé par DiverSIG

Ca ne renvoie pas d'erreur

Oui donc les erreurs ont été absorbées par le curseur. Peut-être ouvrir la doc de ta lib Python<=>Postgres (psycopg2 ?) pour voir ce qui se dit quand un curseur arrive sur une erreur. Et tu ferais bien aussi de checker l'encoding du fichier d'entrée (ce "HÃ©liport" significatif d'un encodage utf-8 lu en ascii)...