Discussion :

[DiverSIG]

Bonjour,

j'essaie de charger une table d'une base de données PosgreSQL/PostGIS via python à partir d'un fichier csv et l'instruction copy_from

Un extrait de mon fichier csv :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

0106000020721500000100000001030000000100000005000000666666666F17244100000080CB703B41666666666517244100000080CB703B41666666666517244100000080C6703B41666666666F17244100000080C6703B41666666666F17244100000080CB703B41,AERODROM0000002203176519,Internationale,Héliport,Civil,\N,\N,1,En service,2019/06/20 20:17:43.552,\N,\N,\N,\N,\N,Orthophotographie,3.0,\N,\N,\N

Mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
f = open('monfichier.csv', 'r')
with maconnection.cursor() as cur:
    cur.copy_from(f, 'aerodrome', sep=',', columns=('geometrie', 'cleabs', 'categorie', 'nature', 'usage', 'toponyme', 'statut_du_toponyme', 'fictif','etat_de_l_objet', 'date_creation', 'date_modification', 'date_d_apparition', 'date_de_confirmation','sources', 'identifiants_sources', 'methode_d_acquisition_planimetrique', 'precision_planimetrique','altitude', 'code_icao', 'code_iata'))
 
maconnection.commit()
f.close()

Ca ne renvoie pas d'erreur, mais ça ne charge pas les données, la table est vide au final.

Pourquoi?

Merci,
Nico

[Sve@r]

Bonjour

Pourquoi?

Soit ça vient de Python, soit ça vient de Postgres. Déjà la base serait de vérifier si un copy sql fonctionne. Cela permettrait déjà de cibler.
Et puis peut-être une description de ta table nous aiderait aussi. Par exemple je suis curieux de voir comment est défini ce champ "geometrie" qui peut stocker une data "0106000020721500000100000001030000000100000005000000666666666F17244100000080CB703B41666666666517244100000080CB703B41666666666517244100000080C6703B41666666666F17244100000080C6703B41666666666F17244100000080CB703B41"...

[DiverSIG]

j'ai l'extension PostGIS.

voici le script de création de la table :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
SET client_encoding = 'utf-8';
SET standard_conforming_strings = OFF;
DROP TABLE IF EXISTS "aerodrome" CASCADE;
BEGIN;
CREATE TABLE "aerodrome"();
SELECT AddGeometryColumn('aerodrome','geometrie',5490,'MULTIPOLYGON',2);
CREATE INDEX "aerodrome_geometrie_geom_idx" ON "aerodrome" USING GIST ("geometrie");
ALTER TABLE "aerodrome" ADD COLUMN "cleabs" VARCHAR(24);
ALTER TABLE "aerodrome" ADD COLUMN "categorie" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "nature" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "usage" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "toponyme" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "statut_du_toponyme" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "fictif" BOOLEAN;
ALTER TABLE "aerodrome" ADD COLUMN "etat_de_l_objet" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "date_creation" timestamp with time zone;
ALTER TABLE "aerodrome" ADD COLUMN "date_modification" timestamp with time zone;
ALTER TABLE "aerodrome" ADD COLUMN "date_d_apparition" date;
ALTER TABLE "aerodrome" ADD COLUMN "date_de_confirmation" date;
ALTER TABLE "aerodrome" ADD COLUMN "sources" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "identifiants_sources" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "methode_d_acquisition_planimetrique" VARCHAR;
ALTER TABLE "aerodrome" ADD COLUMN "precision_planimetrique" NUMERIC(5,1);
ALTER TABLE "aerodrome" ADD COLUMN "altitude" NUMERIC(7,2);
ALTER TABLE "aerodrome" ADD COLUMN "code_icao" VARCHAR(4);
ALTER TABLE "aerodrome" ADD COLUMN "code_iata" VARCHAR(3);
COMMIT;

pour le COPY, j'ai pgAdmin 4 version 5.1, et la commande COPY ne fonctionne pas sur cette version apparement (il faut la version 8 si j'ai bien vu)

Nico

[wiztricks]

pour le COPY, j'ai pgAdmin 4 version 5.1, et la commande COPY ne fonctionne pas sur cette version apparement (il faut la version 8 si j'ai bien vu)

Il y a un forum postgres pour répondre à ces questions (il y a pgloader, pg_bulkload,...). L'idée étant d'utiliser les outils qui ont été fabriqués pour avant de partir à coder...

- W

[Sve@r]

voici le script de création de la table :

En enlevant la colonne "geometrie" (je n'ai pas mis l'extension postgis et je n'ai pas envie de la télécharger) et bien entendu en adaptant alors ton CSV (supprimer la première colonne) j'obtiens (sous Postgres) cette erreur

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
ERROR:  invalid input syntax for type timestamp with time zone: "\N"
CONTEXT:  COPY aerodrome, line 1, column date_modification: "\N"

Voici le contenu du fichier: AERODROM0000002203176519,Internationale,Héliport,Civil,\N,\N,1,En service,2019/06/20 20:17:43.552,\N,\N,\N,\N,\N,Orthophotographie,3.0,\N,\N,\N.

Et la commande sql: copy aerodrome from '...(nom du fichier CSV)...' with delimiter ',' csv.

J'ai aussi tenté via les noms des colonnes...

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
copy aerodrome (
	"cleabs",
	"categorie",
	"nature",
	"usage",
	"toponyme",
	"statut_du_toponyme",
	"fictif","etat_de_l_objet",
	"date_creation",
	"date_modification",
	"date_d_apparition",
	"date_de_confirmation",
	"sources",
	"identifiants_sources",
	"methode_d_acquisition_planimetrique",
	"precision_planimetrique","altitude",
	"code_icao",
	"code_iata"
) from '...(nom du fichier CSV)...' with delimiter ',' csv

...même erreur.

Ca ne renvoie pas d'erreur

Oui donc les erreurs ont été absorbées par le curseur. Peut-être ouvrir la doc de ta lib Python<=>Postgres (psycopg2 ?) pour voir ce qui se dit quand un curseur arrive sur une erreur. Et tu ferais bien aussi de checker l'encoding du fichier d'entrée (ce "Héliport" significatif d'un encodage utf-8 lu en ascii)...

[wiztricks]

Pourquoi?

Avec postgres vient un client psql (ou un client pgadmin) qui est optimisé pour faire çà en ligne de commande. (qu'on pourra toujours lancer depuis python si nécessaire). Après réinventer la roue, c'est plus difficile mais quel intérêt?

- W