Discussion :

[apidou]

bonjour,

je souhaite importer un fichier csv pour en faire une table. Ce fichier est assez énorme et cela me complique la tache (300 mo, 950000 lignes et +80 colonnes...)


j'ai executé une requête qui me crée ma table + les 80 colonnes

mais lorsque je réalise la copy cela bug :

req sql :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

COPY matable FROM  'c:/monfichier.csv' WITH DELIMITER ';';

Erreur SQL :
ERREUR: syntaxe en entrée invalide pour le type real : « 93,8400440899955 »
CONTEXT: COPY matable, ligne 1, colonne dcntsfdpc : « 93,8400440899955 »

visiblement ma colonne dcntsfdpc de type réel ne convient pas pour stocker 93,8400440899955 ? Que faut il alors indiquer comme type ? Je découvre postgresql depuis cet aprem et je suis un peu perdu. J'ai cherché désespérément le type float ...mais j'ai pas trouvé. S'il butte dès la première ligne et qu'il stoppe tout je suis pas près d'y arriver .

merci de votre aide....

[estofilo]

Dans le fichier, pour les colonnes avec des nombres décimaux, il faudrait utiliser le point comme séparateur décimal et non la virgule (norme américaine).

Pour le choix du type, il y a float4 et float8 pour le stockage avec perte variable de précision, et numeric pour une précision exacte. real est un synonyme de float4, et double ou double precision sont des synonymes de float8. float4 prend 32 bits et float8 64 bits.
Vu le nombre de chiffres après la virgule dans ton exemple, j'ai l'impression que real ne convient pas à tes données, c'est trop petit.

[apidou]

merci pour la réponse.
Je viens de tester et l'erreur rencontrée provenait bien d'un mauvais séparateur décimal : j'ai donc mis un point au lieu d'une virgule (soit environ 2000000 de remplacements pour mon fichier ).

Je rencontre maintenant un autre souci : j'ai encore des champs de type réel ou entier qui posent problèmes lors de la copie lorsque le champ de la ligne est vide (il n'y a rien entre les séparateurs ;.
exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
ERREUR:  syntaxe en entrée invalide pour le type real : «  »
CONTEXT:  matable, ligne 6, colonne t_xref : «  »

Faut il ajouter une instruction à ma requête pour contourner le problème? Je souhaiterai éviter de changer le type de champ ...

autre remarque : je suis surpris qu'il n'insère pas les lignes où il n'a pas rencontré d'erreurs (dans mon cas les 5 premières...)

[estofilo]

Faut il ajouter une instruction à ma requête pour contourner le problème? Je souhaiterai éviter de changer le type de champ ...

En mode CSV, un champ vide est pris comme NULL (c'est le comportement par défaut, changeable dans la commande COPY) donc si le champ était vide, ça passerait.
Mais là d'après le message d'erreur, le champ n'est pas vide, il contient deux espaces.

autre remarque : je suis surpris qu'il n'insère pas les lignes où il n'a pas rencontré d'erreurs (dans mon cas les 5 premières...)

C'est le comportement normal. Mais si COPY est trop simplet pour ton besoin, tu peux peut-être voir du côté de pgloader, un programme d'insertion de données en masse qui offre plus d'options.