Discussion :

[bilou972]

Lorsque j'importe mes fichiers csv, j'ai parfois l'erreur :

"extra data after last expected column"

Il se trouve que ces données proviennent d'une application qui semble avoir quelques bugs, notamment celui de rajouter un caractère inutile dans le dernier champ de mon csv sur une ligne au hasard. Or cette donnée ne me sert à rien et sachant que je ne traite pas mon fichier avant l'import, je souhaiterai pouvoir désactiver ce warning, et importer les fichiers même si les colonnes de la fin sont remplies.
Cela est il possible ?

[scheu]

Si c'est sur une ligne au hasard (et non sur toutes les lignes) c'est difficile :
- soit tu fait un traitement (awk ou autre) sur ton fichier pour supprimer le caractère inutile
- soit tu peux regarder du côté de pgloader qui permet apparemment de faire un COPY amélioré en rejetant les lignes en erreur pendant le chargement

[bilou972]

Merci pour les pistes.
Mon serveur est sous windows, Pgloader fonctionne t'il sur cette plateforme ? Une idée pour l'installation? Je n'ai vraiment rien trouvé.

[bilou972]

C'est pire que je pensais, pour certaines colonnes j'ai également

data not found for column ...

Il faut vraiment que je trouve un truc.

[scheu]

Pour pgloader je n'ai pas plus d'infos
Sinon la meilleure solution reste quand-même d'avoir un fichier correct à charger, ça évite de devoir traiter les lignes comportant trop de champs ou pas assez ...

[bilou972]

J'aimerai bien mais c'est impossible. Les données sortent d'un applicatif géré au niveau national et je ne peux pas y toucher.

Et puis même si le fichier est correct, on est jamais à l'abri d'une erreur.
Je vais regarder du coté de awk. Dommage que la documentation sur pgloader (surtout installation) soit si difficile à trouver.

[scheu]

Effectivement dans ce cas il faudrait faire un awk pour supprimer de ton fichier les lignes n'ayant pas le bon nombre de champs ...

[bilou972]

Ok je fais ça et je posterai le code ici.

[nematoad]

Lorsque j'importe mes fichiers csv, j'ai parfois l'erreur :

"extra data after last expected column"

J'importe des données en utilisant TAB comme délimiteur... et certaines données contenaient des tabs. J'ai simplement remplacé ça par "\\t" et ça passe.

Il faut sans doute backslasher tes virgules ou point-virgules...

-N