Discussion :

[Saoua83]

Bonjour,

Voici, mon problème, j'insère un fichier dans une de mes tables avec la commande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

COPY CANCER FROM '/path.../file.txt' WITH DELIMITER '|';

et je rencontre un problème, la première variable de ma table est un VARCHAR, et à une ligne de mon fichier, le champ que je veux saisir pose un problème: "birt-hogg-dub¡§?" , en effet il présente un caractère § ce qui provoque une erreur.

Donc, j'aimerais savoir si il est possible avec la commande COPY, de dire à psql que même si il y a une erreur à une ligne de passer à la suivante et de me renvoyer l'erreur quelquepart.
Ou comment faire accepter ce symbole à psql ? quelle type de champs dois-je mettre?

Merci de votre aide.

Voici l'erreur :

ERREUR: séquence d'octets invalide pour l'encodage « UTF8 » : 0xa1
HINT: Cette erreur peut aussi survenir si la séquence d'octets ne correspond pas
au jeu de caractères attendu par le serveur, le jeu étant contrôlé par
« client_encoding ».
CONTEXT: COPY cancer, ligne 50

[xavier-Pierre]

bonjour essaye avant ta commande copy :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

set client_encoding to 'utf8';

[Saoua83]

ça ne fonctionne pas mais merci quand même

quelqu'un saurait comment passer à l'insert suivant même si le précédent a échoué? de préférence en utilisant 'COPY'

EDIT: j'ai résolu mon problème de caractère non-conforme en formattant ma donnée, avant son injection dans la base de donnée, mais certaines lignes continuent de provoquer quelques erreurs (clé dupliquée)

Passer outre une erreur, je pense que ce n'est pas possible avec COPY mais si vous savez comment faire en utilisant une autre méthode, svp merci de me la faire connaitre.

COPY stops operation at the first error. This should not lead to problems in the event of a COPY TO, but the target table will already have received earlier rows in a COPY FROM. These rows will not be visible or accessible, but they still occupy disk space. This may amount to a considerable amount of wasted disk space if the failure happened well into a large copy operation. You may wish to invoke VACUUM to recover the wasted space.

[xavier-Pierre]

bonjour, il faut pour chaque enregistrement creer une commande sql

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

insert ...

,
et creer un trigger avant insert pour gerer les éventuelles erreurs (clé dupliquées...)

[scheu]

Si tu as beaucoup de lignes à charger, les INSERT un à un peuvent être très longs ...
Pour répondre à ta question, NON, la commande Postgresql COPY ne sait pas actuellement gérer les erreurs. Il faudrait passer par un outil de chargement (ETL) externe plus évolué.
Tu as par exemple pour Postgresql l'outil gratuit benetl

[Saoua83]

Merci pour vos réponses.

Si tu as beaucoup de lignes à charger, les INSERT un à un peuvent être très longs ...

Question bête, mais pour toi scheu: Est-ce que 6000 lignes c'est beaucoup?

et creer un trigger avant insert pour gerer les éventuelles erreurs (clé dupliquées...)

Aurais-tu un exemple de code pour capturer les erreurs d'insert?

[xavier-Pierre]

voici un exemple de trigger (mon_trigger) qui vérifie avant insertion dans la table ma_table si la clé (ici id)est déjà presente
on crée d'abord une procédure (qui retourne opaque) pour tester la présence ou non de la clé et donc si on fait un insert. puis dans un deuxième temps on crée le trigger avant insert en utilisant la procédure précédemment définie.
je ne dis pas que mon exemple est "parfait" mais il te montre le principe

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
CREATE OR REPLACE FUNCTION ma_procedure() returns opaque AS $body$
begin
IF NEW.id  IN ( SELECT id FROM ma_table) then
RETURN NULL;
end IF;
RETURN NEW;
end;
$body$
 LANGUAGE 'plpgsql';
 
CREATE TRIGGER mon_trigger BEFORE INSERT ON ma_table
FOR each row execute procedure ma_procedure();

[scheu]

Question bête, mais pour toi scheu: Est-ce que 6000 lignes c'est beaucoup?

Non 6000 lignes c'est rien ! Avec des insert 1 à 1 les perfs resteront correctes
Ca peut avoir un impact négatif de faire des inserts ligne à ligne plutôt que du COPY si vraiment tu as au moins quelques centaines de milliers de lignes

J'ai personnellement souvenir d'un fichier texte de 35 millions de lignes que je chargeais en 45 minutes avec COPY mais en 20 heures avec des insert ligne à ligne

[Saoua83]

D'accord, merci à vous deux

Je vais regarder les triggers mais je n'ai jamais touché au pl/pgsql j'espère que je vais m'en sortir