Discussion :

[Just-Soft]

Salut !

Dans mon travail, je reçois des données format doc. A l'heure actuelle, la démarche de migration de ces données à notre SGBDR est totalement manuelle, car il s'agit d'une saisie pure et simple. Afin d'automatiser cette tâche on pense à une requête SQL genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Insert fichier_xls into table (colonne)

évidemment, dans firebird, cette syntaxe n'existe pas. Donc, ma demande est de savoir s'il est possible de créer un bloc de code comme le fait ibexpert pour insérer ce lot de données sans passer par l'ajout ligne par ligne ?

Toute proposition est la bienvenue pour une discussion fructueuse. Votre expérience dans le domaine de la migration de données m'aidera à tracer une trajectoire et me pencher sur une solution semi ou totalement automatique.

Merci par avance.

[SergioMaster]

Bonjour,

je dirais que pour un fichier xls ou . doc il faut faire une croix sur la partie automatique , cela aurait été un simple fichier .txt de format fixe on aurait pu envisager la liaison a une "table externe"

les fichier .doc ou .xls contenant des 'formatages' cette solution n'est pas possible , le seul moyen est de passer par un programme qui :
- soit fera directement la lecture du document /contrôle /écriture dans la BDD
- soit fera une lecture du document [contrôle] + création d'un script sql
puis exécution de ce dernier ou production d'un fichier txt ou csv

cependant je vais modérer mon propos en ce qui concerne xls avec la version 2.5 de firebird on peut se connecter a plus d'une SGBD , le doute : est-ce possible de se lier a un xls ?


un peu de lecture

Importation et exportation massives de données .....
Can I do multi-database or cross-database queries with Firebird?

[Just-Soft]

Merci Sergio pour la réponse.

En lisant tes deux liens, je suis tombé sur un bout de code qui pourrait bien m'avancer. A l'exécution j'ai une erreur de type "parsing error" que je n'arrive pas à résoudre.

voici le bout de code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 execute ibeblock
   returns (outstr varchar(100))
   as
   begin
    i = 0; (-- Just a counter of inserted records)
    FS = ibec_fs_OpenFile('C:\MyData.csv', __fmOpenRead);
    if (not FS is null) then
    begin
      while (not ibec_fs_Eof(FS)) do
      begin
        s = ibec_fs_Readln(FS);
        ValCount = ibec_ParseCSVLine(Vals, s, ´´, ':', __csvEmptyStringAsNull);
        INSERT INTO Ma_table (ID, FIRST_NAME, LAST_NAME, SEX) VALUES :Vals;
        commit;
        i = i + 1;
      end
      ibec_fs_CloseFile(FS);
    end
 
    outstr = i || ' records inserted into Ma_table';
    suspend;
  end

[SergioMaster]

Bonjour ,

Où as tu trouvé ce code ?
Le parsing erreur vient certainement d'une erreur dans le fichier csv
quant à la bibliothèque nécessaire est-ce des UDFs ?

[Just-Soft]

Bonjour !

Où as tu trouvé ce code ?

Parait que le bout de code t'a plu
En fait c'est un code du help en ligne de Ibexpert.

Le parsing erreur vient certainement d'une erreur dans le fichier csv

Pas du tout, il manquait une ',' je l'ai corrigé mais là j'ai une erreur de type

conversion error from string "Av".

"Av" est une colonne de mon fichier csv, malgré que j'ai mis le format nombre qui correspond au type "smallint" de ma table mais j'ai toujours cette erreur.

J'ai affiché la chaine retournée dans la variable "s" et j'ai eu le bon résultat :

233;31.08.2013;15;15;245;21;57237;4;0;0;0;0

Voici le bout de code en question :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 execute ibeblock
   returns (Resultat varchar(50))
   as
   begin
    i = 0;
    FS = ibec_fs_OpenFile('C:\Partage\curage_chlef.csv', __fmOpenRead);
    if (not FS is null) then
    begin
      while (not ibec_fs_Eof(FS)) do
      begin
        s = ibec_fs_Readln(FS);
        ValCount = ibec_ParseCSVLine(Vals, s, '', ';', __csvEmptyStringAsNull);
        INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals;
        i = i + 1;
        commit;
      end
      ibec_fs_CloseFile(FS);
    end
    Resultat = i || 'Ligne(s) inséré(s) dans la table tb_curage';
    suspend;
  end

Le programme s'arrête à la ligne INSERT INTO
Je continue à chercher cette erreur ..... qui persiste depuis hier

[SergioMaster]

Ah , je comprends , tu utilises IBExpert !! je pensais qu'il s'agissait d'un cas plus général et uniquement Firebird !


Contrôle plutôt vals qui est la string après traitement
et essayes ensuite en direct en remplaçant Vals

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals

je pense que le problème peut venir de la date

[Just-Soft]

Ah , je comprends , tu utilises IBExpert !! je pensais qu'il s'agissait d'un cas plus général et uniquement Firebird !

désolé de l'avoir signaler tard

Contrôle plutôt vals qui est la string après traitement

En fait, l'erreur venait d'une stupidité de moi, j'avais laisser les entêtes dans le fichier csv ....

Là tout marche bien.

Est-ce possible de contrôler l'existence de la ligne avant insertion ?

[SergioMaster]

Est-ce possible de contrôler l'existence de la ligne avant insertion ?

plusieurs possibilités
- Rajouter un IF , il va falloir réussir a extraire les données certainement a coup de SUBSTR ce qui va certainement être compliqué

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

IF (NOT EXISTS(SELECT 1 FROM tb_curage WHERE .......)) then

- Utiliser un UPDATE OR INSERT , pour traiter en mise à jour
http://www.firebirdsql.org/refdocs/l...or-insert.html
- Gérer l'exception car si la clé existe cela en lèvera une
http://www.firebirdsql.org/refdocs/l...exception.html

[Just-Soft]

Bonjour
je crois que cette solution

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

IF (NOT EXISTS(SELECT 1 FROM tb_curage WHERE .......)) then

me convient, mais je me demande s'il est possible de tester sur la clé primaire ? car c'est une clé composée ceci dans le but d'éviter de mettre plusieurs expressions dans le where ...
genre

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

IF (NOT EXISTS(SELECT 1 FROM tb_curage WHERE not(cle_primaire is null)))

[SergioMaster]

Perso , je préfère la 3° solution : gestion de l'exception

[Just-Soft]

Perso , je préfère la 3° solution : gestion de l'exception

Oui mais il faut toujours passer par ce fameux if ! Chose qui ne marche pas dans mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 execute ibeblock
   returns (Resultat varchar(100))
   as
   begin
    i = 0;
    FS = ibec_fs_OpenFile('C:\Partage\curage_chlef.csv', __fmOpenRead);
    if (not FS is null) then
    begin
      while (not ibec_fs_Eof(FS)) do
      begin
        s = ibec_fs_Readln(FS);
        ValCount = ibec_ParseCSVLine(Vals, s, '', ';', __csvEmptyStringAsNull);
 
        /* je crois que c'est le bon emplacement du test */
        IF (NOT EXISTS(SELECT 1 FROM tb_curage
                WHERE ( (tb_curage.code_commune = substring(s from 1 for 4))
                and tb_curage.date_curage = substring(s from 5 for 16))))
         then exception ligne_en_double;
        /* il m'affiche encore une erreur de type parsing error */
 
        INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals;
 
        i = i + 1;
        commit;
      end
      ibec_fs_CloseFile(FS);
    end
    Resultat = i || ' Ligne(s) inséré(s) dans la table tb_curage';
    suspend;
  end

[SergioMaster]

Non , c'est pas comme ça que je voyais la gestion de l'exception

mais ainsi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
....
INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals;
i = i + 1;
COMMIT;
WHEN ANY DO
 BEGIN
   //Rollback ou log de l''erreur sans forcément lever a nouveau l''exception
 END;

[Just-Soft]

Non , c'est pas comme ça que je voyais la gestion de l'exception

mais ainsi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
....
INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals;
i = i + 1;
COMMIT;
WHEN ANY DO
 BEGIN
   //Rollback ou log de l''erreur sans forcément lever a nouveau l''exception
 END;

même avec ça rien du tout ... toujours cette erreur ... ce when est-il à sa place ?

[SergioMaster]

l'erreur de parsing n'a rien à voir avec la gestion d'erreur , cette erreur là est propre à IbExpert je ne sais pas si elle peut être attrapée .
Quant à la place du WHEN ANY là , je suis pas sûr peut être faut-il la placer avant le parsing ValCount = ibec_ParseCSVLine(Vals, s, '', ';', __csvEmptyStringAsNull); pour voir