Discussion :

[Just-Soft]

Salut !

Dans mon travail, je reçois des données format doc. A l'heure actuelle, la démarche de migration de ces données à notre SGBDR est totalement manuelle, car il s'agit d'une saisie pure et simple. Afin d'automatiser cette tâche on pense à une requête SQL genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Insert fichier_xls into table (colonne)

évidemment, dans firebird, cette syntaxe n'existe pas. Donc, ma demande est de savoir s'il est possible de créer un bloc de code comme le fait ibexpert pour insérer ce lot de données sans passer par l'ajout ligne par ligne ?

Toute proposition est la bienvenue pour une discussion fructueuse. Votre expérience dans le domaine de la migration de données m'aidera à tracer une trajectoire et me pencher sur une solution semi ou totalement automatique.

Merci par avance.

[SergioMaster]

Bonjour,

je dirais que pour un fichier xls ou . doc il faut faire une croix sur la partie automatique , cela aurait été un simple fichier .txt de format fixe on aurait pu envisager la liaison a une "table externe"

les fichier .doc ou .xls contenant des 'formatages' cette solution n'est pas possible , le seul moyen est de passer par un programme qui :
- soit fera directement la lecture du document /contrôle /écriture dans la BDD
- soit fera une lecture du document [contrôle] + création d'un script sql
puis exécution de ce dernier ou production d'un fichier txt ou csv

cependant je vais modérer mon propos en ce qui concerne xls avec la version 2.5 de firebird on peut se connecter a plus d'une SGBD , le doute : est-ce possible de se lier a un xls ?


un peu de lecture

Importation et exportation massives de données .....
Can I do multi-database or cross-database queries with Firebird?

[Just-Soft]

Merci Sergio pour la réponse.

En lisant tes deux liens, je suis tombé sur un bout de code qui pourrait bien m'avancer. A l'exécution j'ai une erreur de type "parsing error" que je n'arrive pas à résoudre.

voici le bout de code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
 execute ibeblock
   returns (outstr varchar(100))
   as
   begin
    i = 0; (-- Just a counter of inserted records)
    FS = ibec_fs_OpenFile('C:\MyData.csv', __fmOpenRead);
    if (not FS is null) then
    begin
      while (not ibec_fs_Eof(FS)) do
      begin
        s = ibec_fs_Readln(FS);
        ValCount = ibec_ParseCSVLine(Vals, s, ´´, ':', __csvEmptyStringAsNull);
        INSERT INTO Ma_table (ID, FIRST_NAME, LAST_NAME, SEX) VALUES :Vals;
        commit;
        i = i + 1;
      end
      ibec_fs_CloseFile(FS);
    end
 
    outstr = i || ' records inserted into Ma_table';
    suspend;
  end

[SergioMaster]

Bonjour ,

Où as tu trouvé ce code ?
Le parsing erreur vient certainement d'une erreur dans le fichier csv
quant à la bibliothèque nécessaire est-ce des UDFs ?

[Just-Soft]

Bonjour !

Où as tu trouvé ce code ?

Parait que le bout de code t'a plu
En fait c'est un code du help en ligne de Ibexpert.

Le parsing erreur vient certainement d'une erreur dans le fichier csv

Pas du tout, il manquait une ',' je l'ai corrigé mais là j'ai une erreur de type

conversion error from string "Av".

"Av" est une colonne de mon fichier csv, malgré que j'ai mis le format nombre qui correspond au type "smallint" de ma table mais j'ai toujours cette erreur.

J'ai affiché la chaine retournée dans la variable "s" et j'ai eu le bon résultat :

233;31.08.2013;15;15;245;21;57237;4;0;0;0;0

Voici le bout de code en question :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 execute ibeblock
   returns (Resultat varchar(50))
   as
   begin
    i = 0;
    FS = ibec_fs_OpenFile('C:\Partage\curage_chlef.csv', __fmOpenRead);
    if (not FS is null) then
    begin
      while (not ibec_fs_Eof(FS)) do
      begin
        s = ibec_fs_Readln(FS);
        ValCount = ibec_ParseCSVLine(Vals, s, '', ';', __csvEmptyStringAsNull);
        INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals;
        i = i + 1;
        commit;
      end
      ibec_fs_CloseFile(FS);
    end
    Resultat = i || 'Ligne(s) inséré(s) dans la table tb_curage';
    suspend;
  end

Le programme s'arrête à la ligne INSERT INTO
Je continue à chercher cette erreur ..... qui persiste depuis hier

[SergioMaster]

Ah , je comprends , tu utilises IBExpert !! je pensais qu'il s'agissait d'un cas plus général et uniquement Firebird !


Contrôle plutôt vals qui est la string après traitement
et essayes ensuite en direct en remplaçant Vals

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
INSERT INTO tb_curage (code_commune, date_curage, nombre_reclamation, nombre_intervention,
                               lineaire_cure, regard_cure, volume_collecte, dechet_evacue,
                               pose_conduites, regard_realise, nbr_branchemen_realise, avaloir_cure) VALUES :Vals

je pense que le problème peut venir de la date