Discussion :

[AngeDéchu]

Bonjour,

J'essaye toujours d'importer des fichiers csv dans une base de données.
J'ai un probleme quand une ligne de mon fichier contient le caractère ' ou ; .
Ex :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<b>font color='red' ...

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pvit.listPVToDisplay; 702;701;10114;703....

En effet le " ' " est utilisé dans la ligne de commande qui envoie les variables dans la base de données et il les interprete donc lorsqu'une ligne en contient...

Le ; est mon séparateur de champs et au lieu d'envoyer par exemple la ligne : "701;10114;702" , il envoie "701" uniquement .

Dois je faire préalablement une reconstruction du fichier en remplaçant ces 2 caractères spéciaux par autre chose ou bien puis-je les préserver avec une méthode ? (Normalement je ne peux pas toucher aux données).

Merci d'avance.

[AngeDéchu]

Bon j'ai reconverti le fichier en utilisant des separateurs " | " au lieu des " ; ".

Ca a l'air de regler un des deux problemes.

Par contre je ne vois vraiment pas pour le single quote ....

[AngeDéchu]

Pour apporter plus de précision je vous donne le code que j'utilise pour importer le fichier en question dans ma BDD.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
cat fichier.csv | while read line; do
  VAR1=`echo $line | awk -F "|" '{ print $1}'`
  VAR2=`echo $line | awk -F "|" '{ print $2}'`
  SQL="INSERT INTO kv (kv_name, kv_val) VALUES ('$VAR1', '$VAR2');"
  echo $SQL >> tmpfile1.csv
done
 
psql -U utilisateur BaseDeDonnée < tmpfile1.csv

Le probleme est au niveau des " ' " obligatoires sur $VAR1 et VAR2...

[panach91]

Peux tu donner un exemple de lignes de ton fichier csv stp pour que l'on se rende encore mieux compte de ce que tu dois faire et ce que tu souhaites récupérer.

merci

[AngeDéchu]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
.
.
.
 pvit.searchHowLongBefore| 0
 planning.activeFiltre| true
 planning.debug_| 9424
 pvit.listPVToDisplay| 702;701;10114;703;710;10116;10117;700
 pvit.newPVIT| true
 planning.deleteDelay| 0
 planning.blockAdministrationDelay| 0
 planning.blockAdministration| true
 shutdown.message| Le serveur sera arrêté à 14h30 pendant 5 minutes
 shutdown.messageWB| <b><font color ='red'>Arrêt imminent du serveur à* 14h30 pendant 5 minutes.</font></b>

Voici quelques lignes avec "la" ligne qui bloque ma moulinette.
Il n'aime pas le 'red' sans doute à cause que la quote de cette ligne ferme prématurement la quote du '$VAR2'...
Et je ne vois pas comment l'eviter .

[panach91]

alors j'ai repris ton code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
cat fichier.cvs|while read line; do
  VAR1=`echo $line|awk -F"|" '{print $1}'`
  VAR2=`echo $line | awk -F"|" '{print $2}'`
  SQL="INSERT INTO kv (kv_name, kv_val) VALUES ('$VAR1', '$VAR2');"
  echo $SQL >> tmpfile1.csv
done

a la différence que je n'ai pas mis d'espace entre -F et "|" (normalement il n'y en a pas, en tout cas moi je n'en mets jamais)

et voila ce que je trouve dans tmpfile1.csv :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
INSERT INTO kv (kv_name, kv_val) VALUES ('pvit.searchHowLongBefore', '0');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.activeFiltre', 'true');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.debug_', '9424');
INSERT INTO kv (kv_name, kv_val) VALUES ('pvit.listPVToDisplay', '702;701;10114;703;710;10116;10117;700');
INSERT INTO kv (kv_name, kv_val) VALUES ('pvit.newPVIT', 'true');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.deleteDelay', '0');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.blockAdministrationDelay', '0');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.blockAdministration', 'true');
INSERT INTO kv (kv_name, kv_val) VALUES ('shutdown.message', 'Le serveur sera arrêté à 14h30 pendant 5 minutes');
INSERT INTO kv (kv_name, kv_val) VALUES ('shutdown.messageWB', '<b><font color ='red'>Arrêt imminent du serveur à* 14h30 pendant 5 minutes.</font></b>');

je n'ai pas eu de problème avec 'red' comme toi, donc est-ce que cela devrait te donner ceci??

ou alors est-ce que le problème ne vient que lors de ton import de ton fichier dans la base??

[AngeDéchu]

C'est lors de l'injection des données dans la base que ca plante ^^.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

psql -U utilisateur BaseDeDonnée < tmpfile1.csv

Le fichier en lui meme est correct.

il contient une série de fois cette instruction ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO key_value (kv_name, kv_value, id_import) VALUES ('$VAR1', '$VAR2');

On a donc ceci pour la ligne qui plante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO key_value (kv_name, kv_value, id_import) VALUES ('shutdown.messageWB', '<b><font color ='red'>');

En rouge la quote qui gene le tout et en vert la quote qui fait partie de la requete .

Je pense que c'est plus explicite comme cela ^^.

[panach91]

ok c'est bien ce que je pensais après.

alors normalement pour ne pas prendre en compte le caractère spécial ' tu devrais mettre \ devant mais je ne sais pas du tout si cela va fonctionner par la suite.