[Shell] CSV import , caractères spéciaux

**AngeDéchu** · 09/04/2008, 11h16

Bonjour,

J'essaye toujours d'importer des fichiers csv dans une base de données.
J'ai un probleme quand une ligne de mon fichier contient le caractère ' ou ; .
Ex :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

<b>font color='red' ...

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

pvit.listPVToDisplay; 702;701;10114;703....

En effet le " ' " est utilisé dans la ligne de commande qui envoie les variables dans la base de données et il les interprete donc lorsqu'une ligne en contient...

Le ; est mon séparateur de champs et au lieu d'envoyer par exemple la ligne : "701;10114;702" , il envoie "701" uniquement

.

Dois je faire préalablement une reconstruction du fichier en remplaçant ces 2 caractères spéciaux par autre chose ou bien puis-je les préserver avec une méthode ? (Normalement je ne peux pas toucher aux données).

Merci d'avance.

**AngeDéchu** · 09/04/2008, 12h09

Bon j'ai reconverti le fichier en utilisant des separateurs " | " au lieu des " ; ".

Ca a l'air de regler un des deux problemes.

Par contre je ne vois vraiment pas pour le single quote

....

**AngeDéchu** · 09/04/2008, 12h34

Pour apporter plus de précision je vous donne le code que j'utilise pour importer le fichier en question dans ma BDD.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
cat fichier.csv | while read line; do
  VAR1=`echo $line | awk -F "|" '{ print $1}'`
  VAR2=`echo $line | awk -F "|" '{ print $2}'`
  SQL="INSERT INTO kv (kv_name, kv_val) VALUES ('$VAR1', '$VAR2');"
  echo $SQL >> tmpfile1.csv
done
 
psql -U utilisateur BaseDeDonnée < tmpfile1.csv

Le probleme est au niveau des " ' " obligatoires sur $VAR1 et VAR2...

**panach91** · 09/04/2008, 13h41

Peux tu donner un exemple de lignes de ton fichier csv stp pour que l'on se rende encore mieux compte de ce que tu dois faire et ce que tu souhaites récupérer.

merci

**AngeDéchu** · 09/04/2008, 13h52

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
.
.
.
 pvit.searchHowLongBefore| 0
 planning.activeFiltre| true
 planning.debug_| 9424
 pvit.listPVToDisplay| 702;701;10114;703;710;10116;10117;700
 pvit.newPVIT| true
 planning.deleteDelay| 0
 planning.blockAdministrationDelay| 0
 planning.blockAdministration| true
 shutdown.message| Le serveur sera arrêté à 14h30 pendant 5 minutes
 shutdown.messageWB| <b><font color ='red'>Arrêt imminent du serveur à* 14h30 pendant 5 minutes.</font></b>

Voici quelques lignes avec "la" ligne qui bloque ma moulinette.
Il n'aime pas le 'red' sans doute à cause que la quote de cette ligne ferme prématurement la quote du '$VAR2'...
Et je ne vois pas comment l'eviter

.

**panach91** · 09/04/2008, 14h30

alors j'ai repris ton code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
cat fichier.cvs|while read line; do
  VAR1=`echo $line|awk -F"|" '{print $1}'`
  VAR2=`echo $line | awk -F"|" '{print $2}'`
  SQL="INSERT INTO kv (kv_name, kv_val) VALUES ('$VAR1', '$VAR2');"
  echo $SQL >> tmpfile1.csv
done

a la différence que je n'ai pas mis d'espace entre -F et "|" (normalement il n'y en a pas, en tout cas moi je n'en mets jamais)

et voila ce que je trouve dans tmpfile1.csv :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
INSERT INTO kv (kv_name, kv_val) VALUES ('pvit.searchHowLongBefore', '0');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.activeFiltre', 'true');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.debug_', '9424');
INSERT INTO kv (kv_name, kv_val) VALUES ('pvit.listPVToDisplay', '702;701;10114;703;710;10116;10117;700');
INSERT INTO kv (kv_name, kv_val) VALUES ('pvit.newPVIT', 'true');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.deleteDelay', '0');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.blockAdministrationDelay', '0');
INSERT INTO kv (kv_name, kv_val) VALUES ('planning.blockAdministration', 'true');
INSERT INTO kv (kv_name, kv_val) VALUES ('shutdown.message', 'Le serveur sera arrêté à 14h30 pendant 5 minutes');
INSERT INTO kv (kv_name, kv_val) VALUES ('shutdown.messageWB', '<b><font color ='red'>Arrêt imminent du serveur à* 14h30 pendant 5 minutes.</font></b>');

je n'ai pas eu de problème avec 'red' comme toi, donc est-ce que cela devrait te donner ceci??

ou alors est-ce que le problème ne vient que lors de ton import de ton fichier dans la base??

**AngeDéchu** · 09/04/2008, 14h39

C'est lors de l'injection des données dans la base que ca plante ^^.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

psql -U utilisateur BaseDeDonnée < tmpfile1.csv

Le fichier en lui meme est correct.

il contient une série de fois cette instruction ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO key_value (kv_name, kv_value, id_import) VALUES ('$VAR1', '$VAR2');

On a donc ceci pour la ligne qui plante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO key_value (kv_name, kv_value, id_import) VALUES ('shutdown.messageWB', '<b><font color ='red'>');

En rouge la quote qui gene le tout et en vert la quote qui fait partie de la requete

.

Je pense que c'est plus explicite comme cela ^^.

**panach91** · 09/04/2008, 15h03

ok c'est bien ce que je pensais après.

alors normalement pour ne pas prendre en compte le caractère spécial ' tu devrais mettre \ devant mais je ne sais pas du tout si cela va fonctionner par la suite.

**AngeDéchu** · 09/04/2008, 15h07

non car tout est consideré comme du texte ^^.

Donc si je met le "\" il va importer le caractere "\" tel quel dans la base il me semble. Il butera toujours sur le '.

En fait j'ai deja essayé ^^.

**panach91** · 09/04/2008, 15h14

et il te met quoi comme erreur en fait?

parce qu'en fait c'est étonnant que ' t'embête comme ça à partir du moment oùtu n'as pas eu d'erreur lors de la création de ton fichier tmpfile1.csv. Derrière ce n'est qu'un import d'une requête dans une base qui, fait à la main, doit certainement fonctionner. Si tu vois ce que je veux dire.

**AngeDéchu** · 09/04/2008, 15h27

Bah il injecte pas cette ligne justement :>

Voila ce qu'il me met.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
ERROR:  syntax error at or near "red"
LINE 1: ... VALUES ('shutdown.messageWB', ' <b><font color ='red'>...

**panach91** · 09/04/2008, 15h45

d'accord

dc là je vais t'avouer que je ne vois pas tro bien comment résoudre ton problème

, mis à part peut-être essayer de jouer avec les guillemets mais je suppose que tu as déjà du essayer et ca n'est pas gagné.

dsl

**AngeDéchu** · 09/04/2008, 15h53

Bah la j'ai essayé en remplaçant les single quote par des doubles.

Ca ne passe pas non plus ;s...

**Winnt** · 09/04/2008, 17h01

Salut,

et si tu essaye de remplacer ' avec Alt-Gr+7 =>` ?

Code Remplacer ' par ` :

Sélectionner tout - Visualiser dans une fenêtre à part

INSERT INTO key_value (kv_name, kv_value, id_import) VALUES (`shutdown.messageWB`, `<b><font color ='red'>`);

**tuxcoin** · 10/04/2008, 09h20

Bonjour ,

Apres un petit essai ... ca fonctionne avec ca ....

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
cat fichier.cvs|while read line; do
  VAR1=`echo $line|awk -F"|" '{print $1}' | sed "s/'/\"/g"`
  VAR2=`echo $line | awk -F"|" '{print $2}' | sed "s/'/\"/g"`
  SQL="INSERT INTO kv (kv_name, kv_val) VALUES ('$VAR1', '$VAR2');"
  echo $SQL >> tmpfile1.csv
done

resultat ... si je me trompe pas

**AngeDéchu** · 10/04/2008, 09h56

Un collègue m'a aidé a trouver une solution qui semble marcher :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

vi -c "1,$ s/\\'/\\'\'/g|wq" fichier.csv

ligne qui compose un script à part modifiant le fichier.csv à sa source.

on obtient alors ''red'' ce qui est interpreté tel que je le voulais par SQL...

Merci quand meme pour les idées ^^.

Maintenant je règle un autre probleme ( snif déprimant :p) . Le fichier csv contient une ligne blanche superflue et donc au lieu d'obtenir X row, j'en obtiens X + 1 vide par importation. ^^

**tuxcoin** · 10/04/2008, 14h06

Dans ce cas la .. quand tu fais un cat de ton fichier tu rajoutes un grep ..

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
cat fichier.cvs|grep -Ev "^($)" | while read line; do
  VAR1=`echo $line|awk -F"|" '{print $1}' | sed "s/'/\"/g"`
  VAR2=`echo $line | awk -F"|" '{print $2}' | sed "s/'/\"/g"`
  SQL="INSERT INTO kv (kv_name, kv_val) VALUES ('$VAR1', '$VAR2');"
  echo $SQL >> tmpfile1.csv
done

ca te retire ta ligne vide

[Shell] CSV import , caractères spéciaux

Shell et commandes GNU

Discussions similaires

Partager

Partager