Script avec gestion d'erreur pour loader des data depuis un csv

Version imprimable

07/04/2009, 15h24
olive_le_malin

Script avec gestion d'erreur pour loader des data depuis un csv

Bonjour,

j'ai un serveur qui génère des data dans un fichier csv.
J'arrive à charger ces data depuis un autre serveur dans une base mysql à l'aide d'un LOAD DATA LOCAL INFILE ou mysqlimport --local ...

Les nouvelles data doivent écraser en totalité à chaque reload celles se trouvant dans la base.

Donc j'ai fait un script loader.sql en 2 étapes :
1/ TRUNCATE TABLE ma_table
2/ LOAD DATA LOCAL INFILE '\\\\mon_serveur\\le_fichier.csv" INTO TABLE ma_table ....

Cela marche bien SAUF si le LOAD DATA INFILE échoue (pb d'accès machine, pb réseau ...), et donc là je me retrouve avec une base vide, puisque le truncate l'a vidée.

Quelle solution pourriez-vous me préconiser ?

@+
07/04/2009, 15h25
ced

Bonjour,

Pourquoi, dans ce cas précis, ne pas utiliser le moteur CSV de MySQL ?
Ca peut être une solution... L'écrasement du fichier écrase les données et les remplace automatiquement. Tu n'as plus qu'à gérer la copie du fichier, et plus le chargement des données.

ced
07/04/2009, 15h28
olive_le_malin

Salut,
parce que je n'ai pas la main sur le 1er serveur.
Je ne peux me contenter que d'une seule chose : accéder à un fichier csv (généré par je ne sais pas quoi).
07/04/2009, 15h34
olive_le_malin

aprés réflexion, peut être faire un batch de copie du fichier csv vers le "bon path ?" mysql de sorte qu'il puisse charger les data par la suite ?
07/04/2009, 15h47
ced

Copier et renommer le fichier correctement vers le bon répertoire du serveur, oui ;).

C'est à tester, je n'ai jamais vraiment essayé cette solution...

ced
07/04/2009, 15h54
olive_le_malin

OK,
mais d'aprés ce que je viens de voir sur l'ENGINE=CSV, c'est que le séparateur du fichier est obligatoirement la virgule.
Pour mon cas, il s'agit du point-virgule (en fait, tout sauf la virgule)

Ce qui est trés embétant ...
C'est bien domage car la solution est séduisante
08/04/2009, 09h07
olive_le_malin

Y a-t-il une possibilité que je n'aurai pas vue de spécifier le séparateur de fichier ?
ou sinon d'autres idées pour mon cas ?
08/04/2009, 09h46
ced

Citation:

Envoyé par olive_le_malin

OK,
mais d'aprés ce que je viens de voir sur l'ENGINE=CSV, c'est que le séparateur du fichier est obligatoirement la virgule.
Pour mon cas, il s'agit du point-virgule (en fait, tout sauf la virgule)

Effectivement, on est sur de "pur" CSV (comma separated value).
Dommage, voilà une piste intéressante qui fait chou blanc. :(

ced
08/04/2009, 11h22
olive_le_malin

mouais ...
bon sinon, est-ce que à partir d'un script .sql "simple" je peux arriver à ça ?
en gros il faudrait que je fasse des tests sur le load data, mais je ne sais pas comment faire ça ?
10/04/2009, 18h04
Sivrît
Peut-être avec un script shell utilisant l'option "-e" :

Citation:

-e, --execute=name Execute command and quit. (Disables --force and history file)
Code:

1 2 mysql -uXXX -rXXX -e "LOAD DATA [...]" ma_bdd
En cas de problème, "mysql' devrait renvoyer un code d'erreur. Pour peu que les données soit chargées dans une autre table, le script peut ensuite soit alimenter la table finale (pourquoi pas en une transaction), soit nettoyer en cas de problème.