Discussion :

[olive_le_malin]

Bonjour,

j'ai un serveur qui génère des data dans un fichier csv.
J'arrive à charger ces data depuis un autre serveur dans une base mysql à l'aide d'un LOAD DATA LOCAL INFILE ou mysqlimport --local ...

Les nouvelles data doivent écraser en totalité à chaque reload celles se trouvant dans la base.

Donc j'ai fait un script loader.sql en 2 étapes :
1/ TRUNCATE TABLE ma_table
2/ LOAD DATA LOCAL INFILE '\\\\mon_serveur\\le_fichier.csv" INTO TABLE ma_table ....

Cela marche bien SAUF si le LOAD DATA INFILE échoue (pb d'accès machine, pb réseau ...), et donc là je me retrouve avec une base vide, puisque le truncate l'a vidée.

Quelle solution pourriez-vous me préconiser ?

@+

[ced]

Bonjour,

Pourquoi, dans ce cas précis, ne pas utiliser le moteur CSV de MySQL ?
Ca peut être une solution... L'écrasement du fichier écrase les données et les remplace automatiquement. Tu n'as plus qu'à gérer la copie du fichier, et plus le chargement des données.

ced

[olive_le_malin]

Salut,
parce que je n'ai pas la main sur le 1er serveur.
Je ne peux me contenter que d'une seule chose : accéder à un fichier csv (généré par je ne sais pas quoi).

[olive_le_malin]

aprés réflexion, peut être faire un batch de copie du fichier csv vers le "bon path ?" mysql de sorte qu'il puisse charger les data par la suite ?

[ced]

Copier et renommer le fichier correctement vers le bon répertoire du serveur, oui .

C'est à tester, je n'ai jamais vraiment essayé cette solution...

ced

[olive_le_malin]

OK,
mais d'aprés ce que je viens de voir sur l'ENGINE=CSV, c'est que le séparateur du fichier est obligatoirement la virgule.
Pour mon cas, il s'agit du point-virgule (en fait, tout sauf la virgule)

Ce qui est trés embétant ...
C'est bien domage car la solution est séduisante

[olive_le_malin]

Y a-t-il une possibilité que je n'aurai pas vue de spécifier le séparateur de fichier ?
ou sinon d'autres idées pour mon cas ?

[ced]

OK,
mais d'aprés ce que je viens de voir sur l'ENGINE=CSV, c'est que le séparateur du fichier est obligatoirement la virgule.
Pour mon cas, il s'agit du point-virgule (en fait, tout sauf la virgule)

Effectivement, on est sur de "pur" CSV (comma separated value).
Dommage, voilà une piste intéressante qui fait chou blanc.

ced

[olive_le_malin]

mouais ...
bon sinon, est-ce que à partir d'un script .sql "simple" je peux arriver à ça ?
en gros il faudrait que je fasse des tests sur le load data, mais je ne sais pas comment faire ça ?

[Sivrît]

Peut-être avec un script shell utilisant l'option "-e" :

-e, --execute=name Execute command and quit. (Disables --force and history file)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
mysql -uXXX -rXXX -e "LOAD DATA [...]" ma_bdd

En cas de problème, "mysql' devrait renvoyer un code d'erreur. Pour peu que les données soit chargées dans une autre table, le script peut ensuite soit alimenter la table finale (pourquoi pas en une transaction), soit nettoyer en cas de problème.