Discussion :

[CFGilles]

Bonjour,

La situation
Nous utilisons la commande "mysqlimport" pour charger un fichier CSV de 580 000 lignes dans une table temporaire de notre base de données MySQL.

Chaque ligne du fichier (606 caractères par ligne) est insérée dans un champ texte. Par la suite, nous utilisons un script PHP pour "lire" chaque ligne selon la position et insérer les valeurs dans une autre table.

Le problème
Il semble que le fichier source contient des caractères spéciaux (ex: "N\", saut de ligne) ce qui ajoute un 607e caractère à la ligne du fichier texte et qui bousille notre script PHP de lecture/écriture...

Question
Est-il possible de retirer les caractères spéciaux lors de la commande mysqlimport ?? Il est impossible de modifier le fichier source puisqu'il provient d'un fournisseur externe.

Est-ce un problème d'encodage de base de données ou de jeu de caractères ??? Si oui, quel encodage / jeu de caractère dois-je utiliser et où changer ces informations ?

Merci de vos réponses !!

Gilles Tanguay
AlphaZero.net

[EIN-LESER]

Le fichier source provient d'un client externe mais ne peux tu le télécharger sur ton serveur avant de réaliser ton insert?
Dans ce cas un petit script PHP par exemple pour lui ôter les caractères indésirables et voila.

[CinePhil]

charger un fichier CSV

CSV = Comma-Separated Values
In french : Valeurs séparées par des virgules.

Chaque ligne du fichier (606 caractères par ligne) est insérée dans un champ texte.

Il n'y a donc qu'une seule valeur par ligne et ce n'est pas un fichier CSV !

Par la suite, nous utilisons un script PHP pour "lire" chaque ligne selon la position et insérer les valeurs dans une autre table.

Puisqu'il semble nécessaire d'utiliser un programme PHP pour diviser chaque ligne en données utiles, pourquoi ne pas faire ce boulot avant d'insérer en BDD ?

Il semble que le fichier source contient des caractères spéciaux (ex: "N\", saut de ligne)

Vous pouvez donner le début du fichier (quelques lignes) pour qu'on comprenne mieux ?
Si besoin, anonymisez les données en respectant la structure.