Discussion :

[lilken]

Bonjour à tous,

Je rencontre un soucis sur les exports de données de ma base MSSQL vers un fichier csv.
$sqlserver, $sqluser ,$sqlpass , $sqldb,$workingrep et $workingfile sont des variables déclarées précédemment dans mon script bash

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
#generation du fichier temporaire
sqlcmd -S $sqlserver -U $sqluser -P $sqlpass -d $sqldb -i $workingrep/requete.sql -s";" -W -w 10000 -o $workingrep/$workingfile.tmp
 
#retraitement du fichier temporaire
cat /$workingrep/$workingfile.tmp | sed '2d' | sed 's/NULL//g' | iconv -c -f utf8 -t ms-ansi > $workingrep/$workingfile.csv

Le soucis que j'ai un soucis au niveau du retraitement car dans mon fichier csv généré (par mon automate), j'ai des décalages à la ligne lorsque dans certains champs il y a des caractères spéciaux. Pourtant le copié-collé manuel du résultat de ma requête, dans un fichier csv respecte la casse des champ en base.

Pouvez-vous m'aider SVP??

[Flodelarab]

Bonjour

Le post-traitement, c'est bien. Mais généralement, on conseille de demander à la base de données de faire le boulot le mieux possible. C'est son rôle.
Tu peux fixer le format de sortie de ta base.
En php, on fait des trucs comme mysqli_set_charset($$link, 'utf8'); qui fixe le format de sortie à utf8 même si la base a un jeu de caractère classique Microsoft.
En Mysql, on peut faire SET NAMES 'charset_name' [COLLATE 'collation_name'] pour fixer le jeu de caractères. Typiquement:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SET NAMES 'utf8'

D'autre part, je suis un peu surpris que tu veuilles supprimer toutes les valeurs NULL.

j'ai des décalages à la ligne lorsque dans certains champs il y a des caractères spéciaux.

Avec les fichiers csv, sans doute préféreras-tu utiliser des outils comme awk qui se moque des décalages, plutôt que sed.
Mais si le problème est carrément un caractère défiguré, il faut régler cela d'abord.

[disedorgue]

Bonjour,

Peux-tu nous donner un exemple concret du problème car, pour l'instant, c'est obscur...

PS: cat fichier | sed .... est une abérration car sed sait lire des flux de type fichier, donc on remplace par sed .... fichier.

[disedorgue]

Ah, j'avais pas compris que c'était du mysql...

[lilken]

C'est du MS SQL

Voici l'export comparatif de mon script bash(orange) et de l'export manuel (vert).

En rouge, le champ qui crée le saut de ligne (ce champ a bien un format nvarchar(255)).
Je retire NULL par vide pour des besoins internes

[disedorgue]

Oupss... connait pas excel mon ordi et L.O ne restitue pas les couleurs...

Ensuite, dans tes 2 exemples, il n'y a pas le même nombre de champs, je suppose que c'est une erreur et que l'on est bien censé avoir toujours le même nombre de champs ?

Si c'est pas le cas, il faudrait nous expliquer comment déterminer le nombre de champs d'une ligne et leur représentation, car sinon, il n'y a pas de solution...

Après, ton souci ici, c'est que certains de tes champs sont du type n'importe quel caractère y compris le retour à la ligne (et certainement aussi le ";" que tu utilises comme séparateur).
Pour le cas des retour à la ligne, tu peux le gérer en comptant le nombre de champs récupéré sur une ligne au sens unix et concaténer la ligne suivante si le nombre de champs n'est pas atteint. Par contre si tu as des cas avec des ";" dans les champs eux-même, ça risque d'être compliqué.

[N_BaH]

C'est du MS SQL

et il n'y a pas moyen de faire, d'une manière ou d'une autre, avec MSsql, ce que suggère Flodelarab ?