Importation d'un fichier csv avec un nombre de colonnes variable

Bonjour à tous.

J'ai un question sur l'importation d'un fichier csv dans une bd ms-sql.

J'ai un fichier csv qui comporte plus de 6 millions de lignes avec un format standard csv.

EX:
2012/01/01;00:00:04;2947.496316;749.500000;471.750000;19.437500
2012/01/01;00:00:09;2962.496297;750.250000;471.750000;19.468750
2012/01/01;00:00:14;2928.746339;751.750000;471.750000;19.281250
2012/01/01;00:00:19;2928.746339;750.750000;471.750000;19.187500;20.444;134.666
...

Comme vous pouvez voir, la 4e ligne comporte deux colonnes de plus et c'est ce qui m’occasionne des problèmes à importer les données dans une base sql.

-Le fichier est beaucoup trop gros (¾ de 2.5Gb) pour ouvrir avec un logiciel (comme excel par exemple) pour ajouter les colonnes vide dans les premières lignes.

-À partir de ms sql server 2008, si je fais une importation de fichier, ça fonctionne mais je n'ai pas les deux dernières colonnes.

-Si je fais un Bulk Insert, sql server me retourne une erreur car le nombre de champ n'est pas valide.

Je n'ai plus de solution et j'aimerais savoir si quelqu'un a une idée

Merci beaucoup à l’avance.

Bonjour,

la seule chose que je puisse te conseiller, c'est de redemander une extraction de fichier avec un bon format. Soit 2 colonnes en plus, soit les 2 chiffres en trop retirés.

Je penche plus pour un problème du côté du fournisseur du fichier et, pour éviter d'avoir à refaire ta mécanique d'import, il vaux mieux que le fichier n'ai pas d'éléments aléatoires qui sortent du Dessin d'enregistrement.

Cordialement,

Plusieurs solutions s'ouvrent a toi :

- creer une solution SSIS
- ouvrir le fichier avec un editeur de text spécialisé ( notepad ++ ) et corriger le fichier a la main ( a voir suivant les contraintes fonctionnels )
- redemander une extraction au fournisseur si tu as le temps

A+

Bonjour.

Pour ce qui est du format de fichier du fournisseur, je suis limité à ce format du à un logiciel obligatoire et fermé à mon travail.

Pour ce qui est d'ouvrir avec un éditeur texte, on oubli ça du à la grosseur du fichier. + de 6Gb avec + de 6.3M de ligne d'enregistrement.

Merci!

Bonjour,

Via SSIS il y aurait un moyen.

Avec une connexion de fichier à laquelle tu rajoutes 2 colonnes. Tu décoches la case "le nom des colonnes en entête de fichiers".
Ceci te permettra de lire toutes les colonnes + 2, mais, tu auras ta première ligne qui comportera les données des noms de champs. C'est pas trop grave, tu pourras la delete, ou même faire un conditional split qui retire la ligne au chargement.

Tu pourras ainsi lire et charger ton fichier.
Si tu n'as pas la bonne structure au niveau de la table, tu pourras simplement ignorer ces 2 colonnes en trop lorsque tu feras tes correspondances de champs, si tu en as besoin, tu pourras faire de la concaténation via une derived column.



Cordialement,

Citation:

---

Envoyé par wonderboutin123

-À partir de ms sql server 2008, si je fais une importation de fichier, ça fonctionne mais je n'ai pas les deux dernières colonnes.

---

Il me semble que vous n'aurez en effet pas les deux dernière colonnes, mais leur contenu sera inclus dans la dernière. C'est à dire que pour les lignes avec ces deux colonnes supplémentaires, vous aurez ceci dans la dernière colonne :

19.187500;20.444;134.666

Vous ne précisez pas trop le contexte, mais en fonction de celui-ci, vous pourriez prévoir d'importer votre fichier dans une table de staging, et d'insérer ensuite dans votre table finale, en parsant la dernière colonne.
Ce n'est pas forcément la solution la plus propre, mais c'est une solution ;)

J'ai essayé une Importation de fichier csv en ajoutant le bon nombre de colonnes mais dans les première ligne, tout les données sont décalé du au manque de données.


Exemple de ma Bd Csv à Importer
2012/01/01;00:00:04;2947.496316;749.500000;471.750000;19.437500
2012/01/01;00:00:09;2962.496297;750.250000;471.750000;19.468750
2012/01/01;00:00:14;2928.746339;751.750000;471.750000;19.281250
2012/01/01;00:00:19;2928.746339;750.750000;471.750000;19.187500;20.444;134.666;111.23
2012/01/01;00:00:24;2928.746339;750.750000;471.750000;19.187500;20.444;134.666;112.22
...

Résultat de l'importation Sql
2012/01/01 00:00:04 2947.496316 749.500000 471.750000 19.4375002012/01/01 00:00:09 2962.496297 750.250000
2012/01/01 00:00:14 2928.746339 751.750000 471.750000 19.2812502012/01/01 00:00:19 2928.746339 750.750000
2012/01/01 00:00:24 2928.746339 750.750000 471.750000 19.187500 20.444 134.666 112.22

Puisqu'il manque des données dans les première ligne, les données de la 2e lignes sont inclus dans la 1er et ainsi de suite.


Quelqu'un a d'autre solution ?

Merci!