Discussion :

[thovan]

Bonjour,

J'ai un problème avec la fonction split et je tourne en rond sans solution.
Voici une ligne de données dans un csv :
2020-11-02_151024_3,203031025910,B03,14,Patient,5000,10000,5,5,,,,"32,98874",NEGATIVE,NEGATIVE,NEGATIVE,NEGATIVE,39,39,39,22,INVALID,NA,RETEST

Je lis le csv dans un streamreader et j'utilise split pour aller chercher ce qui m'intéresse.
Avant, je retire les guillemets :
2020-11-02_151024_3,203031025910,B03,14,Patient,5000,10000,5,5,,,,32,98874,NEGATIVE,NEGATIVE,NEGATIVE,NEGATIVE,39,39,39,22,INVALID,NA,RETEST

J'ai besoin d'aller récupérer la valeur 32,98874 mais comme le symbole de séparateur décimale est une virgule, la fonction split me rend de mauvaises données vu qu'elle décale tout.
Sur le logiciel qui extrait le csv il n'est apparemment pas possible de changer de séparateur pour un point virgule ni de changer le symbole de décimale vers point.

Est-ce que quelqu'un connait une entourloupe pour ça ? ou bien je l'ai profond dans l'arrière gorge?

[Phil Rob]

Bonjour,

Le problème est faire la distinction entre la virgule séparateur décimal et la virgule séparateur de champs. Si tu peux faire cela, il t'est possible de faire une petite "routine" qui remplace une des virgules par autre chose : la virgule séparateur décimal par un point, la virgule séparateur de champs par un point-virgule.
Mais tout cela, tu le sais déjà !

Ne t'est-il pas possible d'agir sur la production du fichier CSV et faire en sorte que le séparateur soit un point-virgule (comme avec un "vrai" CSV) ?

Autre piste, si tu peux connaitre à l'avance les types des données (parce qu'ils seraient toujours dans le même ordre), il est possible de "décortiquer" la chaîne de sorte à savoir quand la virgule est séparateur décimal ou séparateur de champs.

Je sais que je ne t'apporte pas de solution mais peut-être des pistes de réflexions ...

[thovan]

Bin non, justement il est impossible de savoir si c'est une virgule qui sépare une décimale ou un champ...
Pour le streamreader, virgule, c'est virgule...

Et d'après l'opérateur de la machine il n'est pas possible d'extraire le csv en point-virgule...
Ce que je trouve étrange.
Je vais jeter un oeil moi même aux possibilités d'export.
Ce qui est peut-etre possible c'est d'extraire d'abord en excel et ensuite enregistrer l'excel en csv point virgule.

J'espérais qu'un vieux roublard du .NET aurait déjà été face à ce problème là et me filerait un truc farfelu pour le faire mais visiblement ce n'est pas possible, et ça ne m'étonne pas...

[ProgElecT]

Salut

Moi je lirais ligne par ligne, pour chaque lignes je ferai un split sur les ", je récupère l'index 1 du tableau, puis comme dit par Phil Rob, tu modifies à ta convenance la virgule par un point avec un Replace.

[thovan]

ça serait trop facile....
mais.... les données peuvent bouger dans le csv... d'un export à l'autre, elles peuvent changer de place...

Je dois donc au préalable lire la ligne d'entête de colonne, trouver dans quelle colonne se trouve chaque donnée que j'ai besoin d'extraire et ensuite spliter sur la xiem virgule...
Parfois elles sont entourées de guillemets, parfois non....

En bref, c'est pas stable

[Phil Rob]

Autre piste, si tu peux connaitre à l'avance les types des données (parce qu'ils seraient toujours dans le même ordre), il est possible de "décortiquer" la chaîne de sorte à savoir quand la virgule est séparateur décimal ou séparateur de champs.

Tu n'as pet-être pas lu cette phrase que j'ai ajoutée plus tard au message.

Vois cet exemple :

2020-11-02_151024_3,203031025910,B03,14,Patient,5000,10000,5,5,,,,32,98874,NEGATIVE,NEGATIVE,NEGATIVE,NEGATIVE,39,39,39,22,INVALID,NA,RETEST

Le split donne le tableau de chaines Tmp() et voilà ce que je te propose :

Tmp(0) : c'est une chaine réprésentant un code 2020-11-02_151024_3
Tmp(1) : c'est une chaine de chiffres 203031025910
Tmp(2) : c'est une chaine quelconque B03
Tmp(3) : c'est une chaine de chiffres 14
Tmp(4) : c'est une chaine quelconque Patient
...
Tmp(12) : c'est une chaine de chiffres 32 =======> c'est la partie entière d'un réel
Tmp(13) : c'est une chaine de chiffres 98874 =======> c'est la partie décimale du réel
...

[thovan]

Non justement, les colonnes sont susceptibles de bouger d'un export à l'autre -_-

[Phil Rob]

Non justement, les colonnes sont susceptibles de bouger d'un export à l'autre -_-

Peut-être que la première ligne du fichier contient les noms des champs ? Comme si s'était une feuille XLS ?

[thovan]

Peut-être que la première ligne du fichier contient les noms des champs ? Comme si s'était une feuille XLS ?

Oui, voici comment ça marche :

En résumé, l'application est un traducteur pour des résultats de PCR Covid 19.
La machine fait la PCR et rend le CSV.

Le traducteur prend le CSV pour y extraire les données et les reformater au format BARCODE;TESTCODE;VALEUR;
Ensuite, le fichier traduit est intégré dans le système principal et rattaché au dossier du patient.

Comme les colonnes peuvent bouger, j'ai un fichier de config dans lequel je précise le nom de chaque colonne que je cherche.
Une 1ere série de boucle lit la ligne d'entête à la recherche des positions sur base d'un split(",") dans la ligne.
Une 2e boucle lit le reste du fichier et extrait les données au index déterminés.
Mais quand il arrive dans la colonne du résultat, et que ce résultat à une virgule en décimale, il split un caractère trop tot et coupe le chiffre en deux.

[Phil Rob]

Suite ...

... les données peuvent bouger dans le csv... d'un export à l'autre, elles peuvent changer de place...

On ne peut pas extraire des données sans savoir ce qu'elles sont ni à quoi elles servent. Les données que tu extrais sont sûrement destinées à des zones d'affichages, ou des champs de DB, ou des variables en vue de calculs, ...
Cela n'est pas possible si tu n'as pas l'information de la signification des données : on ne peut afficher le nom d'une personne à la place son prénom, ni son prénom à la place de son lieu de naissance, ni le montant à lui payer à la place de sa date de naissance, ...

...

[Phil Rob]

OK, il devrait donc être possible que traiter ce résultat tronqué sur la base de mon exemple :

Tmp(12) : c'est une chaine de chiffres 32 =======> c'est la partie entière d'un réel
Tmp(13) : c'est une chaine de chiffres 98874 =======> c'est la partie décimale du réel


Chaque virgule provoque une insertion dans la table Tmp() (de mon exemple). Et sachant à quelle valeur attendre à un moment donné, il devrait être possible de retrouver les parties entière et décimale du nombre réel, et de reconstituer ce réel.

...

[thovan]

haha, oui en effet...
C'est barbare mais ça devrait marcher....
A condition que ce soit bien toujours une virgule qui sépare les décimales...
Et chez nous je ne sais pas comment ils font mais il arrive qu'une fois ce soit virgule, une fois point.... -_-

Je pense que le mieux, c'est traiter manuellement pour corriger le format avant l'import...
A partir du moment ou la structure et le format ne sont pas stables, il ne peut y avoir de miracle.... non ?

[Phil Rob]

c'est traiter manuellement pour corriger le format avant l'import..

A ce moment tu as toujours le même problème. C'est pourquoi, perso, je travaillerais sur la table résultat du split, en sachant à quoi, correspond Tmp(0), ...
Et raison de plus si le séparateur décimal n'est pas toujours le même : quand Tmp(12) contient un point, tu sais que le réel est complet et que Tmp(13) est le data suivant.

Bon amusment,

[Thumb down]

Bonjour,
Les guillemets permettent de faire le distigo ! Ici les numérique,sans doute au format français, ont été exportés en texte. Si ils avaient été considéré comme numérique le séparateur de décimal serait le point.

Gère ton fichier en SQL et tu n'auras plus à te soucier de ça ! Phil connait très certainement la méthodologie.

[Phil Rob]

Bien sûr Thumb down ...

Mais quand on me parle de CSV, SQL n'est pas ma piste privilégiée.
S'il s'agit de traiter des chaînes contenant des datas ci et là, je partirais plus vite les expressions régulières.
Mais puisque Split dégrossit déjà tellement le travail, je ne vais pas m'emberlificoter dans la syntaxe complexe des expressions régulières.

Ta note à propos des guillemets est intéressante et peut-être que Thovan ne devrait pas commencer par leur suppression.

[ProgElecT]

Salut

J'insiste, si j'ai bien compris le chiffre à virgule ou non est toujours entouré de guillemets, donc

Code vbscript :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
Dim CSV, CtnLg, CtnCol,Cpt
CSV = "2020-11-02_151024_3,203031025910,B03,14,Patient,5000,10000,5,5,,,,""32,98874"",NEGATIVE,NEGATIVE,NEGATIVE,NEGATIVE,39,39,39,22,INVALID,NA,RETEST" & vbnewline
CSV =  CSV & "2020-11-02_151024_3,203031025910""12,3456"",B03,14,Patient,5000,10000,5,5,,,,,NEGATIVE,NEGATIVE,NEGATIVE,NEGATIVE,39,39,39,22,INVALID,NA,RETEST" & vbnewline
CSV =  CSV & "2020-11-02_151024_3,203031025910,B03,14,Patient,5000,10000,5,5,,,,,NEGATIVE,NEGATIVE,NEGATIVE,NEGATIVE,39,39,39,22,INVALID,""78,91011"",NA,RETEST"
 
 
CtnLg = split(CSV,vbnewline) 'decoupe du fichier en autant de ligne
 
For Cpt = 0 To Ubound(CtnLg)
        CtnCol = split(CtnLg(Cpt),chr(34))
        CtnCol(1)=replace(CtnCol(1),",",".")'force avec un . la récupération
        'ou
        'CtnCol(1)=replace(CtnCol(1),".",",")'force avec une , la récupération
        MsgBox  CtnCol(1)
Next

OUI en vbScript car je n'ai pas vb.net installé sur cet ordinateur, mais le principe est le même.

[Thumb down]

voila
Pas de Split, pas de recherche des guillemets ou de la virgule !
C:\Test\Test.Csv

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
Imports System.Data.OleDb
Public Class Form1
    Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load
        Dim DTReadCSV = New DataTable
        Dim connection As System.Data.OleDb.OleDbConnection = New System.Data.OleDb.OleDbConnection("Provider=Microsoft.ACE.OLEDB.12.0;Data Source=C:\Test;Extended Properties=""text;HDR=Yes;FMT=Delimited""") 'OU HDR=no
        Dim adapter As New OleDb.OleDbDataAdapter("SELECT * FROM [TEST#CSV]", connection)
        adapter.Fill(DTReadCSV)
        Me.DataGridView1.DataSource = DTReadCSV
 
 
 
 
    End Sub
End Class

[StringBuilder]

Quitte à dire une connerie, s'il ne s'agit pas ici d'un TD quelconque...

Utilise le NuGet "CsvHelper".

Tu vas voir, ça va être bien plus simple d'un coup

Code csharp :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
using (TextReader tr = File.OpenText("monfichier.csv"))
{
    CsvConfiguration configuration = new CsvConfiguration(CultureInfo.CurrentCulture);
    CsvReader reader = new CsvReader(tr, configuration);
    reader.Configuration.Delimiter = ",";
    reader.Configuration.Quote = "\"";
    while (reader.Read())
    {
        // Imprime la douzième colonne, logiquement ton nombre à virgule si je compte bien)
        console.write(reader.GetFieldOrDefault(12, string.Empty));
    }
}

[thovan]

Merci,
ça à l'air pas mal comme truc .

Je mets en résolu et je testerai à mon aise parce que ça demande une grosse réécriture du code.
En attendant, j'ai pu trouver un moyen d'export direct dans un format lisible.