Problème de lecture d'un fichier .csv.

Bonjour,

Habitué a consulter ce forum en tant que lecteur, je viens vers vous en cette belle apres midi (dans le sud ouest en tout cas).

Je suis actuellement confronté a un problème que je n'arrive pas a résoudre. Celui ci concerne comme il est indiqué dans le titre de ce message la lecture d'un fichier .csv.

Le réel problème vient du fait que je travaille sur 2 environnements différents, sur le premier la lecture de ce fichier .csv se fait sans problème et toute les macros qui reposent la dessus se déroule sans soucis.
C'est sur le second que cela se corse. A savoir que sur ce second PC je n'ai pas Microsoft Visual basic installé, je n'ai que le Visual basic for application d'installé.
Afin de comprendre d'ou venait le probleme vu que je n'avais pas la possibilité d'utiliser le mode pas a pas (n'ayant pas VB6 d'installé), j'ai généré un fichier txt dans lequel je trace l'avancé du programme. C'est comme ca que j'en suis venu a comprendre que la lecture du fichier csv fichait tout en l'air.
Voici un extrait de mon fichier txt généré (sur les 2 environnements différents).

Environnement 1 (environnement OK):

Code:

---

1 2 3 4 5 6 7 8 9 10

Source SELECT * FROM Extract.csv WHERE [F2] Is Not Null ORDER BY [F2]   Matches.count est : 1 La valeur suivante a bien été recueillie 21 Bookmark : 1 Field Name: F1 Field Value: 153 Field Name: F2 Field Value: 21-20

---

F1 colonne 1, F2 colonne 2, on retrouve la valeur 153 dans la colonne F1 et la valeur 21-20 dans la colonne F2 pour la premiere ligne. A savoir qu'il y a 21 colonnes donc F1-F21.

Et cela sur 117 lignes, car il y a 117 lignes dans mon fichiers .csv.


Environnement 2 (environnement ou cela ne marche pas):

Code:

---

1 2 3 4 5 6 7 8 9

Source SELECT * FROM Extract.csv WHERE [F2] Is Not Null ORDER BY [F2]   Matches.count est : 0 L4 :Bookmark : 1 Field Name: F1 Field Value: 1007;34-42;RA;A;1;A429;Multi;1;1;No;RA 1;LRU;XCVR-RA Field Name: F2 Field Value: 1;1;0x0043;standard;0x0007;N/A;10.142.16.7;SCI_BITE_A429_OUT_1_1_1;N/A

---

Maintenant sur le second environnement ou cela ne marche pas, on s'apercoit que dans la colonne F1 on récupère 13 valeurs, et dans la colonne F2 8 valeurs. La par contre, il n'y a que 2 colonnes et non 21.

J'en suis venu a comprendre que cela venait de la lecture du fichier. En fait si la fin du champs F1 se termine sur "XCVR-RA", c'est parce que cette ligne contient une ",". Il semblerait donc que dans cette environnement la gestion des fichiers .csv se fait sur la "," et non sur la valeur habituelle du ";".

Dans ce fichier on ne récupere que 14 lignes. Car il y a 14 lignes dans mon fichiers de 117 lignes avec des ",".


J'ai donc pensé que cela venait d'une dll qui ne serait pas a jour, mais je ne sais vraiment pas vers laquelle me tourner =(

Je ne veux pas m'amuser a modifier les dll au petit bonheur la chance. J'ai donc crée une variable d'environnement utilisateur "Path=.;" qui permet d'indiquer au PC lorsqu'il recherche une DLL, de rechercher dans le répertoire courant (indiqué par le "."). j'ai mis les dll suivantes dans mon répertoire courant qui contient le .exe de mon application:

user32.dll
secur32.dll
oleaut32.dll
rpcrt4.dll
ntdll.dll
ole32.dll
msvcrt.dll
msvcrt20.dll
msvbvm60.dll
kernel32.dll
gdi32.dll
advapi32.dll
vb6fr.dll

Concernant le choix de ces dll, j'ai utilisé le dependency walker sur le .exe de l'environnement 1, et j'ai regardé celles utilisées.

C'est la première fois que je suis confronté a un tel probleme, je m'y prend peut etre mal vis a vis de la solution a y apporter et suis tout ouïe.


Merci par avance pour le temps que vous aurez consacré a lire ce message, en espérant ne pas avoir fait d'entorse au règlement du forum sur la syntaxe des messages.

Bonsoir,

ce n'est pas un problème de dll mais de paramétrage de ton système et des options régionales

voir menu démarrer/Panneau de configuration/Option régionale et linguistique/Onglet Options régionale/Personnaliser/ Séparateur de liste.


;)

Bonjour,

Merci pour votre réponse. Mais il se trouve qu'apres vérification, le séparateur de liste est bel et bien ";" sur les 2 PCs.

Si jamais vous auriez d'autres idées, je suis tout ouïe :mrgreen: et vous en serez reconnaissant.

Bonjour,

J'ai déjà eu le pb et j'avais contourné le probléme en remplaçant les virgules par une balise [virg] avant l'extraction puis en remétant la vigule au traitement des chaines.

C'est probablement pas la meilleure solution, mais c'est vite mis en place.

La où le problème devient insoluble, c'est lorsqu'il y a des ; dans le texte...

Citation:

---

Envoyé par Azuchi

... A savoir que sur ce second PC je n'ai pas Microsoft Visual basic installé, je n'ai que le Visual basic for application d'installé....

---

:koi: je ne comprends pas cette phrase qu'appelle-tu "installer le VBA" ?


quel code utilise tu pour lire ton fichier csv.?

@Pascal:

Le fichier que j'utilise en csv est un fichier qui n'est pas été crée via le langage VB. C'est un fichier que je ne fais que lire. Il est déjà écris et complet avant le lancement de mon application VB6. Je ne peux donc pas venir y écrire et remplacer chaque virgule par une balise [virg], ce fichier doit resté tel quel.

@bbil:

En fait ce que j'essayais de dire, c'est que sur le pc sur lequel l'applciation ne tourne pas, je n'ai pas Microsoft VIsual basic 6 d'installé. Sur ce poste là, seul le composant "Visual basic for application" a été installé, de ce que j'ai cru comprendre cet .exe est "un fichier exécutable auto-extractible qui installe les dernières versions des fichiers d'exécution Microsoft Visual Basic requis par toutes les applications créées avec Visual Basic 6.0".

Je peux me tromper, mais je pensais que cela était suffisant a l'utilisation de mon application réalisé en VB6 sur mon autre PC.


Ensuite je viens lire mon fichier csv, via mon application développé sous VB6.
(j'ai crée un fichier Monappli.exe afin qu'il puisse etre exécutable sur le PC ne disposant pas de Microsoft visual basic d'installé).

J'espere avoir réussi a me faire comprendre, et vous donnerez plus d'informations si necessaire.



Cela dit, je pense que cela concerne bien les paramétrage régionnal comme tu me l'as précisé pour ta premiere réponse. Je me demande juste s'il n'y a pas un "autre endroit" ou VB irait chercher la description de son séparateur de liste.


Merci a vous pour le temps que vous me consacrez :)

Bonjour,

peux tu nous montrer le code de ton programme, en tout cas la portion de lecture et d'extraction des données du fichier csv ?
S'il n'est pas trop volumineux, mets nous également ton fichier csv.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29

'Avec le pattern suivant: "^([0-9][0-9])(\-[A-Z0-9][A-Z0-9])$" g_objRegExp.Pattern = strBITEATAPattern   'Requete SQL me récupérant dans une colonne toutes les valeurs non nulles. reqSQL = "SELECT * FROM " + tableStrBITESD+ " WHERE [F2] Is Not Null ORDER BY [F2]"   'A l'objRecordset je lui assigne le resultat de la requete. Set objRecordset = g_objConnection.Execute(reqSQL)   'Pour chaque valeur trouvé dans la colonne F2 non nulle, je stocke la valeur de celle ci dans mon objet.   While Not objRecordset.EOF Set g_objetMatches = g_objRegExp.Execute(objRecordset("F2").value)   If g_objetMatches.Count > 0 Then strMatch = g_objetMatches.Item(0).SubMatches(0) If objet.Exists(strMatch) = False Then objet.Add strMatch, "" End If End If   objRecordset.MoveNext   Wend   objRecordset.Close Set objRecordset = Nothing

---

Ensuite mon fichier csv est un fichier de 117 lignes pour 21 colonnes.

Le problème étant comme expliqué dans mon premier message, que suivant l'environnement sur lequel je me trouve, la macro va utilisé le séparateur de liste suivant "," ou ";".

J'ai testé a partir de l'environnement qui n'utilise pas le séparateur ";" mais qui utilise la ",", de remplacer justement les ";" de mon fichier csv par des ",". A partir de ce moment la, la lecture du fichier se fait correctement... mais ce n'est pas le but, je veux pouvoir l'exécuter ma macro avec le séparateur ";".

Sinon le fichier .csv en lui meme est basique, voici un aperçu tronqué car assez gros:

Code:

---

1 2 3 4

1;31-60;CDS;B;1;AFDX;Multi (Side 0 is exclusive, Side 3 is single);0;N/A;No;CDS;LRU;DU CL ;1;0x0038;standard;N/A;N/A;10.2.44.1;N/A;N/A 1;31-60;CDS;B;1;AFDX;Multi (Side 0 is exclusive, Side 3 is single);0;N/A;No;CDS;LRU;DU CR;1;0x0039;standard;N/A;N/A;10.2.76.1;N/A;N/A 1;31-60;CDS;B;1;AFDX;Multi (Side 0 is exclusive, Side 3 is single);3;N/A;Yes;CDS 3CM;LRU;DU 3CM;1;0x000E;standard;N/A;N/A;10.2.71.1;N/A;DLCS_SPP_INSTRUMENTS_THIRD_FLIGHT_CREW_MEMBER

---

On peut voir dans cet extrait du fichier .csv, des "," contenus dans la valeur suivante par exemple:
- "Multi (Side 0 is exclusive, Side 3 is single)"

Lors de l'exécution de la macro sur l'environnement 2 (qui ne marche pas), la macro récupère le contenu de cette ligne dans 2 colonnes et non 21. Dans la premiere colonne, il y a le contenu de la ligne jusqu'a la virgule, c'est a dire les 8 premiers champs dans l'exemple ci dessus, puis dans la seconde colonne les 13 champs suivants.

Et cela pour 14 lignes uniquement car l'on retrouve 14 virgules dans différents champs dans mon fichier .csv.


J'espère avoir été suffisamment clair...


[EDIT]: Je pense cependant que cela doit avoir un rapport avec ce que bbil a proposé. Mais il doit y avoir un autre endroit ou VB cherche ce séparateur, est ce possible?

Encore Merci.

Je ne vois pas dans ton code la lecture du fichier csv et encore moins l'extraction des données de ce fichier.

Au temps pour moi.

Code:

---

reqSQL = "SELECT * FROM " + tableStrBITESD+ " WHERE [F2] Is Not Null ORDER BY [F2]"

---

En fait dans la variable tableStrBITESD se trouve "tableStrBITESD.csv"

Ensuite je fais la lecture de mon fichier sur la colonne F2 dans la boucle While ou je me déplace de ligne en ligne en regardant la valeur stocké dans F2.
Pour ensuite la stocker dans StrMatch qui sera utilisé ultérieurement pour etre écrite dans un fichier .txt

Citation:

---

Envoyé par OhMonBato

Je ne vois pas dans ton code la lecture du fichier csv et encore moins l'extraction des données de ce fichier.

---

+1

Citation:

---

Envoyé par Azuchi

Au temps pour moi.

reqSQL = "SELECT * FROM " + tableStrBITESD+ " WHERE [F2] Is Not Null ORDER BY [F2]"

---

Toujours pas de code de lecture du fichier .csv, reqSQL semble être une variable string ...

Citation:

---

Envoyé par Azuchi

En fait dans la variable tableStrBITESD se trouve "tableStrBITESD.csv"
...

---

?? :koi: quel est le type de ta variable tableStrBITESD , comment l'initialise tu ?

J'avoue ne pas être familier avec le SQL et je n'ai jamais essayé d'importer de fichier texte avec mais en farfouillant un peu, il me semble qu'on peut spécifier le séparateur de champ avec -s"définition du séparateur" :

Code:

---

reqSQL = "SELECT * FROM " + tableStrBITESD+ "-s" & chr(34) & ";" & chr(34) & " WHERE [F2] Is Not Null ORDER BY [F2]"

---

Je ne suis pas sûr de la syntaxe pour les guillemets ou pas autour du séparateur.

Tout d'abord merci pour vos réponses et pour le temps que vous continuez a m'accorder :-)

Je dois sans doute mal m'exprimer.

En fait le code original de la requete (j'ai récupéré cette application suite a un abandon) n'était pas exactement le meme que je vous ai présenté. J'ai tout d'abord pensé que le probleme venait du "from" de la requete (je ne suis également pas un habitué du SQL).

Le code original:

Code:

---

1 2 3

Dim objRecordset As ADODB.Recordset Set objRecordset = g_objConnection.Execute("SELECT * FROM tableStrBITESD.csv WHERE [F2] Is Not Null ORDER BY [F2]")

---

Le code que j'utilise mais qui revient au meme sur l'environnement sur lequel tout marche.

Code:

---

1 2 3 4 5 6 7 8 9 10 11

Dim objRecordset As ADODB.Recordset Dim reqSQL as String Dim tableStrBITESD as String   'Le nom du fichier est récupéré via une autre fonction, celle se déroule 'correctement. tableStrBITESD = "tableStrBITESD.csv"     reqSQL = "SELECT * FROM " + tableStrBITESD+ " WHERE [F2] Is Not Null ORDER BY [F2]" Set objRecordset = g_objConnection.Execute(reqSQL)

---

@bbil:

En fait ma variable objrecordset est un objet de "ADODB.Recordset"
La lecture du fichier se fait donc via cette objet vu que la classe ADO recordset contient le résultat de ma requête suite à son exécution, si je ne me trompe pas.
Donc la lecture se fait dans ma boucle while juste apres, ou je passe ligne par ligne jusqu'a la fin de fichier. Je récupère la valeur qui m'interesse dans la variable "strMatch" (un string) qui correspond pour la ligne 1 colonne 2 (F2) de mon fichier csv a "31-60"

Exemple d'une ligne du fichier csv.

Code:

---

1;31-60;CDS;B;1;AFDX;Multi (Side 0 is exclusive, Side 3 is single);0;N/A;No;CDS;LRU;DU CL ;1;0x0038;standard;N/A;N/A;10.2.44.1;N/A;N/A

---

Le probleme au début je pensais venait de ADODB.Recordset, vu que la lecture du fichier se faisait mal (séparateur de liste "," au lieu de ";").

Je dois reconaitre que je ne sais plus trop ou j'en suis, cette histoire de séparateur de liste dans l'onglet régional me semblait tellement belle :-) bien que je pense que cela doit avoir un rapport (je m'acharne, je sais).

@OhMonBato:

Je vais essayer la ligne de commande que vous m'avez fourni, et voir ce qu'il en est.

[EDIT]: La ligne de commande ne semble pas fonctionner quand bien même je touche au Chr(34) autour du séparateur.

Personellement pour quelque chose d'aussi smple que lire un fichier texte au format cvs, j'utilise purement du code vb, sans passer par ADO
çà donnerait quelque chose chose comme ceci

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

Private Sub Command1_Click() Dim lPnt As Long Dim hFich As Integer Dim Buffer As String Dim TbleLignes As Variant Dim TbleVars As Variant ' ouvrir le fichier en mode binaire 'et recuperer son contenu dans un string hFich = FreeFile Open "tableStrBITESD.csv" For Binary As #hFich Buffer = String(LOF(hFich), 0) Get #hFich, 1, Buffer Close #hFich 'generer un tableau avec une ligne par indice TbleLignes = Split(Buffer, vbCrLf) 'parcourir le tableau For lPnt = 0 To UBound(TbleLignes) 'traiter chaque ligne 'chaque variable contenue das la ligne est mise en tableau TbleVars = Split(TbleLignes(lPnt), ";") 'reste à reagarder la variable qui interesse Debug.Print "ligne n° " & lPnt & " Variable n° 2 " & TbleVars(1) Next End Sub

---

Je vais essayer de changer le principe de lecture de mon fichier. Or je ne pense pas vraiment que cela va marcher car au final ca reste un problème de séparateur de liste, non?

Merci tout de meme pour ce conseil, que je m'en vais tester de ce pas :-)

[EDIT]: Cela n'a pas marché malheureusement. Ce doit donc être bel et bien un probleme de séparateur de liste suivant la région... Mais la modif générale n'a pas marché et ne marche toujours pas (via option régionale).

D'autres idées? :-)

Si ton fichier csv a toujours ses champs séparés par des ";" la méthode proposée par Delbeke marche à tous les coups puisque le séparateur est défini dans le code :

Code:

---

1 2	'chaque variable contenue das la ligne est mise en tableau TbleVars = Split(TbleLignes(lPnt), ";")

---

Personnellement je lis le fichier ligne à ligne et pas en mode binaire mais ce n'est qu'une différence de détail.
Je n'osais pas parler de cette méthode au départ car je croyais comprendre que tu voulais à tout prix passer par la méthode ADO mais, comme Delbeke, pour du fichier texte j'ai l'habitude de lire le fichier de manière classique.

Disons que je préfère garder ADODB.recordset car cela me permet de passer dans la requête, le tri par la colonne F2 de manière simple.

Apres il y a le fait également que ce n'était qu'un apercu du code, et dans celui ci je dois de nombreuses fois ouvrir un fichier .csv, toutes ces ouvertures et lectures étant basées sur ADO.

De plus il se trouve que j'ai des fonctions déja développés qui utilisent des objets Recordset.

C'est pourquoi je veux garder la méthode ADO, et réussir a comprendre d'ou cela vient, d'une part pour avancer dans mon programme bien sur, mais surtout afin de comprendre le mécanisme de cette lecture de .csv afin que si cela se reproduise je sache comment m'en dépatouiller.

Désolé d'être si exigeant :oops:

moi avant le split j'ajoute un replace "," par "[virg]" puis pour chaque chaine obtenue avec le split je refais le replace inverse ([virg] par ,).

Dommage que je ne retrouve plus le lien, c'était en faisant une recherche sur Google avec "SQL CSV delimiter", mais je crois pourtant me souvenir qu'il fallait bien utiliser "-s" + définition du delimiteur.

Tu devrais essayer de poser la question sur le forum SQL

Je vais suivre ton conseil et crée donc un message dans la partie SQL en espérant que l'indication du séparateur puisse résoudre ce probleme :-)

La réponse aura au moins le mérite d'être claire:


De CinePhil:
Le langage SQL est censé être utilisé pour interroger (créer, mettre à jour...) une base de données relationnelle composée de tables, elles-même composées de colonnes et de lignes. Il n'est donc pas prévu de séparateur puisqu'en SQL on demande simplement d'extraire les données de telle(s) colonne(s) de telle(s) table(s).

On en revient donc au problème d'ADO / Séparateur de liste :-(

Je suis actuellement en train de regarder dans le registre les endroits ou sont stockés ces informations là. Actuellement, j'en ai trouvé 2:

HKEY_CURRENT_USER/Control Panel / Internationnal
HKEY_USER/Control Panel / Internationnal

Il y a une variable sList, qui est bien égale a ";" dans les 2 cas. Et qui change suivant l'option régionale.

Et bien voilà apres quelques recherches, j'ai enfin trouvé la réponse.

Je vous la donne pour ceux qui pourrait y être confrontés un jour ou l'autre.



Ce qui a solutionné mon problème, c'est la variable dans le registre:

HKEY_LOCAL_MACHINE\Software\Microsoft\Jet\4.0\Engine\Text puis choisir la variable Format.

Pour ma part elle était encore en CSVDelimited. Je l'ai passé en Delimited(; ).
(L'espace après le ";" est a supprimé, il est juste là afin d'éviter le smiley).

Cela a résolu mon probleme.


Merci pour l'aide que vous m'avez apportés.

Personnellement, je suis plutôt opposé à changer des valeurs dans la base de registre sur une machine, s'ils sont déclarés de telle ou telle manière c'est qu'il y a normalement une raison. Un autre logiciel que le tien, qui attend des virgules, ou des tabulations, ou autres devra agir de la même manière ?

Il te suffirait d'écrire une fonction de lecture "standard" de fichier csv pour extraire tes données et là ça fonctionnerait sur toutes les machines, indépendament de leur configuration.

En fait, il se trouve que ce problème avait déjà été remarqué sur cet environnement.

Ils ont eu a faire pour d'autres programmes en d'autres langages des modifications du même genre que celle que j'ai faites car ils ne parvenaient pas non plus a lire les fichiers .csv en se basant sur ";".

Il faut tout de même savoir que dans cet environnement, ils sont également en option régionale Française personnalisé avec le séparateur de liste qui a pour valeur le ";" et non la ",".

Ce qui par la modification de cette valeur (celle du registre) rend les paramètres régionaux "correctes".