Boucle while until EOF et .csv : problème

**Karshick** · 30/09/2014, 14h55

Bonjour,

Comme l'indique le titre du sujet, j'ai un soucis avec la fonction EOF sur les fichiers csv.

Voici le besoin : je dois, à partir d'une macro excel, pouvoir exploiter des CDR (Call Detail Record). Ma macro sert donc à les récuperer depuis le serveur et ensuite les ouvrir puis faire le tri.
Je bloque entre l'étape d'ouverture du fichier et remplissage.

Pour faire ce remplissage (je n'ai pas encore fait un quelconque tri, je cherche juste à remplir une feuille excel avec le fichier csv), je me sers d'une boucle qui bouclera tant que je ne suis pas en fin de fichier.

Problème : cette boucle s’arrête dès la fin de la première ligne.

Voici la fonction assurant l'ouverture du fichier et son remplissage

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
 
Private Function fillSheet(path As String)
    Dim ws As Worksheet
 
    path = Mid(path, 2, Len(path) - 2) 'Je retire les " en debut et fin de chaine
    Set ws = ThisWorkbook.Sheets.Add(After:=ThisWorkbook.Sheets(ThisWorkbook.Sheets.Count))
    ws.Name = "Test"
    Open path For Input As #1
    row_number = 0
    Do Until EOF(1)
        Line Input #1, linefromfile
 
        lineitems = Split(linefromfile, ";")
 
        ActiveCell.Offset(row_number, 0).Value = Mid(lineitems(1), 2, Len(lineitems(1)) - 2) 'Je retire les " en debut et fin de chaine
        ActiveCell.Offset(row_number, 1).Value = Mid(lineitems(1), 2, Len(lineitems(1)) - 2) 'Je retire les " en debut et fin de chaine
        ActiveCell.Offset(row_number, 2).Value = Mid(lineitems(2), 2, Len(lineitems(2)) - 2) 'Je retire les " en debut et fin de chaine
 
        row_number = row_number + 1
    Loop
 
    Close #1
End Function

Merci d'avance.

**Karshick** · 30/09/2014, 15h24

Okay j'ai compris.

En gros, les lignes ne sont pas séparés par des retour à la ligne mais par des espaces...
Hmm...

Invité · 30/09/2014, 15h45

bonjour,
les champ texte sont encadrés pars des double cote ["]
"Champ1";"Champ2"

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Private Function fillSheet(path As String)
    Dim ws As Worksheet
 
    path = Mid(path, 2, Len(path) - 2) 'Je retire les " en debut et fin de chaine
    Set ws = ThisWorkbook.Sheets.Add(After:=ThisWorkbook.Sheets(ThisWorkbook.Sheets.Count))
    ws.Name = "Test"
    Open path For Input As #1
    row_number = 0
     While EOF(1) = False
        Line Input #1, linefromfile
 
        lineitems = Split(Replace(linefromfile, Chr(34), ""), ";") 'je remplace le double cote par du vide! et je split
        ActiveSheet.Range(ActiveCell.Offset(row_number, 0), ActiveCell.Offset(row_number, UBound(lineitems) - 1)) = lineitems 'maintenant je peut affecter la totalité du tableau en une passe! 
'        ActiveCell.Offset(row_number, 0).Value = Mid(lineitems(1), 2, Len(lineitems(1)) - 2) 'Je retire les " en debut et fin de chaine
'        ActiveCell.Offset(row_number, 1).Value = Mid(lineitems(1), 2, Len(lineitems(1)) - 2) 'Je retire les " en debut et fin de chaine
'        ActiveCell.Offset(row_number, 2).Value = Mid(lineitems(2), 2, Len(lineitems(2)) - 2) 'Je retire les " en debut et fin de chaine
 
        row_number = row_number + 1
    Wend
 
    Close #1
End Function

**Karshick** · 30/09/2014, 16h12

Merci pour la réponse.

Le soucis ne vient pas des champs texts en eux même, mais de la facon dont sont délimités les lignes de mon fichier csv.

Je croyais au début que ces lignes étaient délimitées par des espaces mais finalement ce n'est pas le cas. Elle sont délimités par ...autre chose (c'est forcement autre chose vu que lorsque j'execute manuellement le fichier avec excel, celui ci repositionne bien tout).
J'essaie maintenant de remplacer ce... truc par des \n (nouvelle ligne).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

 lineitems = Replace(lineitems, Chr(13), Chr(10)) 'dans l'hypothese que ce soit un retour charriot

**Menhir** · 30/09/2014, 16h33

Pourquoi ne te simplifies-tu pas la vie en faisant un simple Workbooks.Open qui ouvrira ton fichier CSV en tant que classeur Excel ?

Invité · 30/09/2014, 16h44

ça n'est jamais de retour chariot des tabulation ??

Bonjour,
donne un exemple de CSV!
si il faut que tu bidonne les données utilise Notepad++ car Notepad va replacer les tabulations par des espaces! Notepad++ est gratuit!

**Menhir** · 01/10/2014, 10h12

Je viens de faire le test et il me semble que NotePad conserve les tab.
Tu ne confondrais pas avec l'éditeur VBA ?

Invité · 01/10/2014, 10h14

alors j'ai rien dit; possible que j'ai confondu !
merci

**Karshick** · 01/10/2014, 10h31

Merci pour vos réponses

Envoyé par Menhir

Pourquoi ne te simplifies-tu pas la vie en faisant un simple Workbooks.Open qui ouvrira ton fichier CSV en tant que classeur Excel ?

Je compte trier les informations présentes dans le fichier csv : tout ne m'est pas utile.
Je suppose que c'est plus rapide à faire en récupérant directement les colonnes voulues qu'en supprimant après avoir ouvert le classeur. (surtout que des colonnes, j'en ai un paquet... alors qu'il n'y en a au final peu qui m'interessent vraiment)

Voici un exemple de fichier (c'est long), je n'ai pris que les deux premières lignes

"RECORDID";"STARTUNIXTIME";"DATETIMEEND";"HOLDDURATION";"NBHOLD";"RINGDURATION";"TALKDURATION";"CONFDURATION";"CALLINITIATOR";"CALLERNUMBER";"CALLEREXTERNALNUMBER";"DIALEDNUMBER";"CALLEDNUMBER";"CALLEDEXTERNALNUMBER";"CALLERNAME";"CALLERDEVICENAME";"CALLEDNAME";"CALLEDDEVICENAME";"IPBXNAME";"COMMUNITYNAME";"AAASESSIONID";"CALLTYPE";"TERMINATIONCAUSE";"DIAGNOSTIC";"CDRSTATUS";"ACCOUNTCODE";"DEPARTMENT";"SITE";"CALLID";"BILLINGACCOUNTCUSTOM1";"BILLINGACCOUNTCUSTOM2";"REDIRECTIONCAUSE";"REDIRECTTIMESTAMP";"NEXTRECORDID";"CALLERTYPE";"CALLEDTYPE";"CALLFLOWID";"OWNERADMTIVEDOMAINID";"CREATETIMESTAMP";"DATETIMEENDGMT";"JOKERFIELD";"ISSUERIP";"SIPCALLID1";"SIPCALLID2";"CALLTAG";"CALLRECORDINGNAME";"FAXPAGES";"EXTERNALCALLID";"CALLTYPEFORBILLING"
"CDF";"1411*****";"2014-09-28 11:40:56";"0";"0";"2";"2";"0";"0627*****";"0627*****";"0627*****";"+33172*****";"200";"01721*****";"33627*****";"[GATEWAY].GwOpenVoice";"";"[csip-snom-821].000*******-master-1";"TC1";"CDFE";"";"E_Incoming";"SRC_DSC";"";"N";"";"Default";"";"CId[493756]";"CFDE";"CFDE";"CFAL";"141189*****7";"CDFE.1411******21.virt.8524.[200]";"EXTERNAL_NUMBER";"STATION";"CDFE.141189******9.conn.493758.[062******0]";"0.9.";"1411897******";"";"";"172.******:50**";"543d9dc*********23b9352402502@94.********";"";"";"";"0";"";"EC"

Comme vous pouvez le constater, entre "CALLTYPEFORBILLING" et "CDF", il y a un caractere spécial qui est n'est pas consideré, dans ma macro, comme un changement de ligne (du coup, au lieu d'avoir un plusieurs lignes de 49 colonnes, il considère que j'en ai une seule avec 2000+ colonnes)

**Menhir** · 01/10/2014, 10h46

Envoyé par Karshick

Je suppose que c'est plus rapide à faire en récupérant directement les colonnes voulues qu'en supprimant après avoir ouvert le classeur.

Il me semblait pourtant plus simple de supprimer une colonne dans un tableau Excel (Columns("D").Delete) que dans un CSV récupéré champ par champ.
D'autant plus que l'import Excel sait gérér les guillemets pour les textes.

Mais je ne connais pas précisément ton problème, donc je me trompe peut-être.
Cela dit, ça ne coute pas cher d'essayer puisque ça ne prend qu'une ligne de code (attention, si ton délimiteur est un ";", tu seras obligé de l'indiquer à VBA qui utilise "," comme séparateur par défaut des CSV (méthode anglo-saxonne), alors qu'Excel prend bien le ";" (méthode française) ).

**Karshick** · 01/10/2014, 10h58

Je sais pas trop...

A terme (c'est pas pour tout de suite, tout de suite

), j'aimerais pouvoir faire en sorte d'ouvrir une feuille excel par client (avec le détail de leurs appels) histoire de pouvoir faire la facturation plus efficacement.

Invité · 01/10/2014, 11h39

test ça

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Sub test()
strFilename = "C:\RepTest" 'Repertoire du fichier
Set cnx = CreateObject("ADODB.Connection") 'Création de l'objet connexion
ConnectionString = _
            "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & strFilename & _
            ";Extended Properties=""text;HDR=Yes;FMT=Delimited(;)"";Persist Security Info=False" 'définition de la connexion
cnx.Open ConnectionString 'ouverture de la connexion
Sql = "Select frm.[RECORDID],frm.[STARTUNIXTIME],frm.[DATETIMEEND],frm.[HOLDDURATION],frm.[NBHOLD] from test.csv as frm " 'sélection des champs du fichier (Retenir que certaine colonnes!)
Sql = Sql & "where frm.[RECORDID] not in('toto','titi') " 'exclusion de valeurs
Sql = Sql & "order by  frm.[RECORDID] ;" 'Faire un trie alphabétique!
Set rs = CreateObject("Adodb.recordset") 'création d'un objet pour le résultat de la requête
rs.Open Sql, cnx 'exécution de la requête
ActiveCell.CopyFromRecordset rs 'envoyer le résultat dans Excel!
rs.Close
cnx.Close
Set rs = Nothing
Set cnx = Nothing
End Sub

**Marc-L** · 01/10/2014, 11h40

Bonjour,

pour quelqu'un maitrisant la lecture d'un fichier texte (moins d'une heure est nécessaire pour boucler le projet !),
mieux vaut effectivement le traiter en mémoire.

Sinon, je suis de l'avis de Loïc, mieux vaut ne pas perdre de temps, laisser Excel charger la totalité du fichier
puis supprimer les colonnes inutiles et, via l'Enregistreur de macros, une base de code est livrée sur un plateau !

Utiliser un éditeur de fichier capable d'afficher en hexadécimal / décimal les caractères est un plus
afin de vérifier la structure du fichier, séparateurs et caractères spéciaux …

Pour rappel, un fichier csv a pour séparateur soit la virgule soit le point-virgule …

**Karshick** · 01/10/2014, 11h43

Bon, j'ai comparé avec un autre fichier CSV (avec celui la, ca fonctionne bien u_u") et grace à notepad++ et son affichage des symbols , j'ai constater que sur l'un (celui qui marche), j'ai CR LF comme symbol en fin de ligne alors que sur l'autre je n'ai que LF.

Du coup j'essaie de remplacer les LF par des CR LF

Edit : je n'avais pas vu les deux messages précedents.
Je vais tester la solution de rdurupt, merci

**Karshick** · 01/10/2014, 13h47

Rebonjour,

J'essaye d'utiliser la solution proposée par rdurupt mais je bloque sur une erreur : "Aucune valeur donnée pour un ou plusieurs des paramètres requis (erreur d’exécution '-2147217904(80040e10)'" qui apparait ligne 11
Voici le code de la fonction (que j'ai un peu adaptée à mes besoins)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
Private Function fillSheet(path As String) 'path est sous la forme "c:\user\directory\cdr_yyyymmdd.csv"
Set cnx = CreateObject("ADODB.Connection") 'Création de l'objet connexion
ConnectionString = _
            "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & Left(path, Len(path) - 16) & _
            ";Extended Properties=""text;HDR=Yes;FMT=Delimited(;)"";Persist Security Info=False" 'définition de la connexion
cnx.Open ConnectionString 'ouverture de la connexion
Sql = "Select frm.[RECORDID],frm.[STARTUNIXTIME],frm.[DATETIMEEND],frm.[HOLDDURATION],frm.[NBHOLD] from " & Right(path, 16) & " as frm " 'sélection des champs du fichier (Retenir que certaine colonnes!)
Sql = Sql & "order by  frm.[RECORDID] ;" 'Faire un trie alphabétique!
Set rs = CreateObject("Adodb.recordset") 'création d'un objet pour le résultat de la requête
rs.Open Sql, cnx 'exécution de la requête
ActiveCell.CopyFromRecordset rs 'envoyer le résultat dans Excel!
rs.Close
cnx.Close
Set rs = Nothing
Set cnx = Nothing
End Function

Pourquoi

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Left(path, Len(path) - 16)

et

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

Right(path, 16)

? Car dans le premier cas, je veux récuperer le chemin d'accès du repertoire du fichier concerné (et le fichier, avec l'extension fait au total 16 caractères. Dans le deuxieme cas, je ne veux récuperer que le fichier (avec son extension).

Je pense que cette erreur provient de l'underscore présent dans le nom du fichier (j'ai essayé de l'échappé comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

"cdr[_]" & Right(path, 12)

mais ca n'a pas fonctionné.
Edit : cela ne provient pas de l'underscore...

**Karshick** · 01/10/2014, 15h16

grmbl...

J'ai testé avec une simple requête "select * from file.csv" et j'ai ainsi pu remarquer qu'il considère que je n'ai qu'une seule colonne dans mon csv (il ne me sort que la colonne RECORDID)

J'en comprends donc que le FMT=Delimited(; ) n'est pas pris en compte

Invité · 01/10/2014, 15h26

quand je test sur un win Xp ça marche???

**Karshick** · 01/10/2014, 16h02

Je suis sous win8 et bah... ca marche pas

Ca ne prends que la première colonne, ce qui est assez problématique.

Juste au cas ou, voici la partie sql (dès fois que j'ai fait une connerie

)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
Set cnx = CreateObject("ADODB.Connection") 'Création de l'objet connexion
    ConnectionString = _
                    "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" & Left(path, Len(path) - 16) & _
                    ";Extended Properties=""text;HDR=Yes;FMT=Delimited(;)"";Persist Security Info=False" 'définition de la connexion
    cnx.Open ConnectionString 'ouverture de la connexion
    Sql = "Select * from cdr_20140928.csv; "
    Set rs = CreateObject("Adodb.recordset") 'création d'un objet pour le résultat de la requête
    rs.Open Sql, cnx 'exécution de la requête

Invité · 01/10/2014, 16h17

non c'est bon; moi aussi je patauge; je donnes des idées et je me débine pas cool; en tous cas je cherches car ça m’intéresse également!

**Karshick** · 01/10/2014, 16h33

Trouvé !

J'ai du rajouter une fonction me permettant de créer un fichier schema.ini.

Voici la fonction en question

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
Sub CreateSchema(path As String)
 
Open Left(path, Len(path) - 16) & "schema.ini" For Output As #1
 
Print #1, "[" & Right(path, 16) & "]"
Print #1, "ColNameHeader = True" 'En choisissant False, le Titre des colonnes (RECORDID par exemple) seront consideré comme étant de simples données. Vous ne pourrez pas faire de test via les requêtes sql dessus donc.
Print #1, "CharacterSet = ANSI"
Print #1, "Format=Delimited(;)"
 
Close #1
 
End Sub