vba : supprimer des colonnes dans un fichier csv

Version imprimable

17/11/2020, 10h12
BackDev1

vba : supprimer des colonnes dans un fichier csv

Bonjour,

J'ai des fichiers csv contenant des données alphabétique et numérique, l'ensemble séparé par des virgules.
Je voudrais pouvoir modifier les fichiers csv via vba pour supprimer des "colonnes", ou dit autrement des valeurs entre 2 virgules en ayant connaissance du numéro des virgules (par exemple si je veux supprimer la 2ème "colonne", c'est entre la 1ère et 2ème virgule), tout en gardant le format .csv

Est-ce que vous pouvez m'orientez sur la méthode à utiliser pour faire ceci ?
17/11/2020, 13h03
iVBAveADream

Bonjour,
Si tu importes ton documents dans excel en précisant le caractère séparateur, il devrait organiser ton fichier csv dans une feuille excel.
Tu pourras ensuite modifier les colonnes comme pour une feuille classique en choisissant le numéro de colonne/ligne, y compris via VBA non?
Ensuite tu réexportes en .csv
18/11/2020, 17h55
BackDev1

L'objectif est de le faire via une macro parce que je vais avoir un grand nombre de fichier à traiter.
Donc, je voudrais pouvoir le faire sans avoir à importer puis exporter, ce qui risque d'être assez long.

Salut.

Tu pourrais essayer ceci, qui travaille avec des arrays et une feuille Excel (la feuille active du classeur, à adapter). Pour le temps de traitement, tout dépend de la taille de ton fichier: 20000 lignes de 5 colonnes ramenées à 3 en 2 secondes.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
Sub Treatment1(ColumnsToDelete, SourceName As String, Optional TargetName As String)
  Dim s As ADODB.Stream
  Dim Source As String
  Dim t, r
  Dim i As Long, j As Long, cols As Long
  Dim Text As String, Target As String
 
  If TargetName = "" Then TargetName = SourceName
 
  Set s = New ADODB.Stream
  s.Charset = "utf-8"
  s.Open
  s.LoadFromFile SourceName
  Source = s.ReadText
  s.Close
 
  t = Split(Source, vbCrLf)
  For i = 0 To UBound(t)
    r = Split(t(i), ",")
    If UBound(r) <> -1 Then
      If cols = 0 Then cols = UBound(r)
      Range("a" & i + 1).Resize(1, UBound(r) + 1).Value = r
    End If
  Next i
 
  For i = UBound(ColumnsToDelete) To 0 Step -1
    Cells(1, ColumnsToDelete(i)).EntireColumn.Delete
  Next i
 
  t = Cells(1, 1).Resize(UBound(t) + 1, cols - UBound(ColumnsToDelete)).Value
  For i = 1 To UBound(t)
    Text = ""
    For j = 1 To UBound(t, 2)
      Text = Text & t(i, j) & ","
    Next j
    Text = Left(Text, Len(Text) - 1)
    Target = Target & Text & vbCrLf
  Next i
 
  Set s = New ADODB.Stream
  s.Charset = "utf-8"
  s.Open
  s.WriteText Target
  s.SaveToFile TargetName, adSaveCreateOverWrite
End Sub
 
Sub Test1()
  Dim Debut As Date, Fin As Date
 
  Debut = Now
  Treatment1 VBA.Array(2, 4), "c:\data\temp\source.csv", "c:\data\temp\target.csv"
  Fin = Now
  Debug.Print Format(Fin - Debut, "hh:mm:ss")
End Sub

19/11/2020, 16h41
Patrice740

Bonjour,

Citation:

Envoyé par Pierre Fauconnier

.

L'éternel problème des fichiers csv c'est qu'il ne sont pas standardisés, notamment au niveau du séparateur de lignes, beaucoup n'utilises que vbLf, d'autre vbCrLf, et certains uniquement vbCr.
Le Split(Source, vbCrLf) risque de ne pas produire l'effet recherché : séparer les différents enregistrements (ou lignes).
D'autre part, il arrive fréquemment qu'un champ texte (délimité par ") contienne un séparateur de ligne, par exemple dans les adresses. Dans ce cas le split coupe en deux (ou plus) un enregistrement.
19/11/2020, 16h50
Pierre Fauconnier

Salut Patrice,

C'est toujours à tester, avec un CSV. Il faudrait s'en tenir à la norme, mais il n'y a pas vraiment de norme CSV comme pour un xml, par exemple.

Normalement, lorsque du texte est censé contenir un caractère de contrôle, il doit être encadré de guillemets. Perso, j'ai écrit un parseur de csv parce que plusieurs de mes clients utilisent des CRM/ERP qui permettent une extraction "Excel" (ha ha ha) sous forme de CSV. S'ils respectent la règle de mettre le texte entre guillemets lorsqu'elle contient des caractères de contrôle et que l'on double les guillemets à l'intérieur d'une zone de texte, ce qui est préconisé par la "norme", le parseur fonctionne bien.

Donc, oui, d'une façon générique, la méthode avec SPLIT a ses limites. A voir par le demandeur pour son besoin précis. Perso, je ne suis pas forcément fan d'une extraction "à la Excel" car la page de code utilisée est souvent "Windows-8859" ou "ISO 8859-1" à la place de "utf-8"... Ca n'aide pas. XML et json ont normé en utf-8 et c'est quand même plus simple à gérer.
21/11/2020, 10h52
Thumb down

Bonjour,
Par défaut le caractère de séparation de colonne d'un CSV n'est pas les points virgule mais la virgule.

Je t'invite à récupérer tes données via un Rerordset et une connexion AdoDb!

Tu pourras même à ta guise sélectionner les colonnes que tu veux garder.

Pour compléter Thumb :plusser:, je livre ici le résultat de mes tests. Le manque de norme CSV oblige à spécifier les formats spécifiques de tes CSV.

je passe par un fichier Shema.ini déposé dans le dossier qui contient la source et dans lequel sera déposé le résultat. Ce fichier schema.ini contient les informations de format des fichiers traités. Il contiendra un bloc par fichier, que ce fichier soit source ou cible. En première ligne de bloc, on a le nom du fichier, puis les spécifications du CSV.
Code:

1 2 3 4 5 6 7 8 9 10 [source.csv] Format=Delimited(;) DecimalSymbol=. ColNameHeader=TRUE [Target.csv] Format=Delimited(;) DecimalSymbol=. ColNameHeader=TRUE TextDelimiter=
En partant d'un fichier source.csv contenant 5 colonnes (Prénom, Nom, Montant, Service, Actif), je crée le fichier target.csv contenant Prénom, Montant, Service avec le code suivant:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 Sub Test1() Dim cn As Object Dim Path As String, Source As String, Target As String Path = "c:\data\Temp\" Source = "source.csv" Target = "target.csv" If Dir(Path & Target) <> "" Then Kill Path & Target Set cn = CreateObject("ADODB.Connection") cn.ConnectionString = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & Path & ";Extended Properties='text;HDR=NO;CharacterSet=65001';" cn.Open cn.Execute "select Prénom, Montant, Service into " & Target & " from " & Source cn.Close Set cn = Nothing End Sub

22/11/2020, 16h06
Thumb down

Bonjour Pierre
Attention dans les requêtes [Target#Csv]
22/11/2020, 16h09
Pierre Fauconnier

Salut Thumb

Ton message est tellement sibyllin que je ne l'ai pas compris...

Ma solution a été testé et fonctionne. Si tu en as une autre ou que tu rencontres un problème, explique-toi, mais perso, les devinettes, j'ai passé l'âge ;)
22/11/2020, 16h21
Thumb down

Non c'est très bien mon bémol c'est les points dans les requêtes SQL ado est allergique , chez moi ça passe pas,il faut les replace par #, pas d'autres remarques.

Source = "source#csv"
Target = "target#csv"
22/11/2020, 17h45
Pierre Fauconnier

J'ai eu cela une fois, parce que j'avais laissé le datasource en database, et du coup, il ne trouvait la requête xxx#csv alors que j'avais passé xxx.csv. Mais en attaquant du csv, je n'ai pas rencontré ce problème. Peut-être parles-tu de ado.net alors qu'ici on parle de adodb?
22/11/2020, 23h34
Thumb down

Le plus important c'est que notre ami trouve une solution efficace et ton Select into est bien mieux que ma proposition de recordset !

Je remplace systèmatiquemt les points par des #
23/11/2020, 06h56
Pierre Fauconnier

Avec les points, je n'ai pas de problèmes. Avec le #, si la table existe déjà, il ne veut pas la remplacer et se met en erreur.

Avec ta remarque, doit-on conclure que l'utilisation du . ou du # dépend de l'environnement? J'ai quand même un doute là-dessus car cela voudrait dire que la solution n'est pas forcément portable telle quelle...

d'où ma question: Parles-tu d'ADO.Net ou de ADODB?
23/11/2020, 10h46
Thumb down

Bonjour Pierre,
Je parle bien d'ADODB.

EN VB.NET je ne me suis jamais posé la question, je mets #
23/11/2020, 10h47
Pierre Fauconnier

Merci pour la précision ;)
23/11/2020, 11h02
Thumb down

Énumère dans debug le nom des tables avec OpenSchema.
23/11/2020, 11h17
Pierre Fauconnier

Ok. Vu. Je vais voir à adapter ma façon de faire

Merci :plusser:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
Sub test()
Path = "C:\Test"
Dim Source As String, Target As String
Source = "source#csv"
Target = "target#csv"
Dim Cn As Object
 Set Cn = CreateObject("ADODB.Connection")
  Cn.Open "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" & Path & ";Extended Properties='text;HDR=NO;CharacterSet=65001';"
 
  If TableExiste(Cn, Target) Then MsgBox "Drop Table!"
   Cn.Execute "select Prénom, Montant, Service into " & Target & " from " & Source
  Cn.Close
 
End Sub
Function TableExiste(Cn As Object, TableName As String) As Boolean
With Cn.OpenSchema(20)
    If Not .EOF Then
      .Filter = "TABLE_NAME ='" & TableName & "'"
       TableExiste = Not .EOF
    End If
    .Close
End With
End Function

Notes que la requête drop table supprime effectivement le CSV mais efface également toute trace dans shema.ini de même que le into de ta requête de sélection ré implementera le .ini!