Extraction de données de plusieurs fichiers csv et compilation dans un fichier xlsm

Version imprimable

05/05/2021, 09h56
alainvaladas

4 pièce(s) jointe(s)

Extraction de données de plusieurs fichiers csv et compilation dans un fichier xlsm

Pour accélérer des recherches généalogiques, je cherche à extraire de plusieurs « fichiers.CSV » (« Deces-1970.csv », « Deces-1971.csv », « Deces-xxx.csv », etc… des données contenant une chaine de caractères particulière (un nom) qui sera saisie sur le fichier « Recherche données Insee.xlsm » onglet formulaire en D5, afin d’éviter de le modifier à chaque utilisation dans la procédure VBA.
J’ai déjà adapté le contenu ci-dessous pour sélectionner l’onglet « Extraits » pour y copier les données extraites. Celui-ci fonctionne parfaitement, avec un seul fichier.csv, mais avec l’ensemble des données.
Afin de n’effectuer qu’une manipulation et ne rapatrier que les lignes qui m’intéressent, sur les 600000 lignes et 9 colonnes de la cinquantaine de fichiers existants, j’aimerai pouvoir travailler soit sur un fichier unique qui concerne une année, avec le VBA ci-dessous, et sur un ensemble de plusieurs fichiers.csv, afin qu’il cumule les données (en fonction du critère de sélection), dans l’onglet « Extraits » en améliorant le contenu VBA ci-dessous.
J’ai essayé plusieurs choses, mais mes connaissances en VBA étant limitées, et ne pratiquant qu’occasionnellement en adaptant des macros à mes besoins, je n’arrive pas à faire une sélection multiple, ni ajouter à l’existant des données des autres fichiers.

Si quelqu’un a une idée, une suggestion, elle sera bienvenue.

Je joins deux fichiers réduits des données.csv et le fichier de recherche qui contient la procédure Vba.

Je n'ai pas pu transmettre les fichiers déces-xxx.csv. Je les ai transformé en xlsx. CSV n'est pas une extension valide de pièce jointe, qu'il serait pourtant intéressant d'activer.

Merci d’avance.
Cordialement,

1 pièce(s) jointe(s)

Bonjour,

Une façon de faire:
- rassembler dans un seul fichier tous les fichiers deces-*.csv dans un seul ficher nommé tout.csv (pour cela je passe un fichier bat)

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
Option Explicit
 
Sub AjoutFichier(sText As String, sNomFichier As String)
    Dim sFich As String
    sFich = ThisWorkbook.Path & "\" & sNomFichier
    On Error Resume Next        '--- erreur si fichier n'existe pas
    Kill sFich
    On Error GoTo 0
    Open sFich For Output As #1
    Print #1, sText
    Close #1
End Sub
 
Sub ToutEnsemble()
    '--- rassemble tous les fichiers dont le nom est de la forme "deces-*.csv"
    '--- dans un seul fichier nommé "tout.csv"
    '--- note: la ligne de titre est récupérée autant de fois qu'il y a de fichiers
    Dim sText As String
    '--- crée le fichier bat
    sText = "Set loc=" & ThisWorkbook.Path & vbCrLf & _
            "Copy deces-*.csv tout.csv"
    AjoutFichier sText, "tout.bat"
    DoEvents
    '--- crée le fichier schema.ini (indispensable pour une bonne connexion)
    sText = "[tout.csv]" & vbCrLf & _
            "ColNameHeader = True" & vbCrLf & _
            "Format=Delimited(;)"
    AjoutFichier sText, "schema.ini"
    DoEvents
    '--- exécute le fichier bat
    sText = ThisWorkbook.Path & "\tout.bat"
    ChDir ThisWorkbook.Path '--- indispensable pour que le bat fonctionne
    Call Shell(sText)
End Sub

- faire une connexion sur ce fichier et extraire les noms (à noter qu'il faut pour cela utiliser un fichier schema.ini).

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
Option Explicit
 
'--- activer les références:
'--- Microsoft ActiveX Data Objects
'--- Microsoft ActiveX Data Objects Recordset
 
Sub ListerNoms()
    Dim xlcon As ADODB.Connection
    Dim xlrs As ADODB.Recordset
    Dim nextRow As Integer
    Dim sLeNom As String
    '---
    Set xlcon = New ADODB.Connection
    Set xlrs = New ADODB.Recordset
    sLeNom = Range("D5").Value
    Range("D5").Value = UCase(sLeNom)   '--- force la mise en majuscules
    sLeNom = Range("D5").Value
    '---
    xlcon.Provider = "Microsoft.ACE.OLEDB.12.0"
    xlcon.ConnectionString = "Data Source=" & ThisWorkbook.Path & ";Extended Properties=""text;HDR=Yes;FMT=Delimited"""
    xlcon.Open
    xlrs.Source = "SELECT * FROM [tout.csv] WHERE nomprenom LIKE '" & sLeNom & "%'"
    xlrs.Open xlrs.Source, xlcon, adOpenStatic, adLockReadOnly
    '---
    If xlrs.PageCount = 0 Then
        MsgBox "Aucun résultat", , "Pour info"
    Else
        xlrs.MoveFirst
        Worksheets("Extraits").Select
        nextRow = Cells(Rows.Count, 1).End(xlUp).Row + 1
        Worksheets("Extraits").Cells(nextRow, 1).CopyFromRecordset xlrs
    End If
    xlrs.Close
    xlcon.Close
    Set xlrs = Nothing
    Set xlcon = Nothing
    DeleteConnections
End Sub
 
Sub DeleteConnections()
    Dim Conn As Object
    For Each Conn In ThisWorkbook.Connections
        Debug.Print Conn.Name
        Conn.Delete
    Next Conn
End Sub

Il est supposé que tous les fichiers se trouvent dans le même dossier.
Bonne continuation.

09/05/2021, 10h33
Pierre Fauconnier

3 pièce(s) jointe(s)

Salut.

C'est pile poil le boulot de Power Query ;), réalisé en 3 clics de souris pour ce qui est de combiner les fichiers.

Pièce jointe 597494

Sur base de fichiers formés comme celui qui suit et stockés dans un même dossier, on récupère les données avec en prime l'info de la source

Pièce jointe 597495

Pièce jointe 597496

Attention au codages des infos. Il y a de fortes chances que le format soit UTF-8, à adapter à l'ouverture de la requête
17/05/2021, 12h56
alainvaladas

Merci beaucoup,

Citation:

Envoyé par EricDgn

[...]

Bonjour,

Votre proposition fonctionne parfaitement.

A ce jour le nombre de "fichiers.csv" dont je dispose est de 58, ce nombre augmente de 1 tous les ans. Chaque fichier a une taille de 35 000 à 66 000 Ko, soit de 32 000 à 70000 lignes.

Pour ma part j'avais plutôt imaginé extraire successivement les données recherchées dans chaque fichier.csv et les coller dans l'onglet extrait, plutôt que de cumuler tous les csv complets dans un seul fichier avant d'extraire les données recherchées.

De plus, chose que j'avais omise dans ma demande initiale, il serait intéressant que le nom des fichiers desquels sont extrait les données, apparaissent en colonne A de l'onglet "Extrait.

Une suggestion, une idée??
17/05/2021, 13h17
Philippe Tulliez

Bonjour,

Citation:

De plus, chose que j'avais omise dans ma demande initiale, il serait intéressant que le nom des fichiers desquels sont extrait les données, apparaissent en colonne A de l'onglet "Extrait.

D'où l'intérêt d'utiliser PowerQuery comme proposé par Pierre, que je salue au passage.
C'est nativement proposé par Excel, pas besoin de VBA et on peut l'utiliser dans des classeurs suffixés xlsx
22/05/2021, 14h50
alainvaladas

Citation:

Envoyé par Philippe Tulliez

Bonjour,

D'où l'intérêt d'utiliser PowerQuery comme proposé par Pierre, que je salue au passage.
C'est nativement proposé par Excel, pas besoin de VBA et on peut l'utiliser dans des classeurs suffixés xlsx

Surement une solution, mais c'est un domaine que je ne maitrise absolument pas. Merci quand même pour la suggestion. Cordialement,