Opérations sur fichiers multiples .csv

Version imprimable

Voir 40 message(s) de cette discussion en une page

et une dernière j'avais oublié de réinitialiser la variable texte ce qui avait pour conséquence un répétition
voila maintenant c'est Nikel
avec cette méthode tu ouvre le fichier en format texte et en mémoire c'est pour cela que c'est plus rapide

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Sub compil_csv()
    Dim fichier_final, fichier, x, x2, chemin
    fichier_final = "C:\Users\" & Environ("UserName") & "\Desktop\Fichierfinal.csv"
    If Dir(fichier_final) <> "" Then Kill fichier_final
    chemin = ThisWorkbook.Path
    fichier = Dir(ThisWorkbook.Path & "\*.csv")
    i = 0
    Do
        x = FreeFile
 
            Open chemin & "\" & fichier For Input As #x
            laChaine = Input(LOF(x), #x)
            Close #x
            old_fichier = fichier
            tabl = Split(laChaine, vbCrLf)
            f1 = Split(tabl(0), ";")(5)
            If i = 0 Then texte = texte & tabl(1) & ";cellule F1" & vbCrLf
            For i = 2 To UBound(tabl)
                texte = texte & tabl(i) & IIf(tabl(i) <> "", ";" & f1 & vbCrLf, "")
            Next
 
        x2 = FreeFile
        Open fichier_final For Append As #x2
        Print #x, texte
        Close #x
        i = i + 1: texte = ""
        fichier = Dir
    Loop Until fichier = ""
    Workbooks.Open fichier_final, local:=True
End Sub

11/07/2016, 13h58
patricktoulon

1 pièce(s) jointe(s)

Citation:

Envoyé par CyberLudo

j'ai copié le code dans un fichier "compliateur.xls" que j'ai mis dans un répertoire de mon C:
C:\Users\Public\LOGICIELS\VIP\

J'ai mis tous les fichiers dans un sous dossier C:\Users\Public\LOGICIELS\VIP\Fichiers\

J'ai lancé la macro et : L'indice n'appartient pas à la sélection !

a tu changé le chemin des csv dans la macro au moins ????

pour toi normalement ca doit être cela

Code:

chemin = ThisWorkbook.Path &"\Fichiers"

et récupère le dernier code il au top plus de coquille
sinon teste avec mon exemplaire ci joint en laissant le dossier comme tel il faut déziper bien sur !!!

1 pièce(s) jointe(s)

voila si ton compliateur est dans VIP et que tes fichiers sont dans vip\Fichiers
alors voila

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Sub compil_csv()
    Dim fichier_final, fichier, x, x2, chemin
    fichier_final = "C:\Users\" & Environ("UserName") & "\Desktop\Fichierfinal.csv"
    If Dir(fichier_final) <> "" Then Kill fichier_final
    chemin = ThisWorkbook.Path & "\Fichiers"
    fichier = Dir(ThisWorkbook.Path & "\Fichiers\*.csv")
    i = 0
    Do
        x = FreeFile
 
            Open chemin & "\" & fichier For Input As #x
            laChaine = Input(LOF(x), #x)
            Close #x
            old_fichier = fichier
            tabl = Split(laChaine, vbCrLf)
            f1 = Split(tabl(0), ";")(5)
            If i = 0 Then texte = texte & tabl(1) & ";cellule F1" & vbCrLf
            For i = 2 To UBound(tabl)
                texte = texte & tabl(i) & IIf(tabl(i) <> "", ";" & f1 & vbCrLf, "")
            Next
 
        x2 = FreeFile
        Open fichier_final For Append As #x2
        Print #x, texte
        Close #x
        i = i + 1: texte = ""
        fichier = Dir
    Loop Until fichier = ""
    Workbooks.Open fichier_final, local:=True
End Sub

Pièce jointe 215163

11/07/2016, 14h06
CyberLudo

Merci pour ton aide et à toi aussi éric

ça marche... maintenant il faut que je comprenne pourquoi... ça c'est autre chose.

Merci
11/07/2016, 14h14
patricktoulon

re

Alors c'est plus rapide ou pas ?????

Eric tu prendre l'exemplaire et l'essayer si tu veux ;)
11/07/2016, 19h13
eric4459

1 pièce(s) jointe(s)

Salut Patrick,
J'ai essayé ta macro en y ajoutant un compteur : Temps de traitement 147 sec pour 256 fichiers Csv
J'ai modifié la mienne pour prendre en compte le transfert de données Cvs (Passage de données avec séparateurs vers des colonnes multiples) : Temps de traitement 51 sec :)

Citation:

ca te donne une idée a quel point c'est rapide de: créer le fichier, le mettre 10 fois a jour en le fermant a chaque fois, et enfin l'ouvrir

beep beep!!!!!

Il est le problème avec mon code? ;)
Eric

Pièce jointe 215201
11/07/2016, 19h34
patricktoulon

1 pièce(s) jointe(s)

re

j'ai donc nettoyer tes deux sheets
changer le chemin qui correspondait au mien et ...

Pièce jointe 215202

rien ne se passe sauf une erreur

en plus il est impossible que workbooks.open blabla soit plus rapide que open for....
pour la simple et bonne raison qu'il n'y a pas d'interface
en plus tu utilise le FSO, en vba c'est seulement si c'est impossible autrement car il est très lourd
apres si le mien est plus long que prevu c'est parce que je ne me suis pas embêter avec les détails je boucle pour scinder le texte alors que je peut faire autrement
11/07/2016, 19h38
Marc-L

Bonjour,

juste en passant - je n'ai pas suivi cette discussion dans le détail - si vous voulez jouer côté célérité
le plus rapide pour un fichier texte est souvent d'utiliser ADODB.Stream …

_________________________________________________________________________________________________________
Je suis Paris, Charlie, Bruxelles, …

re
oui marc j'y ai pensé mais déjà qu'il connaissent pas open for.... ca risque d'etre compliqué

eric j'ai fait sauter la boucle
teste ca avec tes fichiers adapte le chemin

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Sub compil_csv()
    Dim fichier_final, fichier, x, x2, chemin
    fichier_final = "C:\Users\" & Environ("UserName") & "\Desktop\Fichierfinal.csv"
    If Dir(fichier_final) <> "" Then Kill fichier_final
    chemin = ThisWorkbook.Path
    fichier = Dir(ThisWorkbook.Path & "\*.csv")
    i = 0
    Do
        x = FreeFile
 
            Open chemin & "\" & fichier For Input As #x
            laChaine = Input(LOF(x), #x)
            Close #x
            old_fichier = fichier
            tabl = Split(laChaine, vbCrLf) ' on coupe la chaine par les sauts de ligne
            f1 = Split(tabl(0), ";")(5) ' on recupere la F1
           If i = 0 Then texte = texte & tabl(1) & ";cellule F1" & vbCrLf ' on ajoute l'entete pour la colonne du F1 récupéré
             'ceci ci dessous ,remplace ma boucle sur les lignes
             texte = texte & Replace(Split(laChaine, tabl(1) & vbCrLf)(1), vbCrLf, ";" & f1 & vbCrLf) ' on garde que ce qu'il y a apres la ligne d'entete
             'et on ajoute le f1 a chaque ligne d'un coup avec replace sur le vbcrlf
 
        x2 = FreeFile
        Open fichier_final For Append As #x2 'on ouvre/reouvre le fichier en memoire
        Print #x, texte ' on y ajoute le texte
        Close #x ' on ferme le fichier et donc vide la memoire
        i = i + 1: texte = "" 'on vide la variable texte
        fichier = Dir ' on repart sur le dir du suivant
    Loop Until fichier = "" ' recommence jusqu'a que fichier = rien
    Workbooks.Open fichier_final, local:=True 'on ouvre le fichier final
End Sub

après on peut encore réduire le temps d'exécution
en réduisant le nombre de fois que l'on ajoute dans fichier final
en prenant un variable tableau par exemple et tout les 20 ou X on inscrit la compil

tiens

re
eric fait moi plaisir teste celui la
ca fait peur !!! moins de 3 seconde 319 fichier compilés !!!!!!!

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
 
Sub compil_csv()
    Dim fichier_final, fichier, x, x2, chemin, t
    fichier_final = "C:\Users\" & Environ("UserName") & "\Desktop\Fichierfinal.csv"
    If Dir(fichier_final) <> "" Then Kill fichier_final
    chemin = ThisWorkbook.Path
    fichier = Dir(ThisWorkbook.Path & "\*.csv")
    i = 0
    t = Time
    Do
        x = FreeFile
       fich = fich + 1
            Open chemin & "\" & fichier For Input As #x
            laChaine = Input(LOF(x), #x)
            Close #x
            old_fichier = fichier
            tabl = Split(laChaine, vbCrLf) ' on coupe la chaine par les sauts de ligne
            f1 = Split(tabl(0), ";")(5) ' on recupere la F1
           If i = 0 Then texte = texte & tabl(1) & ";cellule F1" & vbCrLf ' on ajoute l'entete pour la colonne du F1 récupéré
             'ceci ci dessous ,remplace ma boucle sur les lignes
             texte = texte & Replace(Split(laChaine, tabl(1) & vbCrLf)(1), vbCrLf, ";" & f1 & vbCrLf) ' on garde que ce qu'il y a apres la ligne d'entete
             'et on ajoute le f1 a chaque ligne d'un coup avec replace sur le vbcrlf
            txtfin = txtfin & texte
        i = i + 1: texte = "" 'on vide la variable texte
        fichier = Dir ' on repart sur le dir du suivant
    Loop Until fichier = "" ' recommence jusqu'a que fichier = rien
   x2 = FreeFile
        Open fichier_final For Append As #x2 'on ouvre/reouvre le fichier en memoire
        Print #x, txtfin ' on y ajoute le texte
        Close #x ' on ferme le fichier et donc vide la memoire
         Workbooks.Open fichier_final, local:=True 'on ouvre le fichier final
MsgBox "temps utilisé pour la compil  : " & Format(Time - t, "ss:nn") & vbCrLf & fich & " ont été compilés "
End Sub

2 pièce(s) jointe(s)

Salut Patrick,
J'ai fait un nouveau test avec mon code et il fonctionne correctement sur mon PC, j'ai essayé ton code et voici ce que j'obtiens , beaucoup plus rapide en effet :bravo:

Pièce jointe 215236

Mais le résultat n,etant pas celui attendu j'ai ajouté cela en fin de ton code
Code:

1 2 3 4 Columns(1).TextToColumns Destination:=Cells(1, 1), DataType:=xlDelimited, _ TextQualifier:=xlNone, ConsecutiveDelimiter:=False, Tab:=False, _ Semicolon:=True, Comma:=False, Space:=False, Other:=False, FieldInfo _ :=Array(1, 1), TrailingMinusNumbers:=True
puis relancé pour ceci

Pièce jointe 215238

Bon y'a pas photo, chapeau bas, je m'incline :applo::applo::applo:
Je vais étudier cela en détail :merci:
Eric

Et 1,1 sec avec le code avec tableau :applo::applo::applo::applo::applo:

12/07/2016, 17h24
patricktoulon

re

Bonjour eric
c'est bizarre que tu soit obliger de séparer le code pour en faire des cellule après normalement le code csv n'est pas modifié

peut être a tu oublié local:=true a open non??

chez moi 509 fichier en 3.52 seconde c'est pour te dire !!!

après ta méthode est disons plus orthodoxe
mais ouvrir un classeur a la fois avec Excel tu imagine bien que ca met en branle tout le système office et donc tout ces évènements (calculate et compagnie)
12/07/2016, 18h40
eric4459

Salut Patrick,
J'ai séparé le code pour en faire des cellules car je pense que c'est ce que l'initiateur du post souhaitait

Citation:

Envoyé par CyberLudo

Bonjour,

Je vais essayer d'être clair dans ma demande :
J'ai sur un répertoire plus de 200 fichiers .csv. Ces fichiers sont tous constitués de la même façon :
- La première ligne constituée d'infos sur le fichier
- La deuxième ligne les entêtes de colonnes (12 colonnes utilisées)
- les lignes suivantes sont constituées des données (le nombre de lignes varie entre 2 et 1000)

Sinon, si j'ai bien compris ton code c'est

Code:

laChaine = Input(LOF(x), #x)

qui récupère toute les données du fichier en une seule fois, c'est bien ça?

Si oui, est-ce que l'on peut également utiliser cette méthode pour un fichier .xls au lieu de

Code:

Range("A3", "M" & NbLigne1).Copy 'On copie les données de la feuille

Eric
12/07/2016, 19h10
patricktoulon

re

oui mais pour faire un copy il faut ouvrir le csv en excel
moi non je l'ouvre pas je le met en mémoire et pour chaine c'est ca !!!

Voir 40 message(s) de cette discussion en une page