Discussion :

[Coco47]

Bonjour à tous,

Suite à mon message sur le traitement d'un fichier xml en vba ici que j'ai résolu, JP m'a conseillé de poster un nouveau message pour voir si il y aurait moyen d'améliorer mon code pour qui actuellement très lent.

Donc voilà en gros je dois parcourir un fichier texte pour rechercher des caractères spécifiques et les remplacer par d'autres.
Pour cela j'ai décidé d'tuliser les FSO pour ouvrir le fichier texte, lire une ligne, la modifiée le cas échéant et l'écrire dans un nouveau fichier texte. Je n'ai pas trouver de solution pour modifier à la volée un fichier, je suis obligé d'en créer un nouveau et de copier le premier dedans. Pour la lecture tout ce passe bien mais l'écriture par les FSO était très lente, je suis donc passer avec les fonctions directe ce qui m'a fait gagner un peu de temps d'éxécution.

Voici mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
Function XMLFilePreTreatment(ByVal InputFileName As String) As String
 
    Dim i As Long
    Dim Text As String
    Dim intFic As Integer
 
    Dim oFSO As Scripting.FileSystemObject
    Dim oTxtIn As Scripting.TextStream
    'Instanciation du FSO
    Set oFSO = New Scripting.FileSystemObject
    intFic = FreeFile
    XMLFilePreTreatment = (Split(InputFileName, ".")(0) & "_Corrected." & Split(InputFileName, ".")(1))
 
    'Ouverture des fichiers
    Set oTxtIn = oFSO.OpenTextFile(InputFileName, ForReading)
    Open XMLFilePreTreatment For Output As intFic
 
    'Traitement du fichier
    With oTxtIn
        Do While Not .AtEndOfStream
            Text = .ReadLine                    'Lecture de la ligne
            Text = Replace(Text, "&#", "##")    'Modification le cas échéant
            Print #intFic, Text                 'Ecriture dans un nouveau fichier
        Loop
    End With
 
    oTxtIn.Close
    Close intFic
 
End Function

A noter que ce code est long a éxécuter car les fichiers texte que je traite sont assez important, par exemple cela a pris 12 min sur un fichier 18,5Mo, 251 700 lignes et 18 906 486 caractères. Et ce fichier est plus petit que le standard. En standard je suis plutôt de l'ordre de 70Mo, 1 731 512 lignes ou encore 70 923 984 caratères.

Donc voilà mon code est quand même très simple mais peut être y a-t-il encore un moyen de l'optimiser pour réduire le temps d'éxécution. Si vous avez des idées .

[patricktoulon]

Bonjour
c'est du jamais vu un fichier texte de 70 mega
selon moi il y a déjà un soucis a ce niveau la
ensuite pourquoi ouvrir avec fso et écrire avec open fait le avec les deux avec open




après vu la taille des fichier bon courage mais pour moi cela va etre certainement la cause de problèmes de mémoire attention au (White-screen)

perso je rêverais la conception des fichiers textes

[Ben_L]

Bonjour,

Il est envisageable de stocker quelques centaines/milliers de lignes dans une string avant d'appliquer le Replace, puis d'écrire toutes ces lignes d'un seul coup.
En limitant les accès disques, ça pourrait faire gagner un petit peu de temps.

Mais le plus logique me semblerait de passer par un utilitaire dédié, type Powershell.
Avez-vous essayé de traiter l'un de vos fichiers sous Linux, avec un bon vieux 'sed'.
Ca vous donnerait une idée de ce qui peut se faire de mieux en termes de temps d'exécution, et donc de savoir si vous avez beaucoup à gagner ou pas.

Cordialement,

[mjpmjp]

bonjour,
mise à part la méthode directe (à voir en dernier....prise de tête)
pour VBA c'est OU lecture OU écriture alors on va faire les 2

en lecture l'original
et en parallèle
en écriture le double (qui est vide au départ )

on cherche la ligne à modifier
si pas la ligne on copy dans double
si c'est la ligne on modifie et on écrit dans double

@+JP

[patricktoulon]

re
contrairement a ce que tu crois mjpmjp les if/else prennent de la ressource
de toute façon sur des fichier aussi important je vois comment réduire sans risquer le white-screen

je vais faire des test j'ai une idée
il me reste a écrire un fichier d'autant de ligne

[Coco47]

Oui c'est pour cela que finalement j'ai opté pour la suppression du test if et direct l'application de la fonction replace.

[Coco47]

Bonjour à tous,

Merci pour vos réponses.

@patricktoulon :

c'est du jamais vu un fichier texte de 70 mega
selon moi il y a déjà un soucis a ce niveau la

Bah en fait c'est pas vraiment des fichiers textes, mais des fichiers xml que je parcours en tant que fichier texte mais je ne voulais entrer dans les détails pour pas compliquer le truc (et puis c'est déjà tout raconté dans mon premier post).

ensuite pourquoi ouvrir avec fso et écrire avec open fait le avec les deux avec open

Bonne question en fait c'est purement historique, j'ai commencé avec les FSO, je me suis rendu compte que l'écriture c'était long donc jai changé mais comme la lecture était rapide j'ai pas changé.

@JP :

faire un double du fichier , qui après traitement finira à la poubelle ...

C'est déjà plus ou moins ce que je fait.

parcourir ce double en lecture /écriture

Il ne me semble pas que ça soit possible en VBA. en plus dès que tu ouvre un fichier en mode Ecriture il eest "vidé" de tout son contenu.

rechercher ce qui dans ton cas pause problème : avec InStr(Data,"LanguageISO=" & Chr(34) & "ZH") > 0
la ligne de traduction avec caractères chinois que l'on distingue par : Translation LanguageISO="ZH"

dans cette ligne remplacer comme tu là dit "&#" par "##" avec : Replace(Data, "&#", "##")

Finalement il s'avère que le ZH n'est plus suffisant, j'ai trouvé des caractères chinois dans d'autres lignes sans avoir le Zh avant, d'où le fait que je ne cherche plus ça mais directement le &#.

@Ben_L :

Il est envisageable de stocker quelques centaines/milliers de lignes dans une string avant d'appliquer le Replace, puis d'écrire toutes ces lignes d'un seul coup.
En limitant les accès disques, ça pourrait faire gagner un petit peu de temps.

J'avais envisagé cette solution à un moment mais je ne sais plus si je l'ai testée.

Mais le plus logique me semblerait de passer par un utilitaire dédié, type Powershell.
Avez-vous essayé de traiter l'un de vos fichiers sous Linux, avec un bon vieux 'sed'.

Pour être honnête vous me parlez en chinois. A la base je bosse dans l'électronique et la programmation de µC embarqué et il m'arrive de faire du VBA... souvent .



Sinon je viens de refaire un calcul sur l'éxécution de ma fonction et il s'avère que j'avais largement surévaluer le temps d'éxécution, pour un fichier de 70Mo j'ai eu un temps d'éxécution de 13.3 min. Ce qui est long mais encore acceptable...

[mjpmjp]

bonjour Coco47,
une première piste :
faire un double du fichier , qui après traitement finira à la poubelle ...
parcourir ce double en lecture /écriture
rechercher ce qui dans ton cas pause problème : avec InStr(Data,"LanguageISO=" & Chr(34) & "ZH") > 0la ligne de traduction avec caractères chinois que l'on distingue par : Translation LanguageISO="ZH"

dans cette ligne remplacer comme tu là dit "&#" par "##" avec : Replace(Data, "&#", "##")et écrire cette ligne dans le double

c'est ICI qu'il faut trouver comment supprimer et remplacer cette ligne OU modifier la directement

@+JP