Ouverture de fichiers textes

Version imprimable

Voir 40 message(s) de cette discussion en une page

Bonjour à tous,

Je viens vous faire part d'un problème que je rencontre avec ma macro VBA sous Excel.

En effet, je dois ouvrir un fichier texte puis importer son contenu dans Excel.
C'est exactement ce que l'on fait lorsque l'on fait fichier > Ouvrir > sélection du fichier texte.

Dans ce fichier texte, mes données sont séparées par des ";".
J'ai précisé dans le code que mon séparateur est un ";".
Jusque là tout va bien.

Le problème survient lorsque j'ai des virgules "," dans mon fichier texte.
En effet, lorsque une virgule est rencontrée, les données qui suivent vont à la ligne sur le tableau Excel, un peu comme si c'était une nouvelle entrée.

Par exemple, dans mon fichier texte j'ai : 45684;01;demande d'ouverture, opération de type 54;01

Lorsque la virgule est rencontrée, la suite va à la ligne, ce que je ne souhaite pas.

Je vous transmets mon code VBA pour mieux comprendre :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 Sub FichierTexteCopie() Dim ligne As String, NoLigne As Long, NoCol As Long Dim Tableau, nomFich(), separateur Application.ScreenUpdating = False Sheets(1).Activate 'Ouverture de la boîte de dialogue nomFich() = Application.GetOpenFilename _ (, , , , True) ' J'ai plusieurs fichiers textes à traiter d'où la boucle For i = 1 To UBound(nomFich) '******************************** Sheets(i).Activate NoLigne = 0 Open nomFich(i) For Input As #FreeFile 'Lecture While Not EOF(1) Input #1, ligne separateur = ";" 'création d'un tableau des données de la ligne Tableau = Split(ligne, separateur) NoLigne = NoLigne + 1 'transfert des données dans la feuille Excel For NoCol = 0 To UBound(Tableau) Cells(NoLigne, NoCol + 1).Value = Tableau(NoCol) Next NoCol Wend Close #1 Next i Application.ScreenUpdating = True MsgBox "Opération terminée" End Sub
Alors, je pense savoir d'où viens le problème mais je ne sais pas comment corriger cela.
D'après moi, il s'agit de l'instruction
Code:

1 2 Input #1, ligne
car dans la doc il est dit :

Citation:

Input #filename, varlist

varlist est une "liste, délimitée par des virgules, de variables auxquelles sont attribuées les valeurs lues dans le fichier"

Avez-vous des solutions ou des idées pour résoudre mon problème ?

Merci !

25/05/2018, 12h11
Menhir

Laisse tomber le traitement séquentiel, il y a beaucoup plus simple.
Ce que tu souhaites peut se faire en une seule ligne avec un Workbooks.OpenText.
https://msdn.microsoft.com/fr-fr/vba...t-method-excel

Si tu actives l'enregistreur automatique de macro quand tu fais fichier > Ouvrir > sélection du fichier texte, ça te donnera 90% du code.

Merci beaucoup Menhir !
Tu m'as fait gagner pas mal de temps !

Malheureusement, j'ai un autre problème que je ne parviens pas à résoudre.
En effet, j'ai un des fichiers textes qui fait plus (+) que le nombre de ligne maximum autorisé sur une feuille de calcul.
Le problème étant que Excel prend les 1 048 576 premières lignes et tronque les suivantes.
J'aimerais pouvoir récupérer ces lignes suivantes en les mettant dans une autre feuille.

Je cherche depuis un bout de temps déjà (depuis la réponse de Menhir), mais je ne trouve rien qui soit faisable avec Workbooks.OpenText. Est-ce que quelqu'un aurait une piste ?

Voici mon code si jamais :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Sub FichierTexteCopieNewMacro() Dim NomFich() Application.ScreenUpdating = False Sheets(1).Activate 'Ouverture de la boîte de dialogue NomFich() = Application.GetOpenFilename _ (, , , , True) ' J'ai plusieurs fichiers textes à traiter d'où la boucle For i = 1 To UBound(NomFich) '******************************** Workbooks.OpenText Filename:=NomFich(i), Origin:=xlWindows, _ StartRow:=1, DataType:=xlDelimited, Semicolon:=True Next i Application.ScreenUpdating = True MsgBox "Opération terminée" End Sub
Merci beaucoup !

28/05/2018, 14h51
Menhir

A mon avis, il y a au moins deux solutions :

Soit revenir à la solution séquentielle, mais ça va être certainement long et lourd.
Soit changer d'outil et utiliser une SGDB : pour traiter des bases de données, utiliser l'outil adéquate est souvent préférable.

Je te conseille plutôt la seconde solution.
28/05/2018, 15h02
Igloobel

Bonjour,

+ 1 million de lignes ... waou sur excel cela risque d'être long

c'est quoi ton traitement en bon français de chez nous :frenchy: (pas en langage VBA)

Es-tu vraiement obligé de chargé ton fichier dans Excel ?

parce que tu as plusieurs solutions plus ou moins adapté à ta problématique
28/05/2018, 15h28
cacharrito95

Merci de vos réponses,

Pour expliquer plus précisément mon cas :
Je récupère d'un logiciel 9 fichiers textes contenant, pour certains, beaucoup d'informations et pour d'autres très peu.

Cela a été fait pour pouvoir être lisible sur Excel grâce aux séparateurs en ouvrant ce fichier txt via Excel. Cela me permet après activation des filtres, de pouvoir analyser les données.

Avant je faisais toutes ces opérations (fichier > ouvrir > ...) à la main, mais j'aimerais automatiser cette tâche et gagner du temps.
Certains fichiers txt sont plus remplis que d'autres.
Certaines fois l'un des fichiers fait plus que le nombre max de lignes.

Et comme je renouvelle cette opération régulièrement, je voulais donc optimiser un peu la tâche.

Dans l'idéal j'aimerais continuer pour le moment avec Excel si il existe une solution pas trop trop compliqué mais si il y d'autres solutions vraiment plus faciles, je suis preneur.

Merci beaucoup de votre aide !
28/05/2018, 16h12
parmi

Bonjour,

Je ne connais pas le programme d'où tu importes tes fichiers, mais ne serait-ce pas possible d'importer ces données par "batch"?
Disons que tu importes des données sur un an.
Peut-être pourrais-tu importer 2 fichiers de 6 mois?
29/05/2018, 08h39
cacharrito95

Bonjour,
Merci de ta réponse,

Je n'ai pas la main sur le logiciel qui génère les fichiers textes. Il est sur un ordinateur à part, pas le mien.
Le logiciel génère ces fichiers textes et les importe à l'endroit souhaité (je choisis ma clef USB pour pouvoir les récupérer).
Ensuite je met la clef sur mon ordinateur et je peux accéder aux fichiers textes. Le traitement que j'en fais ensuite ne dépend que de moi, je peux en faire ce que je veux.

En général, je récupère ces données une fois par semaine pour les analyser.

Si une solution avec batch existe, pourquoi pas mais je ne peux agir qu'une fois les fichiers textes sur mon ordinateur.
Je n'ai jamais travaillé/programmé avec du MS-DOS.
Je peux apprendre, pas de problème là dessus, j'ai déjà fait du linux.

Avez-vous des suggestions de solutions ? Sortir de Excel ne me dérange pas trop même si j'aimerais dans l'idéal continuer à l'utilisé pour visualiser mes données.

Bonjour,

L'idéal est d'utiliser un vrai SGBD.

Cependant, si tu cherches une solution dans Excel, tu pourrais peut-être filtrer les données à l'import.
Dans l'exemple ci-dessous, je n'importe, dans la feuille, que les lignes contenant "demande d'ouverture*" dans la seconde "colonne".

Pour répondre au souci de la virgule, il faut utiliser Line Input au lieu de Input.

Voici donc mes "corrections" :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
Sub FichierTexteCopie()
Dim ligne As String, NoLigne As Long, NoCol As Long
Dim Tableau, nomFich(), separateur As String, FF As Integer
 
    Application.ScreenUpdating = False
    'Ouverture de la boîte de dialogue
    nomFich() = Application.GetOpenFilename(, , , , True)
    separateur = ";"
 
    ' J'ai plusieurs fichiers textes à traiter d'où la boucle
    For i = 1 To UBound(nomFich)
    '********************************
        Sheets(i).Activate
        NoLigne = 0
        FF = FreeFile
        Open nomFich(i) For Input As #FF
        'Lecture
        While Not EOF(1)
            Line Input #FF, ligne
            'création d'un tableau des données de la ligne
            Tableau = Split(ligne, separateur)
 
            'Ici tu filtres tes données
            If Tableau(2) Like "demande d'ouverture*" Then
               NoLigne = NoLigne + 1
               'transfert des données dans la feuille Excel
               For NoCol = 0 To UBound(Tableau)
                   Cells(NoLigne, NoCol + 1).Value = Tableau(NoCol)
               Next NoCol
            End If
        Wend
        Close #FF
    Next i
    Application.ScreenUpdating = True
    MsgBox "Opération terminée"
End Sub

29/05/2018, 09h11
Menhir

Citation:

Envoyé par cacharrito95

Si une solution avec batch existe, pourquoi pas mais je ne peux agir qu'une fois les fichiers textes sur mon ordinateur.
Je n'ai jamais travaillé/programmé avec du MS-DOS.
Je peux apprendre, pas de problème là dessus, j'ai déjà fait du linux.

Je n'ai jamais touché à Linux mais j'ai déjà pratiqué UNIX.
Si Linux dispose des fonctionnalités d'un "UNIX classique" (je conçois que cette expression est un oxymore), alors il vaudrait mieux faire avec un script Linux qu'avec un batch MS-DOS étant donné que ce dernier est bien plus pauvre pour faire du traitement de contenu de fichier (on peut même dire qu'il n'a quasiment rien).

Citation:

Avez-vous des suggestions de solutions ?

Je t'en ai déjà proposé deux dans mon message précédent : traitement séquentiel (ligne à ligne) ou passage sur un SGBD.
29/05/2018, 14h13
Igloobel

Citation:

Envoyé par Menhir

Je n'ai jamais touché à Linux mais j'ai déjà pratiqué UNIX.
Si Linux dispose des fonctionnalités d'un "UNIX classique" (je conçois que cette expression est un oxymore), alors il vaudrait mieux faire avec un script Linux qu'avec un batch MS-DOS étant donné que ce dernier est bien plus pauvre pour faire du traitement de contenu de fichier (on peut même dire qu'il n'a quasiment rien).

Je suis tout à fait d'accord avec toi Menhir à la différence qu'il faut qu'il ai à sa disposition un PC avec Linux dessus !

déjà le coup du : "j'utilise ma clé perso (virusable à mort) " est plus que moyen
mais mettre un linux temporairement même par clé (encore) ou par CD (pas mieux) bootable sur un PC d'une entreprise, là, ils vont hurler :fessee:

du coup même si tu as amplement raison, Menhir, il sera peut-être obligé, pour les batchs, de le faire par ms-dos.

ceci dit je rejoins l'idée de parmi (c'était le pourquoi de ma question) sur l'idée de scinder le fichier en plusieurs. d'où le besoin de savoir comment sont fait ses fichiers texte.
- 1 ligne = 1 enregistrement
- x lignes = 1 enregistrement

@ bientôt
29/05/2018, 15h41
Menhir

Citation:

Envoyé par Igloobel

Je suis tout à fait d'accord avec toi Menhir à la différence qu'il faut qu'il ai à sa disposition un PC avec Linux dessus !

Je proposais ça parce qu'il dit avoir travaillé avec Linux.
Donc, s'il a le choix, ça peut être une solution.
Par contre, s'il n'a pas le choix, bin... il n'a pas le choix.

Mais faire un traitement de données dans un batch MS-DOS, sans disposer de cut, tee, tr et autre grep, personnellement je ne le tenterais pas.
A la limite, il serait encore préférable de faire ça avec VBA dans Word (même si j'ai honte de proposer ça :oops: ).
29/05/2018, 19h58
unparia

Bonjour
Dès lors qu'il est précisé que certains fichiers peuvent contenir un nombre de lignes supérieur au nombre maximum de lignes d'un classeur Excel, la réponse est toute vue : -->> nécessité de passer par l'instruction Open et lecture ligne par ligne, comme l'a exposé Franck (Pijaku), que je salue.
Je simplifierais toutefois ainsi ce qu'a exposé Franck -->> en lieu et place d'"éclater" chacune des lignes par la fonction Split, j'importerais dans une seule colonne, ligne par ligne, les lignes du fichier, puis j'appliquerais in fine d'un seul coup à cette colonne la méthode TextTocolumns avec le ";" pour séparateur.
En ce qui concerne maintenant le "basculement" d'une feuille à la suivante, lorsqu'est atteint le nombre maximum de lignes d'un classeur, il suffit d'un simple compteur (à chaque ligne lue). J'utiliserais par ailleurs assez volontiers un array de la série des feuilles à utiliser à cette fin.
Voilà pour ce qui est du mécanisme. Cela ne signifie absolument pas que j'approuve le principe (des données réparties sur plusieurs feuilles seront forcément mal ou lourdement exploitables)
29/05/2018, 21h51
parmi

Il y a aussi, je pense, la possibilité de travailler avec les nouvelles fonctionnalités "Power machin" qui permettent de traiter plusieurs millions de lignes.
Mais je ne m'y connais pas trop...
30/05/2018, 06h44
unparia

Bonjour Parmi

Citation:

travailler avec les nouvelles fonctionnalités "Power machin" qui permettent de traiter plusieurs millions de lignes.

cela ne résoudrait nullement la difficulté exposée (nombre de lignes supérieur au nombre maximum de lignes d'un classeur). ;)
30/05/2018, 08h04
pijaku
Bonjour tout le monde,

Jacques, voilà, tout est dit.

Ce vers quoi je tendais, initialement, c'est de ne travailler qu'en mémoire.
Cela implique :
1. de créer une variable tableau contenant les données des fichiers txt,
2. de créer un Userform, pour la visualisation d'une partie de ces données (ou une feuille tremplin car je sais que Jacques (Unparia) affectionne ce procédé),
3. une fonction qui filtre cette variable tableau pour placer le résultat dans la feuille de travail
Tout ceci est (très) facilement réalisable.
Le seul souci que l'on peut y voir, c'est la place qu'occuperait en mémoire, la variable tableau.
Mais, de toutes manières, ce ne serait, ni plus lourd, ni plus lent qu'un travail sur une feuille avec plus d'un million de lignes...

EDIT : Mais, quoiqu'il en soit, sans retour du demandeur et sans connaitre les données contenues dans les fichiers txt, nous ne pouvons rien envisager de plus.

EDIT : Il en est de même concernant la version d'excel à moins que ceci ne soit une légende, un fantasme...
30/05/2018, 11h50
parmi

Citation:

Envoyé par unparia

Bonjour Parmi

cela ne résoudrait nullement la difficulté exposée (nombre de lignes supérieur au nombre maximum de lignes d'un classeur). ;)

Salut Jacques,

De la façon dont je comprends Power BI, c'est qu'on peut utiliser des sources de données dépassant amplement le million de ligne, mais que ces données ne sont pas nécessairement dans une feuille. On peut alors les traiter et importer le résultat voulu dans une feuille tant qu'on ne dépasse pas ses limites.

Un peu de lecture ICI
30/05/2018, 13h10
unparia

Citation:

On peut alors les traiter et importer le résultat voulu dans une feuille tant qu'on ne dépasse pas ses limites.

Bien évidemment, parmi. Et- on peut le faire en traitant par blocs sans aucun "power machin", d'ailleurs.;)
Mais le vrai problème est ici non pas la lecture, mais précisément l'insertion dans une (ou plusieurs) feuille(s) de calcul... et ce ne sera alors plus le contenu d'un fichier texte, mais celui de lignes à décompter ;)
Amitiés
30/05/2018, 14h07
patricktoulon

re

re
bonjour a tous
je viens de faire quelques tests
tout d'abords n'en ayant pas sous la main j'ai créé un fichier text de 1000000 lignes dont chaque ligne contient 200 caracteres
ces lignes contiennent toutes des "," et des ";"
j'ai obtenu un fichier pesant 68.5 mega octets

a ce niveau il est impensable de travailler avec VBA

dans une discussion recente unparia donnait une demo de lecture par bloc

que cela vous tiennes j'ai testé
ou
j'ai tester aussi mon astuce avec un html
ou
ligne par ligne

perso dans les 3 j'ai du abandonner car vraiment tres tres long
je precise que je n'ai pas opté pour la creation de sheets pour chaque tranche de rows.count ligne par le nombre d'item
mais de plage mes lignes ayant 6 colonne je n'ai que decalé la colonne de depart a chaque rows.count
bref peut etre a utiliser en temps qu'action a faire l'ors de l'inutilisation du pc
sinon un conseil choisir une autre voix
j'ai pas tenter acces je laisse cela au furieux ;)
30/05/2018, 15h34
parmi

Citation:

Envoyé par unparia

Bien évidemment, parmi. Et- on peut le faire en traitant par blocs sans aucun "power machin", d'ailleurs.;)
Mais le vrai problème est ici non pas la lecture, mais précisément l'insertion dans une (ou plusieurs) feuille(s) de calcul... et ce ne sera alors plus le contenu d'un fichier texte, mais celui de lignes à décompter ;)
Amitiés

Ce pourquoi je parlais des Power machin était qu'il n'a peut-être pas besoin d'importer tout le fichier mais seulement une partie...
Si je regarde son message

Citation:

Pour expliquer plus précisément mon cas :
Je récupère d'un logiciel 9 fichiers textes contenant, pour certains, beaucoup d'informations et pour d'autres très peu.

Cela a été fait pour pouvoir être lisible sur Excel grâce aux séparateurs en ouvrant ce fichier txt via Excel. Cela me permet après activation des filtres, de pouvoir analyser les données.

Il n'est pas impensable de faire ça via ce genre d'application puisque visible à l'écran.

Quoiqu'il en soit, mon message concernant le "par batch" n'était peut-être pas clair...
Rien à voir avec les fichiers .bat, DOS ou autres, mais séparer le fichier par morceaux, ce que tu as précisé (comme d'autres d'ailleurs)... ;)
Je me rappelle qu'on devait envoyer des fichiers Access très gros (+ 100 mo) par courriel et on avait créé un petit programme qui "splittait" le fichier Bit par Bit jusqu'à un certain format et on envoyait chaque bout par courriel.
À l'autre bout, le programme reconstruisait le fichier...

On pourrait aussi penser à ADO et aller chercher des parties de fichiers par catégories, un peu comme un filtre...

Bonne journée

Voir 40 message(s) de cette discussion en une page