IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Macros et VBA Excel Discussion :

Récupération de données via 816 fichiers voir plus.


Sujet :

Macros et VBA Excel

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Futur Membre du Club
    Homme Profil pro
    Directeur de projet
    Inscrit en
    Avril 2016
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 49
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Directeur de projet
    Secteur : Distribution

    Informations forums :
    Inscription : Avril 2016
    Messages : 3
    Par défaut Récupération de données via 816 fichiers voir plus.
    Bonjour,
    j'utilise Excel depuis quelques années de manière très basique.
    j'expose mon problème:
    j'ai une multitudes de fichiers ( exactement 816.....en 2 mois......)
    dans chaque fichier de 1 à 198000 lignes pour le plus grand.
    et pour chaque fichier de 6 à 325 colonnes.....
    sur chaque ligne de chaque fichier il y a une information commune. (un code EAN) à une position qui n'est pas fixe ( les fichiers viennent de plusieurs interlocuteurs différents et extracté de plusieurs manières différentes)
    mon souhait:
    A partir d'une feuille Excel vide:
    quand je tape un code Ean:
    il va chercher 1 ou X lignes contenant cette information et les mets sur cette feuille.
    question du jour:
    c'est possible??
    Merci d'avance de vos idées ou le meilleur serait une solution......

  2. #2
    Membre Expert
    Homme Profil pro
    Architecte de système d'information
    Inscrit en
    Juillet 2004
    Messages
    2 725
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Sarthe (Pays de la Loire)

    Informations professionnelles :
    Activité : Architecte de système d'information

    Informations forums :
    Inscription : Juillet 2004
    Messages : 2 725
    Par défaut
    Bonjour à toi,

    Tout est possible !
    Mais la vu le nombre de fichiers......
    Parce que pour aller chercher dans chacun des fichiers il faut une macro qui va aller les ouvrir un par un, puis faire une recherche.
    Tout dépends en plus comment est présenté ce que tu cherche à récupérer.

    Le principale problème sera surement la lenteur de recherche.

    N'as tu pas possibilité de faire une petite BDD pour stocker les informations ?

  3. #3
    Membre Expert
    Homme Profil pro
    Ingénieur
    Inscrit en
    Août 2010
    Messages
    717
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Août 2010
    Messages : 717
    Par défaut
    Bonjour,

    D'accord avec Cerede2000: La base de données serait sûrement la solution la plus performante.

    Sinon une solution sous Excel pour garantir un minimum de performance serait d'avoir des csv en entrée et de rechercher dans ces fichiers en mode texte (via une expression régulière cherchant les lignes dont une des colonnes comporte ton code EAN).
    A voir quand-même si le contenu de chaque fichier rentre dans une variable string ou s'ils sont trop gros et qu'il faut les traiter par morceaux (ce qui sera nécessairement plus lent).

  4. #4
    Futur Membre du Club
    Homme Profil pro
    Directeur de projet
    Inscrit en
    Avril 2016
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 49
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Directeur de projet
    Secteur : Distribution

    Informations forums :
    Inscription : Avril 2016
    Messages : 3
    Par défaut merci
    la création de BDD sera lourde et c'est beaucoup de travail....
    je pensait à plus simple
    j'ai oublié de dire que le nombre de fichier sera de plus en plus nombreux avec de plus en plus de nombres de lignes.....
    et ne seront jamais dans le même format (même emplacement dans les colonnes et les lignes)
    les fichiers viennent de 86 sources différentes utilisant des logiciels différents (pour l'extraction des données)

    Par contre, ils sont tous transformés en csv pour un autre usage. donc tous les fichiers existent en CSV mais plus light... pour ne garder que certaines informations
    cordialement

  5. #5
    Expert confirmé
    Avatar de kiki29
    Homme Profil pro
    ex Observeur CGG / Analyste prog.
    Inscrit en
    Juin 2006
    Messages
    6 132
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Finistère (Bretagne)

    Informations professionnelles :
    Activité : ex Observeur CGG / Analyste prog.

    Informations forums :
    Inscription : Juin 2006
    Messages : 6 132
    Par défaut
    Salut, un pis-aller, à consulter : Les Expressions Rationnelles appliquées en VBA Access

  6. #6
    Expert confirmé
    Homme Profil pro
    Responsable des études
    Inscrit en
    Juillet 2014
    Messages
    2 681
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aude (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Responsable des études
    Secteur : Santé

    Informations forums :
    Inscription : Juillet 2014
    Messages : 2 681
    Par défaut
    Citation Envoyé par fino2016 Voir le message
    la création de BDD sera lourde et c'est beaucoup de travail....
    Ce que tu demandes à Excel c'est encore plus lourd, tu as 816 classeur pour l'instant et ça va augmenter, même a une seconde par classeur tu en à déjà pour 15min, et pour ouvrir un classeur rechercher la bonne colonne, la bonne valeur, copier coller, et refermer, sachant que tu as des fichiers avec jusque 200.000 lignes, il te faudras bien plus qu'une seconde par classeur.

    La BDD demande peut être plus de temps au début mais tu va vite le rattraper.

  7. #7
    Futur Membre du Club
    Homme Profil pro
    Directeur de projet
    Inscrit en
    Avril 2016
    Messages
    3
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 49
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Directeur de projet
    Secteur : Distribution

    Informations forums :
    Inscription : Avril 2016
    Messages : 3
    Par défaut suite
    Réponse pertinente....même si elle ne m'arrange pas....

  8. #8
    Invité
    Invité(e)
    Par défaut
    Bonjour,
    je t'invite à regarder les information redondante dans chaque sources! 86 c'est beaucoup mais c'est moins que 800!

    de reformuler un classeur type pour tous ces modèles et de l’importer dans Access!

    ensuite il faut créer une moulinette qui envois tout tes données Excel vers Access! vue le nombre de fichier je pense qu'un traitement journalier est suffisant via le gestionnaire de tache!

    une fois chaque fichier traité, je t'invite à le déplacer dans un répertoire archive afin de ne pas le retraiter à chaque import d'Access!

    ensuite tu pourra travailler dans Excel et faire ta recherche dans Access si tu le désir.

  9. #9
    Membre Expert
    Homme Profil pro
    Architecte de système d'information
    Inscrit en
    Juillet 2004
    Messages
    2 725
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Sarthe (Pays de la Loire)

    Informations professionnelles :
    Activité : Architecte de système d'information

    Informations forums :
    Inscription : Juillet 2004
    Messages : 2 725
    Par défaut
    Après ci c'est uniquement pour chercher quels sont les fichiers qui contiennent tel ou tel valeur et récupérer quelques valeurs, tu peux aussi essaye de voir autrement.
    Genre avec un script Powershell qui va aller voir directement dans le contenu des fichiers.

  10. #10
    Invité
    Invité(e)
    Par défaut
    Bonjour,
    Sur mon PC, j'arrive à 0.7-0.8s de temps de traitement pour un fichier d'entrée au format csv ayant 256000 lignes dont 256 avec le
    Ce qui est important c'est le temps de traitement d'un fichier * parle le nombre de fichiers * par le nombre de recherches par ligne * le nombres de lignes à traiter * par le nombre d'onglets impactés!

  11. #11
    Membre Expert
    Homme Profil pro
    Ingénieur
    Inscrit en
    Août 2010
    Messages
    717
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Août 2010
    Messages : 717
    Par défaut
    Bonjour,

    Il me semble que c'est bien ce que j'ai écrit: Le temps donné est a priori pour le pire cas (cas que j'ai détaillé et temps sur mon PC) et seul lui connaît le cas moyen d'où mes questions...

    Il n'y a qu'une seule recherche par ligne (pas de boucle sur les colonnes, je passe par une expression rationnelle).

  12. #12
    Invité
    Invité(e)
    Par défaut
    Je voulais être sur que la choses soit bien comprise et pas seulement par toi.

    Car la stratégie de départ, même la mienne, conditionnera le reste du traitement.

    Il faut évaluer toutes les stratégies vu le nombre de fichiers (analyser)

  13. #13
    Membre Expert
    Homme Profil pro
    Ingénieur
    Inscrit en
    Août 2010
    Messages
    717
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Août 2010
    Messages : 717
    Par défaut
    Je suis d'accord.

Discussions similaires

  1. [XL-2002] Récupération de données via un autre fichier
    Par Dexter81 dans le forum Macros et VBA Excel
    Réponses: 3
    Dernier message: 06/03/2012, 12h34
  2. problème récupération de données dans des fichiers .DAT
    Par indymontpellier dans le forum Bases de données
    Réponses: 4
    Dernier message: 13/04/2006, 07h54
  3. Réponses: 16
    Dernier message: 10/11/2005, 21h10
  4. Réponses: 6
    Dernier message: 23/10/2005, 12h24
  5. récupération des données via une liste déroulante
    Par rahan_dave dans le forum Access
    Réponses: 1
    Dernier message: 13/10/2005, 12h27

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo