IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Excel Discussion :

Avis concernant le rassemblement des données de plusieurs gros fichiers en un seul


Sujet :

Excel

  1. #1
    Membre du Club
    Profil pro
    Inscrit en
    Juin 2009
    Messages
    109
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juin 2009
    Messages : 109
    Points : 49
    Points
    49
    Par défaut Avis concernant le rassemblement des données de plusieurs gros fichiers en un seul
    Bonjour,

    J'ai besoin de votre avis sur ce que je veux réaliser.
    J'ai actuellement plusieurs fichiers excel assez lourds que je veux pouvoir rassembler en un seul, qui sera donc encore plus lourd mais là n'est pas le problème.

    J'ai deux fichiers qui comportent environ 150000 lignes sur une 30aine de colonnes.
    Un troisième qui en comporte environ 100000 sur une 30aine de colonnes.
    Un quatrième qui en comporte environ 50000 sur une 40aine de colonnes.

    Actuellement, j'ai essayé de rassembler ces données grâce à la fonction recherchev que je peux utiliser car j'ai divers identifiants que je peux retrouver dans l'un ou l'autre de ces fichiers.
    Je précise que je recherche à chaque fois la correspondance exacte et j'ai donc rajouté "0" en 4ème paramètre de mes fonctions recherchev.
    D'ailleurs, j'ai remarqué que sans remplir le 4ème paramètre, la fonction s'exécute beaucoup plus vite mais les résultats ne sont pas bon dans mon cas.

    Lors que j'applique la fonction recherchev sur l'ensemble de mon tableau, le traitement prend plusieurs heures.

    Ma question est de savoir s'il y a une meilleur méthode à utiliser?

    (J'espère avoir été le plus clair possible, n'hésitez pas à me questionner si je me suis mal fait comprendre)

  2. #2
    Expert éminent sénior Avatar de Menhir
    Homme Profil pro
    Ingénieur
    Inscrit en
    Juin 2007
    Messages
    16 037
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Finistère (Bretagne)

    Informations professionnelles :
    Activité : Ingénieur
    Secteur : Industrie

    Informations forums :
    Inscription : Juin 2007
    Messages : 16 037
    Points : 32 866
    Points
    32 866
    Par défaut
    Tu peux essayer une combinaison INDEX et EQUIV, mais il ne faut pas s'attendre à un miracle.
    En parlant de miracle, pour donner un ordre de grandeur, le nombre de lignes de ton fichier correspond environ au nombre de lignes dans la Bible que chacune de tes fonctions doit scruter en intégralité. Il est donc normal que ça prenne un peu de temps.
    Merci de cliquer sur pour chaque message ayant aidé puis sur pour clore cette discussion.

  3. #3
    Expert confirmé
    Homme Profil pro
    Responsable des études
    Inscrit en
    Juillet 2014
    Messages
    2 661
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Aude (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Responsable des études
    Secteur : Santé

    Informations forums :
    Inscription : Juillet 2014
    Messages : 2 661
    Points : 5 785
    Points
    5 785
    Par défaut
    J'ai fait une fusion de classeur via les dictionnaire (très rapide mais code assez indigeste) sur ce fil http://www.developpez.net/forums/d15...aptation-code/

    Je pense que ça pourrait t'aider.
    J'aimerais bien aller vivre en Théorie, car en Théorie tout se passe bien.

  4. #4
    Membre du Club
    Profil pro
    Inscrit en
    Juin 2009
    Messages
    109
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Juin 2009
    Messages : 109
    Points : 49
    Points
    49
    Par défaut
    Merci pour le lien.

  5. #5
    Responsable
    Office & Excel


    Homme Profil pro
    Formateur et développeur chez EXCELLEZ.net
    Inscrit en
    Novembre 2003
    Messages
    19 122
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 57
    Localisation : Belgique

    Informations professionnelles :
    Activité : Formateur et développeur chez EXCELLEZ.net
    Secteur : Enseignement

    Informations forums :
    Inscription : Novembre 2003
    Messages : 19 122
    Points : 55 921
    Points
    55 921
    Billets dans le blog
    131
    Par défaut
    Salut.

    Index/Equiv n'ira plus vite que RechercheV que si tu les découples (Equiv dans une colonne, puis tous les index dans les autres colonnes) de manière à ne faire la recherche (c'est ce qui prend du temps) qu'une seule fois.

    Sinon, c'est normal qu'en recherche exacte, il mette beaucoup plus de temps . Sur 150000 lignes, il va devoir lire en moyenne 75000 lignes pour en trouver une, alors qu'en recherche dichotomique, c'est-à-dire lorsque les données sont triées, sur 150000 lignes, Excel lira au maximum 18 lignes avant de trouver la bonne (pour autant que tes données soient triées et que la valeur cherchée soit bien présente, sans quoi, au bout des 18 lectures, il te sortira soit #N/A, soit une mauvaise valeur).

    Une solution serait donc de trier tes données sur les clés de recherche, pour autant que tu sois certain!!! que les données cherchées se trouvent bien dans le tableau, puisque tu pourras alors utiliser les versions "rapides" de RechercheV ou de Index/Equiv. Tu pourrais évidemment faire d'abord du nettoyage ou des tests pour t'assurer de cela (et éventuellement traiter d'abord les données qui posent problème).

    Une autre solution serait de passer par Access pour rassembler tes données puis de réinjecter les données dans Excel.

    Une troisième solution serait de travailler avec des tableaux indicés, mais bon, c'est quand même de la "vraie" programmation, alors.
    "Plus les hommes seront éclairés, plus ils seront libres" (Voltaire)
    ---------------
    Mes billets de blog sur DVP
    Mes remarques et critiques sont purement techniques. Ne les prenez jamais pour des attaques personnelles...
    Pensez à utiliser les tableaux structurés. Ils vous simplifieront la vie, tant en Excel qu'en VBA ==> mon tuto
    Le VBA ne palliera jamais une mauvaise conception de classeur ou un manque de connaissances des outils natifs d'Excel...
    Ce ne sont pas des bonnes pratiques parce que ce sont les miennes, ce sont les miennes parce que ce sont des bonnes pratiques
    VBA pour Excel? Pensez D'ABORD en EXCEL avant de penser en VBA...
    ---------------

Discussions similaires

  1. [XL-2010] copier des données de plusieurs feuilles excel dans une seule feuille
    Par haifaben dans le forum Macros et VBA Excel
    Réponses: 2
    Dernier message: 24/03/2016, 09h45
  2. Réponses: 5
    Dernier message: 30/07/2014, 18h36
  3. [XL-2010] Fusion des données provenant de 5 fichiers en un seul
    Par LiTongNian dans le forum Excel
    Réponses: 6
    Dernier message: 27/06/2012, 21h40
  4. Réponses: 10
    Dernier message: 15/09/2005, 12h31
  5. Avis sur la vérification des données d'une fiche
    Par AlexB59 dans le forum Composants VCL
    Réponses: 2
    Dernier message: 28/07/2005, 20h55

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo