IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Macros et VBA Excel Discussion :

Concatener doublons gros fichier [XL-2013]


Sujet :

Macros et VBA Excel

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre averti Avatar de kassarasta
    Homme Profil pro
    Responsable du parc et des réseaux de télécommunication
    Inscrit en
    Février 2016
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Responsable du parc et des réseaux de télécommunication
    Secteur : Alimentation

    Informations forums :
    Inscription : Février 2016
    Messages : 12
    Par défaut Concatener doublons gros fichier
    Bonjour à tous,

    Après avoir regarder quasiment tout les sujets, je ne trouve pas la solution à mon problème.

    Je suis gestionnaire du fichier client d'une société qui compte plus de 100000 clients.

    Je viens de récupérer le fichier et là une flopper de doublons ( même triplons et quadriplons ....) sont présent dans ce fichier. Ma société travail toujours sont fichier sur Excel 2013( quel bêtise...).

    Ce que j'aimerai c'est pouvoir fusionner les ligne en doublons, c'est à dire :
    Voila mon en tête de fichier :

    A = NOM, B =ADRESSE, C= VILLE, D = CP, E= TEL, F = PORTABLE, G = MAIL, H = ANCIENNES TV, I = TV, J = DONNE LE, K = PILULIER (P) / RENOUVELLEMENT ( R), L = FICHIER D ORIGINE, M = FICHIER, N = DATE NAISSANCE, O = AGE, P = STATUT GLOBAL, Q = STATUT 1, R = STATUT 2, S = OBSERVATIONS, T = ENVOI LIVRET, U = DATE DE RAPPEL

    Toutes les infos de ses colonnes sont importantes.
    Donc ma demande est simple aurait il une macro pour concatener mes doublons si mes colonnes (en rouge A B C D E F ) sont identiques?
    Mon patron me demande cela aujourd'hui pour hier donc mon problème est très urgent et si quelqu'un pouvez me trouver la solution rapidement cela serait formidable.

    Je joint le fichier exemple de ce que je voudrais (ps : j'ai oublier de mettre numéro de tel et numéro de portable en recherche de doublons aussi)

    Merci d'avance a ce qui voudrons bien me donner un coup de main.
    Fichiers attachés Fichiers attachés

  2. #2
    Membre averti Avatar de DeVaK
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Janvier 2013
    Messages
    45
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 35
    Localisation : France, Hérault (Languedoc Roussillon)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Janvier 2013
    Messages : 45
    Par défaut ETL
    Tout soucis est un problème récurent qui peut être résolu de plusieurs façon. Je vais avoir l'air de répondre à côté, mais un logiciel d'ETL (Extract-Transform-Load) est un outil qui répondrait parfaitement à ce genre de besoin.

    Il va te permettre de travailler sur une source ou plusieurs sources (ici un fichier Excel, mais aussi une base de données, un fichier csv/xml, etc...) afin de produire un résultat donnée. Ca peut être typiquement une suppression de doublon, une agrégation de données provenant de plusieurs sources, etc...

    Bien qu'un outil d'ETL a pour but de créer des routines fixe (ex: tous les jours à minuit, tu prend ces deux base de données, tu agrèges leurs données que tu enregistreras dans ce fichier d'archive csv), une fois maîtrisé, il te permettra d'accomplir le genre de tâche auquel tu es actuellement confronté de façon très rapide. Tu pourras même garder ton outil sous la main si tu dois faire ce genre de chose régulièrement.

    Voici plusieurs outils d'ETL : Microsoft SSIS 2012, Talend, Pentaho, etc...

    Je pourrais notamment t'aider pour utiliser Microsoft SSIS que je sais utiliser.

    Source : https://en.wikipedia.org/wiki/Extract,_transform,_load

  3. #3
    Membre confirmé Avatar de nanooby
    Homme Profil pro
    IT Consultant
    Inscrit en
    Mai 2014
    Messages
    103
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Royaume-Uni

    Informations professionnelles :
    Activité : IT Consultant
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Mai 2014
    Messages : 103

  4. #4
    Invité
    Invité(e)
    Par défaut
    Bonjour,
    Effectivement, il y a plusieurs méthode.
    Moi ,si je devais effectuer ce traitement, je le gèrerais avec Odbc. Pour plusieurs raisons.

    Tes doublons ne sont pas forcément des doublons!
    Par exemple le nom, prénom, adresse identique, mais sur une ligne il y a le téléphone et pas sur l'autre, hors il peut s'avérer intéressant de regrouper les informations disparates sur un même individu!

    Une requête Sql via Ado n'est possible que si le fichier est enregistrer, mais j'imagine que c'est le cas!

  5. #5
    Membre averti Avatar de kassarasta
    Homme Profil pro
    Responsable du parc et des réseaux de télécommunication
    Inscrit en
    Février 2016
    Messages
    12
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Responsable du parc et des réseaux de télécommunication
    Secteur : Alimentation

    Informations forums :
    Inscription : Février 2016
    Messages : 12
    Par défaut
    Alors oui c'est ce que je cherche a faire : identifier les VRAI doublons et si c'est réellement le cas les grouper.

    Mon fichier est bien enregistrer en format XLSX

  6. #6
    Invité
    Invité(e)
    Par défaut
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    Sub Test()
    Dim Cn As Object, Sql As String, rs As Object
    Set Cn = CreateObject("Adodb.connection")
    'j’effectue un connexion sur ThisWorkbook
     With Cn
            .Provider = "Microsoft.ACE.OLEDB.12.0"
            .ConnectionString = "Data Source=" & ThisWorkbook.FullName & ";Extended Properties=""Excel 12.0 Xml;HDR=YES;"""
            .Open
        End With
    'Requête de regroupent qui récupéré le max des champs!
    Sql = " select [NOM],[ADRESSE],[VILLE],[CP],max([TEL]),max([PORTABLE]),max([MAIL]),max([ANCIENNES TV]),max([TV]),max([DONNE LE]),max([PILULIER (P) / RENOUVELLEMENT ( R)]),max([FICHIER D ORIGINE]),max([FICHIER]),max([DATE NAISSANCE]),max([AGE]),max([STATUT GLOBAL]),max([STATUT 1]),max([STATUT 2]),max([OBSERVATIONS]),max([ENVOI LIVRET]),max([DATE DE RAPPEL]) "
    Sql = Sql & "From [Feuil1$] where [NOM] is not null "
    Sql = Sql & "group by [NOM],[ADRESSE],[VILLE],[CP]"
    Set rs = CreateObject("adodb.recordSet")
    rs.Open Sql, Cn
    ThisWorkbook.Sheets("Feuil2").Range("A2").CopyFromRecordset rs
    rs.Close
        Cn.Close
    End Sub
    Fichiers attachés Fichiers attachés
    Dernière modification par Invité ; 24/02/2016 à 15h40.

  7. #7
    Invité
    Invité(e)
    Par défaut
    j'ai fait une petite erreur
    Fichiers attachés Fichiers attachés

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Peut-on lire des gros fichiers(100k) avec "TClientSocke
    Par Fred LEM dans le forum C++Builder
    Réponses: 3
    Dernier message: 20/12/2004, 14h41
  2. Optimisation de la lecture de tres gros fichiers
    Par Lydie dans le forum C++Builder
    Réponses: 4
    Dernier message: 12/07/2004, 14h09
  3. [JDOM] Gestion "gros fichiers"
    Par Haazheel dans le forum Format d'échange (XML, JSON...)
    Réponses: 10
    Dernier message: 17/10/2003, 13h42
  4. Un langage pour lire, traiter et écrire de gros fichiers
    Par March' dans le forum Langages de programmation
    Réponses: 19
    Dernier message: 07/04/2003, 15h26
  5. XML DOM et gros fichiers
    Par Manu_Just dans le forum APIs
    Réponses: 4
    Dernier message: 28/03/2003, 09h50

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo