[Conception] Traitement des doublons (grosse BDD) [Résolu]

[masseur]

Bonjour.

J'aurais voulu avoir des avis.
Ma société va acheter plusieurs liste de (clients prospects) à diverses sociétés.
Quel serait le meilleur moyen pour essayer de lutter contre l'insertion de doublon?

En effet un même prospect peux apparaitre plusieurs fois dans les différentes sources achetés

Faire une verification avant l'insertion (mais comment?)
Ou alors insérer et créer à part une page de nettoyage ou le script afficherait toutes les lignes qui ont au moins les champs nom,prenom,tel,adresse,telephone ont commun et avec une possibilité d'effacement.

Si vous avez de meilleurs méthodes je suis preneur.
Cordialement.

[Deepin]

Salut,
la creation d'un script de nettoyage me parait etre une solution convenable.
A++

[dewsz]

Bonjour, les deux solutions son valables.

Si tu vérifie avant, tu ne surcharge pas la base avec des écritures et des suppressions. En plus tu évites la possibilité de créer une relation sur un doublon ( et donc si tu as une intégrité référentiel, l'impossibilité de supprimer le doublon). Par contre tu dois peut être gérer le code de vérification pour chaque source

Si tu vérifie après, cela permet d'utiliser la même fonction pour chaque source ajouté (code plus simple). Tu réutiliser aussi la fonction pour les insertions manuelles ou les modifications.
Par contre, tu fais plus travailler la base de données, et le risque de relations avec les doublon est plus élevé, donc tu dois gérer toi même la réaffections des relations.

Pour conclure, cela dépends de la forme de tes sources , de la forme de ta base de données, et de la façon d'identifier tes clients (quels champs, case sensitive ou pas, ...)

[Raideman]

Moi j'avoue que je prefererai la solution ou tu nettoies avant via un script fait sur mesure pour celà. Pourquoi? Simplement parce qu'une fois le script fonctionnel, tu le lances une fois et tout est propre après pour travailler dessus comme tu le veux.
En fait, cela depend aussi du format de tes listes.
Imaginons que les listes soient en excel et qu'elles aient toutes les memes champs.
Tu les transformes en csv dans un premier temps.
Ensuite tu crées un script qui va charger ligne par ligne tes prospects. A chaque ligne tu vérifies que tu n'as pas deja inséré le prospect (en testant nom, prenom, email , etc...).Si le prospect existe deja, tu passes à la ligne suivante. Sinon tu l'inseres dans la bdd et tu moulines jusqu'a ce que mort ou réussite s'en suivent

[max44410]

Salut,

Moi je suis plus de l'avis de "dewsz", faire une fonction qui test avant d'ajouter pour eviter d'avoir des contraintes d'integritées à gérer par la suite. C'est beaucoup moins complexe a mettre en place et en plus tu peux t'en resservir par la suite a chaque fois que tu ajoutes quelques chose dans la base de données.

Voila, bonne continuation

[masseur]

Merci à vous pour ces précieuses informations.