Discussion :

[Adel13]

Bonjour à tous. J'ai une petite question (cela concerne Mysql)

J'ai une table "Email vérifié" qui comprend entre 10 000 et 50 000 emails. Chaque jour, un script doit être lancé pour récupérer des emails de l'extérieur, et les insérer dans cette table. Le soucis c'est que dans ces e-mails importés, il y en a déjà que l'on a enregistré dans notre base de données
Par conséquent, en terme de performance je voulais vous demander :
1) Serais-t-il plus performant de vider toute la table "Email vérifié" et de la re-remplir.

2) Ou alors pour chaque e-mail récupéré, faire un test pour savoir si elle existe dans la base.


Quel est la solution la plus performante et rapide, en théorie bien sur. Merci d'avance de vos réponses en tout cas

[kabkab]

Bonjour,
Pourquoi ne pas simplement supprimer le mail lu sur le serveur. Parce que sinon cela va rapidement saturer le traitement côté mysql.
Faire le traitement pour des milliers articles va rapidement saturer ton script.
Comment va tu savoir que le mail existe déjà (option 2)?

[Adel13]

Je pense que tu as mal compris le sujet, c'est surement du à une mauvaise explication de ma part. Je m'explique un peu mieux :

J'ai une base de données, qui va devoir récupérer des mails à partir d'un service externe. Donc on a à ça :

Base de donnée < ===== Email provenant de l'extérieur.

Par exemple pour un jour j, j'importe une liste de 5 mails de l'extérieur.
Le lendemain, je dois importer la même liste, qui pourrait avoir les 5 mails précédant + de nouveaux.

Alors là j'ai 2 solutions :
- Soit je vide toute ma table, et je réimporte toute la liste
- Soit pour chaque email de la liste, je teste si ce dernier existe déjà dans ma base de donnée, si c'est le cas rien ne sert de l'importer.

[CinePhil]

Il vaut mieux, dans ce cas, vider et réimporter, à condition que le service resserve l'intégralité de ce qui a déjà été téléchargé.

Mais d'une manière générale, je préfère importer les données externes dans une table tampon et avoir une procédure qui répartit les données importées dans les bonnes tables de la BDD structurée. Dès lors, les données déjà importées sont protégées d'un nouvel import car il est facile dans la procédure de n'insérer dans la BDD normalisée que les nouvelles données.
Et du coup aucun problème pour vider la table tampon une fois l'insertion en BDD effectuée par la procédure.

[skuatamad]

L'option 2 ne peut pas être envisageable telle que présentée.
L'option 2 devrait être MERGE les données (ou dans le cas de mysql ON DUPLICATE KEY mais c'est moins flexible).

Mais effectivement si un TRUNCATE est possible car l'appli n'est pas utilisée, le fichier contient tous les mails, les clés étrangères peuvent être désactivées alors effectivement TRUNCATE + reload de toutes les données est une option très fréquemment utilisée.