Performance ON DUPLICATE KEY

Bonjour,

J'ai besoin, sous forme de batch de nuit exécuté 1 à 2 fois par semaine, de créer ou mettre à jour une grande quantité d'information : 1 à 10 millions de lignes.

j'ai donc pensé à INSERT......ON DUPLICATE KEY ..

Mais on m'a alerté sur le fait que le ON DUPLICATE KEY est très gourmand.
Je vous demande donc votre retour d'expérience sur la solution la mieux adapté sachant que j'aurai à priori plus d'UPDATE que d'INSERT lors de chaque mise à jour :

SOIT : INSERT......ON DUPLICATE KEY .. ?

SOIT : UPDATE ...
puis je teste si aucune ligne n'a été mis à jour (mysql_affected_rows() =0) ALORS je fais une INSERT

D'avance merci

Salut saluts92.

Que faire si vous devez choisir entre :
--> (1) faire un insert quand la ligne n'existe pas
--> (2) faire un update quand la ligne existe déjà

Il y a le traditionnel test, qui consiste à vérifier en premier l'existence de la ligne.
Si la ligne n'existe pas faire (1) un insert, sinon faire (2) un update.
C'est lourd à mettre en place alors que MySql sait le faire mieux que vous.

La solution consiste à utiliser le replace.
--> http://dev.mysql.com/doc/refman/5.7/en/replace.html

Mais comment fonctionne ce replace ?
Il fonctionne comme un insert, sauf que si la ligne existe déjà, il détruit l'ancienne ligne avant de venir insérer la nouvelle.

Et quel est la différence avec un on duplicate key ?
--> http://dev.mysql.com/doc/refman/5.7/...duplicate.html
Et bien au lieu de détruire l'ancienne ligne, il vient simplement la mettre à jour.

Donc pour résoudre votre problème, le mieux est de faire le test entre ces deux formes d'écritures afin de comparer avec un jeu d'essai représentatif, la solution qui sera la plus performante.

@+

Bonjour,

Le choix de la solution dépend aussi de la fréquence des cas :
S'il y a de fortes chances que votre ligne existe déjà, il est préférable de tenter l'update en 1er
Si au contraire, le cas le plus fréquent est l'ajout, alors privilégiez l'insert
Ceci afin d'éviter les I/O inutiles

Cela dit, il existe souvent des normes internes à l'entreprise sur ce point, à vous de vérifier ce qu'il en sur le site où vous intervenez.