Discussion :

[yaway]

Bonjour à tous,

j'ai une table qui a maintenant un nombre d'enregistrement très élevé. Sur celle ci nous faisons régulièrement une MAJ de sa column de date_modif.

Cette requête à elle seul fais près de d'1h30 de temps d'exécution.

Pour réduire ce temps, j'ai réalisé un code JAVA multithread où chaque thread prend une partie des enregistrements pour la mettre à jour. Les tâches étant fais en parallèle le code sera alors plus rapide.

Cependant j'ai un problème au niveau de ma base MySQL, les threads démarre bien ensemble, mais ma table MySQL active sont locks donc block l'executions de tous les threads ensemble.

Savez vous comment je peux enlever ce verrou ?

Ou avez vous un autre moyen d'optimiser ma requête ?

[CinePhil]

j'ai une table qui a maintenant un nombre d'enregistrement très élevé.

Combien de dizaines de millions de lignes ?

Sur celle ci nous faisons régulièrement une MAJ de sa column de date_modif.

La colonne est-elle indexée ? Est-elle bien de type DATE ou DATETIME ou TIMESTAMP ?
Quelle est la requête de modification ?

[yaway]

Combien de dizaines de millions de lignes ?

J'ai dans ma base de test environ 76000 ( donnée d'exemple ). Mais je ne sais pas réellement combien sur la prod. Mais la requete update me fait 1h30.

La colonne est-elle indexée ? Est-elle bien de type DATE ou DATETIME ou TIMESTAMP ?
Quelle est la requête de modification ?

Non elle n'est pas indexé, est il de recommander d'index un champs de date ?
Le type est DATETIME;

Voici la requete :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

"UPDATE table SET DATE_MODIF = '"+dateFormat.format(date)+"' WHERE id IN (SELECT * FROM (SELECT id FROM table  LIMIT "+this.min+","+this.nbr+") AS temp)";

Chaque Thread a un min différent des autres ce qui lui permet de gérer un interval distinct des autres.

[CinePhil]

Euh... c'est quoi ces imbrications de SELECT ?

Pouvez-vous exprimer en français quelle mise à jour doit être faite ?

Chaque Thread a un min différent des autres ce qui lui permet de gérer un interval distinct des autres.

La clause LIMIT sert à retourner les lignes du résultats de la requête depuis la ligne MIN jusqu'à la ligne MAX. Comme vous n'avez pas de WHERE ni, surtout, de ORDER BY dans votre sous-requête contenant LIMIT, vous pouvez avoir n'importe quelles lignes !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SET DATE_MODIF = '"+dateFormat.format(date)+"'

Vous voulez affecter la date du jour à la colonne DATE_MODIF ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SET DATE_MODIF = CURRENT_DATE