Discussion :

[nemo67]

Bonjour,

j'insère dans une table le résultat d'une requete avec qqchose comme :

insert into xxx select ....

Par contre le select peut renvoyer pas mal de lignes et donc cela peut être assez long. J'aimerai donc afficher le nombre de lignes déjà insérées avant que cette requête ne soit terminée (dans un autre thread)

Le pb c'est que mysql me locke la table tant que ce n'est pas terminé et donc je n'arrive pas à avoir le nombre de lignes insérées avant que l'insertion complète soit terminée !!

Quelqu'un a une solution ? J'ai cherché dans la doc mysql mais je ne trouve pas . J'espère que c'est possible ???

[nemo67]

J'ai l'impression que je n'ai pas été assez clair ... je recommence :

J'ai une requête INSERT INTO xxxx select yyyyyyy qui prend pas mal de temps du fait du nombre de lignes à insérer.

J'aimerai donc sur une autre instance faire un select count(*) from xxxxx à intervalles réguliers pour afficher le nombre de lignes insérées et cela tant que l'insert n'est pas terminé.

Le problème c'est que j'ai l'impression que le select "attend" que l'insert soit terminé et du coup cela ne me sert plus à rien ??

Est ce que quelqu'un peut me confirmer qu'il s'agit d'un problème de verrouillage ? et si oui comment procéder ???

[CinePhil]

Effectivement, ça ne me semble pas possible directement en SQL.
Une technique pourrait être de lancer la requête d'insertion en plusieurs fois en ajoutant à la fin du SELECT un LIMIT et donc d'insérer par tranche de 10000 par exemple.
Mais ça rallonge l'insertion globale et je ne pense pas que ce soit le but.

[nemo67]

Merci CinePhil de t'interesser à mon problème

pour contourner le pb j'ai essayé

SET TRANSACTION ISOLATION LEVEL READ UNCOMMITTED

avant de lancer pour mon select count et dans ce cas, la requête est exécutée sans attente par contre cela me renvoit toujours 0 tant que la requête d'insertion n'est pas terminée ! arghhh

L'autre idée était de passer par des insert delayed mais à priori cela ne fonctionne pas avec insert into ... select ....

je sais plus ou chercher ?

[nemo67]

J'ai pas tout compris mais cela a fonctionné une fois ??? Par contre je n'arrive pas à le reproduire :

J'ai fait qqchose comme ca : je suis plus trop sûr ???

SET AUTOCOMMIT = 0

SET GLOBAL TRANSACTION ISOLATION LEVEL READ UNCOMMITTED

Puis derrière mes select count(*) tant que la requête d'insersion n'est pas finie. Et là j'ai bien eu le nombre de lignes en cours d'insersion.

Par contre impossible de reproduire, désormais j'ai que des 0 tant que l'insersion complète n'est pas terminée.

Je cherche, je cherche ...

[Sivrît]

Effectivement, ça ne me semble pas possible directement en SQL.
Une technique pourrait être de lancer la requête d'insertion en plusieurs fois en ajoutant à la fin du SELECT un LIMIT et donc d'insérer par tranche de 10000 par exemple.
Mais ça rallonge l'insertion globale et je ne pense pas que ce soit le but.

Personnellement, plutôt que de jouer sur des particularités (voire des défauts) de la BDD, il me semble préférable de revoir un peu l'approche.

D'abord un SELECT sur les PK à insérer, afin de mesurer ce qu'il y a à faire, et ensuite découper ça en N tranches. Ensuite, il ne reste qu'à faire N INSERT/SELECT en ajoutant à chaque fois une clause BETWEEN au WHERE.

[CinePhil]

Ce n'est pas un défaut de la BDD.
Tu lances une requête au SGBD et il l'exécute du mieux qu'il peut.

Au fait, quelle est la volumétrie à traiter ?

Cette lenteur pourrait aussi être due à un mauvais indexage des tables ?

[nemo67]

Merci Sivrît

cela me semble effectivement la meilleure solution
Je fais ça