Discussion :

[ctobini]

Bonjour,

Je souhaite effectuer une requête sur un très gros nombre de lignes (40 000 000 d'entrées environ), plusieurs jointures sont effectuées.

Sauriez-vous s'il est possible d'allouer plus de mémoire pour SELECT (dans my.cnf) et s'il est possible de traiter la requête par lots plutôt que tout charger en mémoire (à moins que le serveur ne gère ça tout seul, mais comme j'ai eu un crash du client, je préfère m'en assurer) ?

En vous remerciant,

C. Tobini

[xave]

Bonjour,

Tu peux déjà utiliser SQL_BIG_RESULT si tu as beaucoup de résultats, ensuite n'hésite pas également à créer des index sur ta table qui te permettront d'optimiser les temps de réponse.
Pour voir sur quel champs créer tes index utilise 'EXPLAIN' dans ta requete.

Voilà, si tu suis déjà bien ces deux conseils et que tu places bien tes index, tu devrais avoir des résultats satisfaisants.

Maintenant si vraiment tu veux augmenter la mémoire, penche toi du côté de la variable de serveur 'key_buffer_size' que tu peux augmenter.

[ctobini]

Bonjour et merci de la réponse,

J'ai augmenté dans un premier temps key_buffer_size qui améliore effectivement sensiblement la réponse.

Je vais me pencher sur EXPLAIN pour voir si mes index sont optimisés.

Merci encore et bonne journée,

C. Tobini

[xave]

Habituellement on fait plutôt le contraire, à savoir on commence par optimiser ses requetes et ensuite on augmente la taille du buffer...
Ne négliges pas SQL_BIG_RESULT également