Discussion :

[Chezkele]

Bonjour,

la requête suivante:

Code php :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
$sql = "SELECT nom_pays, libelle_".$nomen.", sum(valeur) as valeur, sum(masse) as masse
			from pays as p , ".$impexp."_".$annee." as e, ".$nomen." as c 
			where e.code_pays=p.code_pays and p.nom_pays = '".$pays."'".
			" and c.code_". $nomen ." = e.code_".$nomen." and libelle_".$nomen." = '".$produit."'";
 
			$result = mysql_query($sql,$lien);

Me prend plusieurs seconde, quelle peut en être la cause?
Une des tables impliquées comporte environ 1,5 millions de lignes, les autres quelques centaines.

[Invité]

Bonjour,

Il faut mettre des INNER JOIN.

[Chezkele]

Bonjour jreaux62,

merci pour ta réponse. Tu me proposes de réécrire ma requête sous forme algébrique: on m'a appris en cours qu'au niveau des algos de recherche, elle était équivalente à la formulation "historique" que j'ai utilisée (et que perso je trouve plus claire), serait-ce faux?

Sinon, j'ai exécuté une requête de ce type directement au niveau du SGBD, et cela a pris 10 secondes. En réduisant la table d'un million de lignes à 10 lignes, cela a été immédiat. La taille de la table serait donc à mettre en cause. Ce qui, fort naïvement, me surprend un peu puisque j'avais cru que SQL servait justement à gagner du temps sur des choses de ce genre. Or un pote va infiniment plus vite en faisant la même chose juste avec python/csv.

[Invité]

...on m'a appris en cours....

1- Sachant que l'extension mysql_ est OBSOLETE depuis plus de 10 ans (!), il faut supposer que les conseils de "on" le sont aussi.
Il faut utiliser PDO, et les requêtes préparées.

2- Une autre optimisation est d'indexer les colonnes "utiles" des tables SQL.
Mais, dans ce domaine, je ne suis pas spécialiste.

• Indexer avec SQL-Server... oui mais quoi ? (2008)

[Chezkele]

Sachant que l'extension mysql_ est OBSOLETE depuis plus de 10 ans (!), il faut supposer que les conseils de "on" le sont aussi.

Il n'y a que moi à blâmer pour l'usage de mysql_, c'était ce que j'avais dans les exemples que j'avais récupérés et le temps pressait. Merci pour ta remarque concernant PDO.

[armel18]

merci pour ta réponse. Tu me proposes de réécrire ma requête sous forme algébrique: on m'a appris en cours qu'au niveau des algos de recherche, elle était équivalente à la formulation "historique" que j'ai utilisée (et que perso je trouve plus claire), serait-ce faux?

cette formulation "historique" date de 1992 et est désignée sous le standard SQL-92.
De nos jours pour faire la jointure entre les tables on utilise la jointure évoluée( INNER JOIN, LEFT JOIN, RIGHT JOIN ...) qui a l'avantage d'être plus rapide. Cette dernière est issue du standard SQL-99. Ce dernier standard date de 1999.

Ce qui, fort naïvement, me surprend un peu puisque j'avais cru que SQL servait justement à gagner du temps sur des choses de ce genre. Or un pote va infiniment plus vite en faisant la même chose juste avec python/csv.

tout dépend de la quantité des données. sur de petites volumétries un fichier sera plus rapide mais sur de grosses volumétries une base de données sera toujours plus rapide.Avec une BD tu peux formuler une requête pour récupérer une donnée précise ce qui n'est pas le cas pour un fichier où il faut tout lire.

Comme mentionné précédemment les colonnes impliquées dans la jointure doivent être indexées(exceptées les colonnes définissant PRIMARY KEY et FOREIGN KEY qui sont automatiquement indexées). De même les colonnes impliquées dans les conditions(where, and, IN ...) doivent être aussi indexées.

Une des tables impliquées comporte envirion 1,5 millions de lignes, les autres quelques centaines.

le problème ce n'est pas d'avoir 1,5m d’enregistrements mais combien parmi ces derniers ont une correspondance dans les autres tables. C'est ce à quoi ta requête est censée répondre en d'autres termes combien de lignes ta requête affiche-elle ? si tu as beaucoup de lignes il faut penser à limiter l'affichage donc faire de la pagination. La clause SQL qui limite le nombre de lignes est LIMIT numero_ligne,nombre_de_lignes.

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
SELECT *
FROM table_a a INNER JOIN table_b b ON a.id = b.table_a_id
LIMIT 0,50 ; # Affiche les lignes de 1 à 50