Requête SQL dans un script Perl

Version imprimable

Bonjour,

J'ai un script Perl sous la main qui est censé prendre certaines informations de 2 tables en même temps et les retranscrire dans une autre table (vide en l'occurrence). Cependant, cette requête comporte une erreur de syntaxe MySQL. La voici ci-dessous :
Code:

1 2 3 4 5 6 7 8 eval { $dbh->do("REPLACE INTO userlog (id, raw_mac, ip_saddr, ip_daddr, ip_protocol, tcp_sport, tcp_dport, udp_sport, udp_dport, timestamp, username) (SELECT u.'id', r.'callingstationid' AS raw_mac, INET_NTOA(u.'ip_saddr') AS ip_saddr, INET_NTOA(u.'ip_daddr') AS ip_daddr, u.'ip_protocol', u.'tcp_sport', u.'tcp_dport', u.'udp_sport', u.'udp_dport', u.'timestamp', r.'username' FROM ulog u, radacct r WHERE (u.'timestamp' = r.'acctstarttime' OR u.'timestamp' > r.'acctstarttime') AND ((u.'timestamp' = r.'acctstoptime') OR (u.'timestamp' < r.'acctstoptime') OR (r.'acctstoptime' IS NULL)) AND (u.'ip_saddr' = INET_ATON(r.'framedipaddress'))) AND (TO_DAYS(NOW()) - TO_DAYS(u.'timestamp') < 7)") };
L'erreur que me signale MySQL se trouverait apparemment près de la dernière ligne au niveau de :

Code:

AND (TO_DAYS(NOW()) - TO_DAYS(u.'timestamp') < 7)") };

J'ai tenté de changer la position d'une parenthèse fermante mais phpMyAdmin a planté après cela ... (en indiquant la table userlog "marked as crashed").

Quelqu'un voit-il ce qui cloche ? :?

16/11/2012, 16h23
CinePhil

Isole le texte de la requête, indente la correctement et trouveras l'erreur : il semble qu'il y ait une parenthèse en trop. Voilà ce que c'est de vouloir mettre des parenthèses partout ! :aie:

Les jointures s'écrivent depuis 20 ans avec l'opérateur JOIN ; il serait temps de s'y mettre ! :aie:

Ce qui m'étonne aussi c'est que les noms de colonnes sont entourés d'apostrophes (alors qu'elles sont ici presque inutiles car les colonnes sont correctement nommées, sauf "timestamp" qui doit être entourée d'apostrophes inversées). MySQL interprétera ça comme un texte et donnera probablement une autre erreur.

Pas terrible cette requête ! Pour ne pas dire pire ! :aie:

D'ailleurs, j'ai du mal à la comprendre.
Il semble qu'il y ait une condition de jointure u.`timestamp` = r.acctstarttime mais dans le WHERE on trouve OR u.`timestamp` > r.acctstarttime ainsi que

Code:

OR (u.`timestamp` < r.acctstoptime)

! 8O
16/11/2012, 16h51
Gannox

Autant le dire tout de suite : la présente requête n'est en aucun cas le fruit d'un de mes travaux ! Je suis chargé de la reprendre car le script Perl contenant cette requête est lancé chaque jour à minuit mais ne fais strictement rien si ce n'est planter phpMyAdmin.

Aussi, pour la condition de jointure, il faut bien distinguer "acctSTARTtime" et "acctSTOPtime" :P

J'ai quand même du mal à comprendre en quoi la dernière ligne est louche pour l'interpréteur MySQL ...
17/11/2012, 18h58
CinePhil

Citation:

Envoyé par Gannox

Aussi, pour la condition de jointure, il faut bien distinguer "acctSTARTtime" et "acctSTOPtime" :P

Oups ! Au temps pour moi ! :oops:

Citation:

J'ai quand même du mal à comprendre en quoi la dernière ligne est louche pour l'interpréteur MySQL ...

Comme je l'ai dit, il y a une parentèse en trop, juste avant je crois. Je n'ai pas réeesayé de remettre en forme cette requête mais il me semble me souvenir que la dernière condition se retrouve en dehors de la sous-requête à cause de cette parenthèse en trop.

Bonjour,

J'ai compté et il y a autant de parenthèses ouvrantes que de parenthèses fermantes visiblement. J'ai essayé de modifier l'emplacement d'une parenthèse fermante (coloriée en rouge) :

Code:

1
2
3
4
5
6
7
8
eval { $dbh->do("REPLACE INTO userlog (id, raw_mac, ip_saddr, ip_daddr, ip_protocol, tcp_sport, tcp_dport, 
udp_sport, udp_dport, timestamp, username) (SELECT u.'id', r.'callingstationid' AS raw_mac, 
INET_NTOA(u.'ip_saddr') AS ip_saddr, INET_NTOA(u.'ip_daddr') AS ip_daddr, u.'ip_protocol', u.'tcp_sport', u.'tcp_dport', 
u.'udp_sport', u.'udp_dport', u.'timestamp', r.'username' FROM ulog u, radacct r 
WHERE (u.'timestamp' = r.'acctstarttime' OR u.'timestamp' > r.'acctstarttime') 
AND ((u.'timestamp' = r.'acctstoptime') OR (u.'timestamp' < r.'acctstoptime') OR (r.'acctstoptime' IS NULL)) 
AND (u.'ip_saddr' = INET_ATON(r.'framedipaddress'))) 
AND (TO_DAYS(NOW()) - TO_DAYS(u.'timestamp') < 7)") };

Je l'ai mise instinctivement à cet endroit :

Code:

1
2
3
4
5
6
7
8
eval { $dbh->do("REPLACE INTO userlog (id, raw_mac, ip_saddr, ip_daddr, ip_protocol, tcp_sport, tcp_dport, 
udp_sport, udp_dport, timestamp, username) (SELECT u.'id', r.'callingstationid' AS raw_mac, 
INET_NTOA(u.'ip_saddr') AS ip_saddr, INET_NTOA(u.'ip_daddr') AS ip_daddr, u.'ip_protocol', u.'tcp_sport', u.'tcp_dport', 
u.'udp_sport', u.'udp_dport', u.'timestamp', r.'username' FROM ulog u, radacct r 
WHERE (u.'timestamp' = r.'acctstarttime' OR u.'timestamp' > r.'acctstarttime') 
AND ((u.'timestamp' = r.'acctstoptime') OR (u.'timestamp' < r.'acctstoptime') OR (r.'acctstoptime' IS NULL)) 
AND (u.'ip_saddr' = INET_ATON(r.'framedipaddress')) 
AND (TO_DAYS(NOW()) - TO_DAYS(u.'timestamp') < 7))") };

Cette modification a fait planté phpmyadmin et ma table ! Le temps de chargement de la requête est interminable et n'aboutit pas.

Il ne suffit pas de compter les aprenthèses !
bis repetita :

Citation:

Isole le texte de la requête, indente la correctement

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
REPLACE INTO userlog (id, raw_mac, ip_saddr, ip_daddr, ip_protocol, tcp_sport, tcp_dport,
udp_sport, udp_dport, `timestamp`, username)
(
	SELECT u.id, r.callingstationid AS raw_mac,
		INET_NTOA(u.ip_saddr) AS ip_saddr,
		INET_NTOA(u.ip_daddr) AS ip_daddr,
		u.ip_protocol, u.tcp_sport, u.tcp_dport,
		u.udp_sport, u.udp_dport, u.`timestamp`, r.username
	FROM ulog u, radacct r
	WHERE
	(
		u.`timestamp` = r.acctstarttime
		OR u.`timestamp` > r.acctstarttime
	)
	AND
	(
		(u.`timestamp` = r.acctstoptime)
		OR
		(u.`timestamp` < r.acctstoptime)
		OR
		(r.acctstoptime IS NULL)
	)
	AND
	(u.ip_saddr = INET_ATON(r.framedipaddress))
)
-- C'EST LÀ QUE ÇA COINCE !!
AND (TO_DAYS(NOW()) - TO_DAYS(u.'timestamp') < 7)

Mais cette requête reste horrible !

Heu ... ce post ne fait que répéter ce que je sais déjà :roll:

J'ai signalé que j'ai pensé à changer de place la parenthèse fermante du select mais sans résultat car ça plante. J'ai également changé de syntaxe pour avoir les 7 derniers jours :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 REPLACE INTO userlog (id, raw_mac, ip_saddr, ip_daddr, ip_protocol, tcp_sport, tcp_dport, udp_sport, udp_dport, `timestamp`, username) ( SELECT u.id, r.callingstationid AS raw_mac, INET_NTOA(u.ip_saddr) AS ip_saddr, INET_NTOA(u.ip_daddr) AS ip_daddr, u.ip_protocol, u.tcp_sport, u.tcp_dport, u.udp_sport, u.udp_dport, u.`timestamp`, r.username FROM ulog u, radacct r WHERE ( u.`timestamp` = r.acctstarttime OR u.`timestamp` > r.acctstarttime ) AND ( (u.`timestamp` = r.acctstoptime) OR (u.`timestamp` < r.acctstoptime) OR (r.acctstoptime IS NULL) ) AND (u.ip_saddr = INET_ATON(r.framedipaddress)) AND (u.`timestamp` BETWEEN DATE_SUB(CURDATE(), INTERVAL 7 DAY) AND CURDATE()) )
Mais sans résultats car ça continue de planter ... La requête n'arrive pas à s'exécuter, le temps de chargement est interminable et je ne sais pas ce qui provoque cela.

20/11/2012, 09h10
CinePhil

Les tables sont-elles correctement indexées ?
Quel est leur volume ?
As-tu essayé d'OPTIMIZEr les tables ?
Le serveur est-il suffisamment dimensionné ?
20/11/2012, 09h26
Gannox

Les tables sont correctement indexées, aucun problème de ce côté-là.

La table ulog comporte plusieurs millions d'enregistrements et la table radacct en possède 20 000 grossomodo.

Je n'ai pas essayé la commande OPTIMIZE car je ne la connaissais pas.

Le serveur est suffisamment dimensionné (source : mon tuteur).
20/11/2012, 09h43
CinePhil

Dans la mesure où c'est une requête qui ne comporte aucun paramètre, as-tu essayé de la lancer directement dans MySQL, hors du script Perl ?
20/11/2012, 09h58
Gannox

C'est ce que je fais depuis le début, même erreur pour les 2 manières de faire et temps de chargement interminable pour les 2 si je modifie la condition de date.

Donne la structure complète des tables (résultat complet de SHOW CREATE TABLE la_table).
Donne aussi le résultat de l'EXPLAIN de la sous-requête SELECT.

Essaie avec cette sous-requête écrite avec la jointure moderne :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
SELECT u.id, r.callingstationid AS raw_mac,
	INET_NTOA(u.ip_saddr) AS ip_saddr,
	INET_NTOA(u.ip_daddr) AS ip_daddr,
	u.ip_protocol, u.tcp_sport, u.tcp_dport,
	u.udp_sport, u.udp_dport, u.`timestamp`, r.username
FROM ulog u
INNER JOIN radacct r
	ON u.`timestamp` >= r.acctstarttime
	AND
	(
		u.`timestamp` <= r.acctstoptime
		OR r.acctstoptime IS NULL
	)
WHERE u.ip_saddr = INET_ATON(r.framedipaddress)
	AND u.`timestamp` BETWEEN DATE_SUB(CURRENT_DATE, INTERVAL 7 DAY) AND CURRENT_DATE

20/11/2012, 11h36
Gannox

On dirait que ta chère jointure moderne fait des miracles ! J'ai un résultat dans ma base de données à l'aide de ta proposition de sous-requête. Le temps d'exécution a été très long mais les ajouts ont été effectués.

Merci pour le coup de main, le problème semble être résolu.