Erreur sur insertion d'une date dans MySQL

Version imprimable

Bonjour,

C'est une question qui me semble être plus liée à Python qu'à MySQL car je peux faire l'insertion sans problème avec phpmyadmin.

Je m'explique :8-)
Mon programme fonctionne très bien si j'enlève l'insertion du champ date.;)
Si je l'ajoute (et j'en ai vraiment besoin) j'ai l'erreur suivante :

Citation:

Traceback (most recent call last):
File "C:\Users\pidlas\Documents\rudder_find.py", line 58, in <module>
extract(info)
File "C:\Users\pidlas\Documents\rudder_find.py", line 46, in extract
cursor.execute(query, (serveur, etat, directive, regle, date,))
File "C:\Python27\lib\site-packages\MySQLdb\cursors.py", line 183, in execute
query = query % db.literal(args)
TypeError: not all arguments converted during string formatting

Dans ma base MySQL, le champs date est déclaré en datetime. Donc le format attendu est : AAAA-MM-JJ HH:MM:SS
Ma variable python date est exactement formaté comme cela.
Pour être encore plus sûr j'ai utilisé le module datetime pour réaliser une conversion chaîne vers date.

Rien n'y fait. Avec ou sans conversion j'ai le même message d'erreur.

Voici mon code Python :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
 
# -*- coding: utf-8 -*-
# modules nécessaires
from os import chdir
import MySQLdb as mdb
import sys
import datetime
 
# variables pour la BDD
serveur = ''
etat = ''
regle = ''
directive = ''
 
# répertoire où se trouve les logs
chdir("c:/Users/pidlas/Documents/rudder/")
 
def extract(log):
    for ligne in log:
        debut_date = ligne.find('[')
        fin_date = ligne.find(']')
        date = ligne[debut_date+1:fin_date-5]
        date = datetime.datetime.strptime(date, "%Y-%m-%d %H:%M:%S")
        sep_N = ligne.find('N:')
        serveur = ligne[ligne.find('[',sep_N)+1:ligne.find(']',sep_N)]
        sep_S = ligne.find('S:')
        etat = ligne[ligne.find('[',sep_S)+1:ligne.find(']',sep_S)]
        sep_R = ligne.find('R:')
        regle = ligne[ligne.find('[',sep_R)+1:ligne.find(']',sep_R)]
        sep_D = ligne.find('D:')
        directive = ligne[ligne.find('[',sep_D)+1:ligne.find(']',sep_D)]
 
        try:
            db = mdb.connect('localhost', 'root', '', 'rudder');
            cursor = db.cursor()
            query = """INSERT IGNORE INTO serveur (nom_serveur) VALUES (%s)"""
            cursor.execute(query, (serveur,))
            query = """INSERT IGNORE INTO etat (nom_etat) VALUES (%s)"""
            cursor.execute(query, (etat,))
            query = """INSERT IGNORE INTO directive (nom_directive) VALUES (%s)"""
            cursor.execute(query, (directive,))
            query = """INSERT IGNORE INTO regle (nom_regle) VALUES (%s)"""
            cursor.execute(query, (regle,))
            query = """INSERT INTO serveur_etat_directive_regle (serveur, id_etat, id_directive, id_regle, date)
                    SELECT id_serveur, id_etat, id_directive, id_regle FROM serveur, etat, directive, regle
                    WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s"""
            cursor.execute(query, (serveur, etat, directive, regle, date,))
        except mdb.Error, e:
            print "Error %d: %s" % (e.args[0],e.args[1])
            sys.exit(1)
        db.commit()
 
    info.close()
    db.close()
    return logfile
 
if __name__ == "__main__":
    with open('non-compliant-reports.log','r') as info:
        extract(info)

Je débute dans tout cela et j'apprécierai votre aide et vos conseils.:ccool:

Cordialement.:lol:

Salut,
En regardant en diagonale, le message d'erreur dit: "not all arguments converted during string formatting".
Le nombre de %s dans le statement SQL:
Code:

1 2 3 """INSERT INTO serveur_etat_directive_regle (serveur, id_etat, id_directive, id_regle, date) SELECT id_serveur, id_etat, id_directive, id_regle FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s"""
est 4.
Le nombre d'items dans la liste "(serveur, etat, directive, regle, date,)" est 5.
C'est cohérent, non?

- W

25/04/2013, 16h13
pidlas

Merci Wiztricks.
C'est en effet très pertinent.:ccool:
Comme puis-je faire alors ?
L'insertion a besoin de ce champ date, et il est vrai que ma sélection ne va pas chercher cette donnée dans les tables car elle provient de mon fichier log.
Du coup c'est une question liée à SQL.
Je vais donc la poser dans le bon forum.
Dans l'attente si tu as une idée, je suis preneur.;)

Cordialement.

ben, il faudrait ajouter un placeholder pour la "date" dans le 'SELECT' qui attrape le paramètre. Un truc du genre:

Code:

1
2
3
4
5
6
7
sql = """INSERT INTO serveur_etat_directive_regle (
                  serveur, id_etat, id_directive, id_regle, date)
            SELECT id_serveur, id_etat, id_directive, id_regle, %s 
                    FROM serveur, etat, directive, regle
                    WHERE nom_serveur = %s AND 
                          nom_etat = %s AND nom_directive = %s 
                          AND nom_regle = %s"""

Puis, on passe les paramètres dans l'ordre attendu:

Code:

cursor.execute(sql, (date, serveur, etat, directive, regle))

- W

29/04/2013, 09h30
pidlas

Bonjour,

En mettant en place ta solution, je n'ai plus de message d'erreur :P ET aucun enregistrement n'est inséré dans la base ?! :?
Pourtant le db_commit() est bien présent et la base se remplit bien si j'enlève le champs date. :roll:
J'ai vérifié les noms de colonnes.
Une autre idée ?
Je continue de chercher mais je suis un peu à court.

Cordialement.

Voici le code :

Code:

1
2
3
4
5
 
query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, date)
SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle
WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s"""
cursor.execute(query, (serveur, etat, directive, regle, date,))

29/04/2013, 10h45
wiztricks

Salut,
C'est quoi la différence? La position du champ date dans le tuple?
- W
29/04/2013, 11h45
pidlas

Salut,

Le champ date est en cinquième position dans INSERT , dans le SELECT aussi et dans l'ordre des arguments de l''execute' aussi. C'est cohérent, non ? :oops:

Qu'est-ce qui est si évident que je loupe ? :mrgreen:

En attendant, j'ai réussi à faire ce que je voulais en changeant la structure de ma base et en ajoutant le champ date dans la table serveur. :D

J'aimerai quand même réussir cet INSERT SELECT avec le champ date venant d'une variable. Je suis sûr que cela me sera utile. :roll:

Cdlt.
29/04/2013, 12h21
wiztricks

Salut,
Comment faire l'association entre les "%s" du query et la séquence d'objets du tuple passé en paramètres? C'est pas "magique".
- W
29/04/2013, 12h26
pidlas

Salut,

Dans la clause WHERE ?

<code>
"""....
WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s AND date = %s """
</code>

Ceci est-il la réponse ?

Cdlt.
29/04/2013, 12h30
wiztricks

C'est un peu plus cohérent.
- W

Salut,

Avec cette requête,
Code:

1 2 3 4 5 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s AND log_date = %s""" cursor.execute(query, (serveur, etat, directive, regle, date))
J'ai l'erreur suivante :

Citation:

Traceback (most recent call last):
File "C:\Users\pidlas\Documents\rudder_find.py", line 61, in <module>
extract(info)
File "C:\Users\pidlas\Documents\rudder_find.py", line 48, in extract
cursor.execute(query, (serveur, etat, directive, regle, date))
File "C:\Python27\lib\site-packages\MySQLdb\cursors.py", line 183, in execute
query = query % db.literal(args)
TypeError: not enough arguments for format string

Il y a pourtant autant d'arguments que de colonnes dans le INSERT et le SELECT.

Merci par avance de votre guidance.

Cdlt.

Bonjour,
Selon la doc de DP API, avec cette forme de passage de paramètres, tu dois
en fournir autant qu'il y a de placeholders dans le texte de ta requête. Et-ce, même si cela implique de passer plusieurs fois le même.
Code:

1 2 3 4 5 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s AND log_date = %s""" cursor.execute(query, (serveur, etat, directive, regle, date,serveur, etat, directive, regle, date))
En outre, ils doivent être dans le même ordre.

Sinon, regarde dans la doc de ton module mysql s'il n'existe pas une possibilité
d'utiliser des placeholders nommés et de passer alors un dict. Ce serait plus élégant et surtout plus lisible.

29/04/2013, 15h44
pidlas

Bonjour,

Je n'ai pas encore essayé la commande cursor.execute() que tu me proposes mais je te réponds déjà sur le dictionnaire. Pour utiliser un dictionnaire, j'ai besoin d'avoir une clef unique. Or, les données que je gère ne me le permette pas. Les clefs uniques sont directement auto-incrémentés par la BDD.

Je teste et je te donne le résultat.

Merci encore pour cette nouvelle piste. :ccool:
29/04/2013, 15h52
Marc3001

A noter que % est à remplacer par str.format() bien plus propre et simple à utiliser. source

Tu te mélanges un peu les pinceaux entre le formatage (remplacement des placeholder %s par des variables) de ta requête et son exécution par la base.

Dans ton dernier post, c'est Python qui te gueule dessus en précisant que tu lui donnes 5 variables mais 6 placeholder dans la chaîne..... Il ne sait donc pas quoi mettre dans le dernier.....
29/04/2013, 15h54
pidlas

Bonjour,

En utilisant la syntaxe de chticricri, l'erreur suivante apparaît :

Citation:

Traceback (most recent call last):
File "C:\Users\pidlas\Documents\rudder_find.py", line 61, in <module>
extract(info)
File "C:\Users\pidlas\Documents\rudder_find.py", line 48, in extract
cursor.execute(query, (serveur, etat, directive, regle, date, serveur, etat, directive, regle, date))
File "C:\Python27\lib\site-packages\MySQLdb\cursors.py", line 183, in execute
query = query % db.literal(args)
TypeError: not all arguments converted during string formatting

J'utilise le module MySQLdb de la version 2.7 de Python. C'est peut être important à connaître.

Cordialement.
29/04/2013, 16h02
wiztricks

Salut
Débrouillez vous comme vous voulez mais tant qu'il n'y aura pas autant d'éléments dans le tuple que de %s dans le statement SQL, çà ne fonctionnera pas.
- W

Désolé, je n'avais pas fait très attention aux placeholders :oops:
Code:

1 2 3 4 5 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s AND log_date = %s""" cursor.execute(query, (date, serveur, etat, directive, regle, date))
Si j'ai bien saisi, les premier et dernier paramètres à passer sont la date.

Décidément, je travaille trop :marteau:

29/04/2013, 16h50
wiztricks

Salut,
Votre mouture est semblable à celle que j'avais proposée au PO avant qu'il modifie son schéma (ajout de date dans la table serveur).
- W

Juste un détail

Quel module utilise-tu pour te connecter à mysql ?

Selon la réponse, il est possible ou nom d'effectuer quelque chose du style :
Code:

1 2 3 4 5 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, :log_date FROM serveur, etat, directive, regle WHERE nom_serveur = nom_serveur AND nom_etat = :nom_etat AND nom_directive = :nom_directive AND nom_regle =:nom_regle AND log_date = :log_date""" cursor.execute(query, dict(log_date=date,nom_serveur=serveur,nom_etat=etat,nom_regle=regle))
La différence est qu'ici on ne passe qu'une seule fois chaque paramètre. En outre, les conversions de type sont réalisées en toute transparence.
Mais il faut que ton module supporte ce type d'appel

Citation:
Envoyé par chticricri
Désolé, je n'avais pas fait très attention aux placeholders :oops:
Code:

1 2 3 4 5 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s AND log_date = %s""" cursor.execute(query, (date, serveur, etat, directive, regle, date))
Si j'ai bien saisi, les premier et dernier paramètres à passer sont la date.

Décidément, je travaille trop :marteau:
Non, seul le dernier paramètre est la date.
Peut être pourriez-vous m'expliquer précisément ce que je ne comprends pas. Wiztricks parle d'autant d'éléments dans le tuple que de %s dans le statement SQL. Quels sont nommément ces éléments ? Pour moi, il y en a 5 et donc autant.

29/04/2013, 20h19
pidlas

Citation:

Envoyé par wiztricks

Salut
Débrouillez vous comme vous voulez mais tant qu'il n'y aura pas autant d'éléments dans le tuple que de %s dans le statement SQL, çà ne fonctionnera pas.
- W

Bonsoir,

Vous voulez-dire que je dois ajouter dans le cursor.execute() les colonnes id_serveur, id_etat, id_regle, id_directive ? :aie:

Cdlt.

Citation:

Envoyé par pidlas

Vous voulez-dire que je dois ajouter dans le cursor.execute() les colonnes id_serveur, id_etat, id_regle, id_directive ?

Vous faites ce que vous voulez! Vous débutez. Discuter de ce que vous faites, c'est ajouter l'ambiguïté des mots à un sujet qui n'est pas compliqué mais qui demande de la précision: montrez un code complet qui ne pose pas de problèmes à être exécuté est bien plus efficace.
Je n'ai pas le temps d'installer MySQL pour construire un contexte qui ressemble au votre. Par contre, Python inclue sqlite3. Votre problème étant sur:
- l'écriture d'une instruction SQL,
- le passage de paramètre à cette requête,

Un code "complet" donnerait:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 import sqlite3 as dbm import datetime ENTRY = ('serveur', 'etat', 'directive', 'regle') cnx = dbm.connect(':memory:') sql = "CREATE TABLE %s(id integer primary key AUTOINCREMENT, data text);" for name in ENTRY: cnx.execute(sql % name) sql = 'insert into %s(data) values (?)' for name in ENTRY: rs = cnx.execute(sql % name, (name, )) sql = """create table sedr (id integer primary key autoincrement, date datetime, serveur integer references server(id), etat integer references etat(id), directive integer references directive(id), regle integer references regle(id));""" cnx.execute(sql) sql = """INSERT INTO sedr (serveur, etat, directive, regle, date) SELECT serveur.id, etat.id, directive.id, regle.id, ? FROM serveur, etat, directive, regle WHERE serveur.data=? AND etat.data = ? AND directive.data = ? AND regle.data = ?""" cnx.execute(sql, (datetime.datetime.now(), 'serveur', 'etat', 'directive', 'regle')) row = cnx.execute('select * from sedr').fetchone() print (row) cnx.close()
Exécutez le. Notez que j'ai remplacé %s par ?. Le standard Python côté DBAPI étant laxiste, ceux qui écrivent des drivers ont trop de liberté pour choisir les options pour passer des paramètres.
Adaptez le pour le faire fonctionner chez vous avec MySQL et la définition de vos tables.

Bon courage.
- W

30/04/2013, 09h16
pidlas

Merci Wiztricks pour vos efforts. :ccool:
J'ai besoin de ma BDD mysql car travailler en mémoire ne va pas me permettre de développer mon application web d'analyse de ma base.
Dès que j'ai du temps, je suivrai votre conseil mais je dois faire fonctionner ma requête dans cet environnement. En effet, je débute et j'ai tellement de choses à apprendre que je ne peux pas tout faire en même. D'où mon utilisation des forums pour trouver de l'aide (et je vous en remercie) et des réponses quand je coince. Là je coince.
Encore merci.
;)
Cdlt.

Citation:
Envoyé par pidlas
Code:

1 2 3 4 5 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s AND log_date = %s""" cursor.execute(query, (serveur, etat, directive, regle, date))
Bon, j'ai repris le dernier code que tu as posté....

T'as bien 6 placeholders et 5 variables.... Il en manque une. Tu semble avoir rajouté la dernière partie de ta clause where donc si on l'enlève et qu'on remet les variables dans l'ordre, ça doit donner un truc fonctionnel....
Code:

1 2 3 4 query = """INSERT INTO serveur_etat_directive_regle (id_serveur, id_etat, id_directive, id_regle, log_date) SELECT id_serveur, id_etat, id_directive, id_regle, %s FROM serveur, etat, directive, regle WHERE nom_serveur = %s AND nom_etat = %s AND nom_directive = %s AND nom_regle = %s""" cursor.execute(query, (date, serveur, etat, directive, regle))

30/04/2013, 09h50
pidlas

Bonjour,

Merci à Wiztricks qui m'avait donné la réponse le 25 avril à 17h23.:ccool: Désolé de ne pas avoir su lire votre réponse correctement.:oops:
Merci Chticricri pour les pistes données.:ccool:
Merci finalement à Marc3001 qui m'a donné la réponse aujourd'hui.:ccool:

Je retiens de cela qu'il faut dans un requête imbriquée donner autant d'éléments à la première requête (INSERT dans mon cas) qu'à la deuxième (SELECT dans mon cas qui ne fait que remplacer le VALUES finalement). Ensuite dans le passage de ces éléments à un langage de procédure (dans moncas Python), passer le même nombre d'éléments dans un ordre établi en sachant qu'il faut placer en premiers les arguments présents dans la deuxième requête sous forme de variable (dans mon cas la date).

Bonne journée à tous.

Cordialement.