[Debutant] Python-SQLite lire colonne BLOB

Bonjour,

Je me casse la tete depuis plusieurs heures sur un probleme qui je suppose doit etre tres simple ... :cry: . Donc desolé de poser une question triviale, mais je ne sais plus trop quoi faire ...

Utilisant python, j essaye d extraire des données d une table SQLite, ou une de mes colonnes est de type BLOB.

Si j utilise le code suivant :

Code:

---

1 2 3 4 5 6

import sqlite3 connection = sqlite3.connect('O:/080 - Models/Models/IRAS/Network/Zone II/Standardised networks/network.db') cursor=connection.cursor() cursor.execute("select * from nodeattributes where node_id=676") for row in cursor: print row[0], row[1], row[2]

---

et que ma colonne BLOB est row[2], bah ca ne fait que me retourner le correct row[0] et row[1], mais row[2] est egal a "None". Pourtant si j utilise la meme requete dans SQLLite2009 Pro ca me retourne un BLOB.

Donc ma question est comment pouvoir lire une colonne BLOB depuis python et afficher les valeurs contenus dans le BLOB ?

Je dois preciser que je n ai pas crée la Base de donnees SQLite et que donc je ne sais meme pas comment les donnees ont ete entrés dans le BLOB ... Donc en fait, je ne sais meme pas si ce que je veux faire soit possible ...

Merci

Slumpy.

Je suis tombé là dessus si ça peut t'aiderIssue 7723: sqlite only accept buffer() for BLOB objects (input/output) - Python tracker :

Salut,

Insertion d'un données BLOB :

Code:

---

1 2 3 4

blob = open("image.jpg", 'rb').read() sql = "INSERT INTO photos (photo) VALUES(?)" cursor.execute(sql, [sqlite3.Binary(blob)])

---

Lecture d'une donnée BLOB :

Code:

---

1 2 3 4 5 6 7

req = "SELECT IDphoto, photo FROM photos WHERE [...]" [...] IDphoto, bufferPhoto = listeDonnees[0] # Transformation du buffer en wx.bitmap io = cStringIO.StringIO(bufferPhoto) img = wx.ImageFromStream(io, wx.BITMAP_TYPE_JPEG)

---

Et voilou...

Salut,

Merci de m aider, c cool :ccool:

Malheureusement, pour l instant je n ai tjs pas reussi a pouvoir lire cette fichu colonne ...

J aurais ptet du preciser, mais je sais que les donnees incluses dans le blob ne sont pas une image mais des valeurs. :aie:

Slumpy

Tu as tout de même essayé avec : io = cStringIO.StringIO(buffer) ?
(Même si ce n'est pas une photo)

Salut Ggamer,

Ouaip j ai essayé. Mais je dois avouer que je ne suis pas sur de comprendre cette ligne :

Code:

---

IDphoto, bufferPhoto = listeDonnees[0]

---

Je suppose que listeDonnees est une ligne de resultat ? et que la colonne 0 est la ou est contenu une clé unique ?

Donc j ai essayé ca :

Code:

---

1 2 3 4 5 6 7 8 9 10

import sqlite3 import cStringIO   connection = sqlite3.connect('O:/080 - Models/Models/IRAS/Network/Zone II/Standardised networks/network.db') cursor=connection.cursor() cursor.execute("select node_id, attribute_id, value from nodeattributes where node_id=676") for row in cursor: attribute_id, buffer = row[1] io=cStringIO.StringIO(buffer) print io

---

Dans mon cas, node_id sera tjs le meme attribute_id est unique et value contient le blob. C'est a dire :

node_id - - - attribute_id - - - Value
676 - - - - - - - 60 - - - - - - -BLOB
676 - - - - - - - 61 - - - - - - -BLOB
676 - - - - - - - 62 - - - - - - -BLOB
676 - - - - - - - 63 - - - - - - -BLOB

J obtiens l erreur suivante :

Traceback (most recent call last):
File "D:\work\NetBeansProjects\test\src\8 - read blob.py", line 13, in <module>
attribute_id, buffer = row[1]
TypeError: 'int' object is not iterable

Merci pour ton aide et mes excuses d etre aussi pourri ...

Slumpy

Salut,

La construction a,b,c = machin suppose que machin soit un uplet (liste, set) comprenant 3 items et les assigne aux variables a, b, c.

Dans votre cas, row correspond à une "ligne" retournée par le select.
Vous vous attendez à ce que ce soit un uplet à 3 éléments - 0, 1, 2.
row[1] n'étant pas un uplet mais simplement un "int" çà râle.

Pour l'instant, tant que row[2] est None, transformer ce "None" en file-like via stringIO ne devrait pas aider.
Pourriez vous poster le schéma de la table?
- W

Pour compléter Wiztricks, essaie ça :

Code:

---

1 2 3

for node_id, attribute_id, value in cursor: io=cStringIO.StringIO(value) print io

---

Mais en effet, j'avais pas vu dans ton premier post que tu disais que ton BLOB était = None. Du coup, t'es pas prêt de récupérer grand-chose ! :) Tu es sûr qu'il y des informations dans ce champ-là ?

Salut,

Citation:

---

bah ca ne fait que me retourner le correct row[0] et row[1], mais row[2] est egal a "None". Pourtant si j utilise la meme requete dans SQLLite2009 Pro ca me retourne un BLOB.

---

Est il possible que la requete effectuée dans SQLite2009 Pro me retourne BLOB alors qu il est null ? Etant donnée que certaines lignes dans ma base de données contiennent NULL dans ma colonne BLOB et non pas BLOB, je me suis dis que si il y avait marqué BLOB celui-ci etait forcement non nul. Je viens d essayé la meme requete que je citais dans mon premier message sur une autre base de données du meme type et je n obtiens po None. Donc je suppose que oui c est possible ...

Je viens d effectuer le test suivant :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

import sqlite3 import cStringIO   connection = sqlite3.connect('O:/080 - Models/Models/IRAS/Network/Zone II/Standardised networks/Copy of Network.db') cursor=connection.cursor() cursor.execute("select node_id, attribute_id, value from nodeattributes where node_id=676") for node_id, attribute_id, value in cursor: if value <> None: print '--- Values ---' print node_id, attribute_id, value print '--- cStringIO ---' io=cStringIO.StringIO(value) print node_id, attribute_id,io print print print

---

Je n ai pas d erreur a l execusion si j ecarte les valeurs value=None (sinon il est pas content pour le cStringIO.StringIO !). Et voila la reponse :

http://img266.imageshack.us/img266/5712/blobr.jpg

Donc les requetes me retournent bien quelque chose pour l attribut value (que ce soit avec ou sans cStringIO.StringIO), mais je ne sais pas comment lire les parametres inclus dans les blobs :cry:

La meme requete effectuée dans SQLite2009 Pro me retourne:
http://img248.imageshack.us/img248/7...ite2009pro.jpg

Je ne sais pas si cela change quelque chose, mais je sais que les informations contenus dans les blobs ne sont pas identiques pour les different attribute_id. Certains sont je pense une simple valeur (c le cas de 48, certains sont un tableau de valeurs.)

Le shema de la table est :
http://img819.imageshack.us/img819/708/schemam.jpg

En tout cas, merci de prendre de votre temps pour m aider :ccool:

Slumpy.

Salut,

Pour l'instant, le schéma autorise value == None et SQLite2009 Pro montre que pour node_id == 676 existent plusieurs lignes dont certaines ont "value == None".
Tout cela me semble a peut près cohérent, non?
- W

Bonjour,

Je viens d'essayer les blobs avec sqlite3, et tout marche parfaitement:

- ajout après conversion de la chaine en 'buffer' (un des types de Python)

- lecture avec un code similaire au tien.

Comme ce n'est pas toi qui a construit la base, regarde si elle n'a pas été construite avec sqlite2 qui ne supportait pas aussi bien les blobs:

http://effbot.org/zone/sqlite-blob.htm

http://code.activestate.com/recipes/...ata-in-sqlite/

Tyrtamos

Salut,

Merci d avoir pris le temps de faire un petit test tyrtamos !

Effectivement, je ne sais pas si elle a ete construite avec sqlite 3. Mais ne sais pas comment pouvoir verifier ca ... :aie:

Je ne sais pas si on a le droit de poster des liens vers des fichiers, mais si oui, voila un liens vers une base de donnees.
(Pour des raisons de confidentialités j ai du virer toutes les autres tables sauf celle dont nous parlons: nodeattributes.)

lines ici : http://ifile.it/29wfl4x/Sample_blob.db

Petit detail qui peut ptet aider:
Je n arrive pas a le lire, mais je sais que les blobs pour attribute_id=48 contiennent l information sur un champ qui est egal a 1000.

Je sais aussi que les blobs pour attribute_id=52 contiennent chacun les informations:
http://img72.imageshack.us/img72/8567/31966342.jpg

Merci pour votre aide.

Slumpy

J'ai téléchargé ta base, et voilà ce que j'ai fait:

1- j'ai essayé de la lire avec le logiciel que j'utilise qui est "SqliteExpert pro": j'y arrive. Il y a dans le champ value pas mal de null, mais pas partout. Quand il n'y a pas de null, je peux accéder à du contenu à l'aide d'un éditeur hexa.

2- j'ai essayé une transformation de ta base en script sql avec la méthode sqlite3.iterdump (voir sur mon site: http://python.jpvweb.com/mesrecettes...rde_script_sql), et ça marche: je récupère un script qui a cette tête:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

... INSERT INTO "nodeattributes" VALUES(1,14,NULL); INSERT INTO "nodeattributes" VALUES(1,15,NULL); INSERT INTO "nodeattributes" VALUES(1,16,NULL); INSERT INTO "nodeattributes" VALUES(1,17,NULL); INSERT INTO "nodeattributes" VALUES(1,18,X'8002636E756D70792E636F72652E6D756C7 ... '); INSERT INTO "nodeattributes" VALUES(1,19,NULL); INSERT INTO "nodeattributes" VALUES(1,20,NULL); INSERT INTO "nodeattributes" VALUES(2,38,X'8002636E756D70792E636F72652E6D756C7 ... '); INSERT INTO "nodeattributes" VALUES(2,39,NULL); INSERT INTO "nodeattributes" VALUES(2,40,NULL); ...

---

Les valeurs non null sont représentées en hexa (en sqlite, l'hexa est précédé de 'X'), sont très longues (43963 octets), et sont toutes identiques (???).

3- j'ai fait un petit code de lecture d'une 'value' dont je sais qu'elle n'est pas null: node_id=1 and attribute_id=18:

Code:

---

1 2 3 4 5 6 7

cnx = sqlite3.connect(u"Sample_blob.db") cur = cnx.cursor() cur.execute("""SELECT value FROM nodeattributes WHERE node_id=1 and attribute_id=18;""") blob = str(cur.fetchone()[0]) cur.close() cnx.close()

---

Et blob est un str qui a 43963 octets

Donc, pour moi, les données sont récupérables, mais comme je ne sais pas ce que c'est, je ne peux pas dire si elles sont correctes.

Tyrtamos

Salut,

Citation:

---

Effectivement, je ne sais pas si elle a ete construite avec sqlite 3. Mais ne sais pas comment pouvoir verifier ca ...

---

Les fichiers d'un BDD contiennent une en-tête qui décrit ce qu'il contient et en général la version de la BDD - ce qui évite de faire n'importe quoi.

Pour SQLite3, cet header est décrit ici et les 16 premiers octets sont "SQLite format 3\000".

De toutes façon, le format de la version 2 est incompatible avec celui de la V3: impossible de se tromper!

Citation:

---

2- j'ai essayé une transformation de ta base en script sql avec la méthode sqlite3.iterdump (voir sur mon site: http://python.jpvweb.com/mesrecettes...rde_script_sql), et ça marche: je récupère un script qui a cette tête:

---

SQLite vient avec un programme qui permet de passer des commandes en mode ligne: pas besoin de programmer, on peut presque tout faire à la console ou via des scripts bash - c'est quand même bien lorsqu'on se pose des questions sur ses scripts Python.
Faire sqlite3 puis .help pour voir ce que ca sait faire.

Dans le cas particulier, dump de la base: sqlite3 <nom_base> .dump
chargement: cat fichier_dump | sqlite3 <nom_base>

- W

Bonjour

Citation:

---

Envoyé par wiztricks

Pour SQLite3, cet header est décrit ici et les 16 premiers octets sont "SQLite format 3\000".

---

Merci pour l'info! J'ai regardé avec un éditeur hexa: la base est bien en format 3.

Tyrtamos

Salut,

le boulet est de retour de weekend... :aie:

Citation:

---

- j'ai fait un petit code de lecture d'une 'value' dont je sais qu'elle n'est pas null: node_id=1 and attribute_id=18:

---

Merci d avoir pris le temps de telecharger la base de donnees et faire les tests, c vraiment sympa :ccool:. J ai testé ton code, et il donne le meme resultat que celui que j avais donné dans un de mes posts precedent. Donc c cool.

Mais mon probleme est que je ne sais pas comment lire les valeurs contenu dans c strings. C'est a dire, par exmple, pour node_id = 676 et attribute_id=48 le string que j obtiens est € G@�@�����. comment est ce que je peux faire pour savoir que ce string contient la valeur 1000 ? (Je sais que c le cas car j ai un programme qui lis les valeurs contenus dans cette db. Mais je n ai pas son code) Et aussi comment faire si je veux changer ce 1000 en 9000 par exemple ?

Meme question pour node_id = 676 et attribute_id=52, ou je sais que les valeurs contenus dans le blob sont :

Citation:

---

Je sais aussi que les blobs pour attribute_id=52 contiennent chacun les informations:
http://img72.imageshack.us/img72/8567/31966342.jpg

---

Comment faire pour savoir par exemple que Maximum release est egal a 50, et comment changer cette valeur pour 500 par exemple ?

Merci

Slumpy

PS: J adore ta signature Tyrtamos :mrgreen:

Bonjour,

Si je lis la 'value' correspondant à node_id = 676 et attribute_id=48, je trouve une chaine de 179 caractères, et je trouve au début les mots:

Code:

---

1 2 3 4 5 6 7

cnumpy.core.multiarray _reconstruct cnumpy ndarray cnumpy dtype ...

---

Il y a quelques caractères illisibles qui peuvent s'interposer entre ces mots, et tous les caractères qui suivent, jusqu'à concurrence des 179 caractères, sont illisibles.

J'en déduit que la 'value' en question est un buffer de données stockées dans un format binaire propre à un module scientifique (je suppose numpy, et ndarray=tableau multidimensionnel).

Malheureusement, je ne connais pas du tout: il faudrait que quelqu'un qui connaisse ce genre de module prenne le relais: comment faire reconnaitre le buffer donné par le blob, comme un objet ndarray afin d'accéder à ses données en clair...

Citation:

---

Envoyé par Slumpy

PS: J adore ta signature Tyrtamos

---

Merci :D. C'est mon goût pour la science fiction qui en est à l'origine...

Tyrtamos

Salut tyrtamos,

Citation:

---

Si je lis la 'value' correspondant à node_id = 676 et attribute_id=48, je trouve une chaine de 179 caractères, et je trouve au début les mots:

Code:

---

1 2 3 4 5 6 7 8

cnumpy.core.multiarray _reconstruct cnumpy ndarray cnumpy dtype ...

---

---

T'es sur que tu n as pas testé avec attribute_id=52 pour obtenir ca ? Le resultat pour attribute_id=48 est bcp plus simple je pense.

Citation:

---

Malheureusement, je ne connais pas du tout: il faudrait que quelqu'un qui connaisse ce genre de module prenne le relais: comment faire reconnaitre le buffer donné par le blob, comme un objet ndarray afin d'accéder à ses données en clair...

---

Tu penses que c faisable ? Ou sans savoir comment ca a ete enregistré c mort ?

Merci pour ton aide.

Slumpy

Salut,

Petit up car ca m aiderais pas mal de plus etre bloqué sur ca :cry:

Slumpy

Bonjour,

Désolé, je croyais que tu avais trouvé.

Effectivement, les 179 octets trouvés avec les mots reconnus correspondent à la 'value' de node_id=676 and attribute_id=52. L'attribute_id=48 donne 12 octets et aucun mot reconnaissable.

Voilà un petit code qui charge et enregistre dans un fichier séparé les octets concernés:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

import sqlite3   cnx = sqlite3.connect(u"Sample_blob.db") cur = cnx.cursor() cur.execute("""SELECT value FROM nodeattributes WHERE node_id=676 and attribute_id=52;""") blob = cur.fetchone()[0] print type(blob), len(blob) cur.close() cnx.close()   f = open(u"buffer.bin", 'wb') f.write(blob) f.close()

---

Après, on peut lire le contenu avec, par exemple, un éditeur hexa comme EditHexa sous Windows.

En tout cas, je ne sais pas en faire plus: mon hypothèse est qu'il s'agit d'un objet de l'un des modules scientifiques de Python, éventuellement sauvegardé sous forme binaire avec l'un des modules du genre pickle???. Si tu ne peux pas obtenir cette info, il ne te reste plus qu'à essayer. Mais compte tenu du nombre des possibilités, attends-toi à y passer beaucoup de temps...

Mais peut-être quelqu'un d'autre connait-il ce genre de sujet?

Tyrtamos

Salut Tyrtamos,

Citation:

---

Désolé, je croyais que tu avais trouvé.

---

Non j ai pas trouvé. En fait me suis fait embarquer sur un autre projet pour quelques jours ... En tout cas, tu n as pas dutout a t excuser et merci bcp pour ton aide.

Consernant la situation, j ai en ma possession le code python du programme qui utilise cette base de donnee que je voudrais manipuler ... J essaye de voir avec mes partenaires sur le projet, si je peux le partager et si oui je le posterai ici (en therorie il est open source). Je suis sur que pour quelqu un qui connait bien python ca doit etre facile de voir comment il lis les blobs, mais j y ai passé pas mal d heures sans succés. (Faut dire que je connais pas des masses python, j utilise plutot Fortran et VB.net ...)

Ce que je peux dire pour l instant c qu a un endroit il y a :

Code:

---

1 2 3 4 5 6 7 8 9 10 11

from sqlalchemy import * from migrate import *   metadata = MetaData()   nodeattribute_table = Table('nodeattributes', metadata, Column('node_id', Integer, ForeignKey('nodes.id'), primary_key=True), Column('attribute_id', Integer, ForeignKey('nodetypefields.id'), \ primary_key=True), Column('value', PickleType) )

---

Est ce que le fait qu il y ai PickleType repond a ta question ?

Merci

Slumpy

Bonjour,

Oui, ça éclaire un peu plus, et même beaucoup. Cela veut dire qu'il faut chercher du côté de SQLAlchemy, et pas des modules scientifiques.

Mais je ne connais pas plus SQLAlchemy que toi...

Par contre, La notice de SQLAlchemy dit que le type PickleType correspond bien à un stockage avec le module pickle.

Donc, avec le blob précédent de 179 octets (node_id=676 and attribute_id=52), je demande son décodage par pickle:

Code:

---

1 2 3

v = pickle.loads(str(blob)) print v

---

Ce qui m'affiche:

Code:

---

1 2 3

[[ 0. 10000. 0. 0. 50. 0.] [ 10. 10000. 1000. 0. 50. 0.]]

---

Et là, ça commence à vouloir dire quelque chose! :D

Mais c'est une donnée de type 'numpy.ndarray', et je ne sais pas la manipuler. J'espère que tu sauras.

En tout cas, tu peux maintenant récupérer toutes tes données!

Tyrtamos

Salut,

Cooolll, enfin je commence a croire que je vais arriver a quelque chose avec ca :mrgreen: Je commencais a desesperer ...

Merci bcp tyrtamos, c vraiment cool.

Alors voila, j ai fait le petit test suivant :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24

import sqlite3 #import sqlalchemy import pickle   cnx = sqlite3.connect("O:/080 - Models/Models/IRAS/Network/Zone II/Standardised networks/Sample_blob.db") cur = cnx.cursor() cur.execute("""SELECT value FROM nodeattributes WHERE node_id=676 and attribute_id=52;""") blob = cur.fetchone()[0] print type(blob), len(blob) v= pickle.loads(str(blob)) print v print print print v[1][1] v[1][1]=50 print print print v new_blob=pickle.dumps(v)   cur.execute("update nodeattributes set value=? WHERE node_id=676 and attribute_id=52",[new_blob]) cnx.commit() cur.close() cnx.close()

---

voila ce que j obtiens :

Citation:

---

[[ 0. 10000. 0. 0. 50. 0.]
[ 10. 10000. 1000. 0. 50. 0.]]


10000.0


[[ 0. 10000. 0. 0. 50. 0.]
[ 10. 50. 1000. 0. 50. 0.]]

---

Donc en clair:
- je lis le tableau contenu dans le blob grace a ton code
- j affiche n importe quel element du tableau (ici deuxieme ligne, 2ieme colonne)
- je modifie la cellule de mon tableau
- je cree un autre blob (avec pickle.dumps)
- et mets a jour mon blob dans la base de donnees.

(J ai aussi refais tourner le code pour voir qu il avait bien mis a jour la valeur dans la base de donnee).

En fait, ce que je ne comprends po trop maintenant, c est quand fait on utilise meme po sqlalchemy ?

Slumpy

D'après ce que je comprends, SQLAlchemy est une "machinerie" de gestion de données orientée objet. Et apparemment, il se sert de sqlite3 pour stocker les données. Et nous, on ne s'est intéressé qu'au blob que SQLAchemy a stocké avec pickle.

Rien de t'empêche de creuser un peu SQLAlchemy pour t'en servir, on en dit le plus grand bien. Par contre, on ne peut pas dire que sa présentation bénéficie d'une grande clarté (http://fr.wikipedia.org/wiki/SQLAlchemy). En ce qui me concerne, je préfère pour l'instant 'causer' directement avec SQLite3.

Tyrtamos

Salut,
Quelque part, il y a une application qui a été construite "au dessus" de SQLAlchemy. C'est un ORM: le programmeur Python "voit" les informations stockées en BDD à travers les objets construit "au dessus" de SQLAlchemy.
SQLAlchemy fait tout son possible pour effectuer ses opérations de stockage et de mapping de façon indépendante du SGDB utilisée.
On peut remplacer SQLite par PostGreSQL, MySQL, ... et "à la limite", la seule chose à modifier c'est le "dialect" qui compose l'URL passé pour se connecter au SGDB.

Le SGDB étant indépendant de SQLAlchemy - qui n'est qu'une sorte d'API -, on peut bien sûr accéder aux données "directement" via des requêtes SQL. Et plutôt que de dépendre de l'API construire "au dessus" de SQLAlchemy, on dépendra directement du schéma des tables.
Et suivant les évolutions de ce schéma, il y aura à priori plus de boulot à réaliser pour mettre à jour le code qui 'tape' plus bas.

Exemple Le PickleType dans SQLAlchemy est définit comme:

Citation:

---

PickleType builds upon the Binary type to apply Python’s pickle.dumps() to incoming objects, and pickle.loads() on the way out, allowing any pickleable Python object to be stored as a serialized binary field.

---

Autrement dit, si vous aviez quelque peu pris la peine de comprendre comment est construite l'application existante, vous auriez gagné beaucoup de temps: la conversion pickle aurait été transparente... Rien à faire, même pas à se poser de questions sur la nature du contenu de la colonne.

- W

Salut,

Merci d'avoir pris la peine de repondre.

Citation:

---

si vous aviez quelque peu pris la peine de comprendre comment est construite l'application existante, vous auriez gagné beaucoup de temps

---

Bah malheureusement j y ai passé un certain temps sans succée (environ une dizaine d'heures) ... Donc certes, je suis tres mauvais en python mais j ai pris la peine de chercher avant de poster ... (Meme si je comprends que tu puisses avoir eu l impression inverse ! :aie:)

Concernant SQLAlchemy, ce que je ne comprends po c'est que si j effectue une recherche du mot cle SQLAlchemy, celui ci n apparait que dans la declaration:

Code:

---

from sqlalchemy import *

---

et jamais autre part (avec sqlalchemy.quelquechose) ... Donc je m etais dit qu il ne l utilisait pas ...

Slumpy