SQL ALCHEMY retroEngenierie

Version imprimable

2 pièce(s) jointe(s)

bonjour

Je cherche a construire la structure des tables d'une base de données sous la forme de code Python.
J'ai découvert sqlacodegen pour outil de 2020.

L'installation sous Pip pip install sqlacodegen est simple et la commande en ligne sqlacodegen sqlite:///Base.DB --outfile base.py permet de recrééer la structure de cette base SQLlite.

Il s'agit d'un outil qui lit la structure d'une base de données existante et génère les Code du modèle SQLAlchemy, en utilisant le style déclaratif si possible.

Cet outil a été écrit pour remplacer sqlautocode , qui souffrait de plusieurs problèmes (y compris, mais sans s'y limiter, l'incompatibilité avec Python 3 et la dernière version de SQLAlchemy).

Mais voila tous n'est pas aussi simple.

voici ma petite base créer en SQL 2 tables et une vue
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 CREATE TABLE "Marque" ( IdMarque INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT, nom TEXT, descrition TEXT ); CREATE TABLE "Appareil_photo" ( IdAppareil INTEGER NOT NULL PRIMARY KEY AUTOINCREMENT, nom TEXT, IdMarque INTEGER NOT NULL CONSTRAINT FK_IdMarque REFERENCES "Marque" (IdMarque), date_ac DATETIME ); create view canon as select ap.* , m.nom from "Appareil_photo" ap inner join "Marque" m on ap.IdMarque = m.IdMarque and m.IdMarque ='Canon';
Pièce jointe 625198

l'utilisation de la commande d'extraction donne ce code
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 # coding: utf-8 from sqlalchemy import Column, DateTime, ForeignKey, Integer, Table, Text from sqlalchemy.sql.sqltypes import NullType from sqlalchemy.orm import relationship from sqlalchemy.ext.declarative import declarative_base from sqlalchemy import create_engine Base = declarative_base() metadata = Base.metadata class Marque(Base): __tablename__ = 'Marque' IdMarque = Column(Integer, primary_key=True) nom = Column(Text) descrition = Column(Text) t_canon = Table( 'canon', metadata, Column('IdAppareil', Integer), Column('nom', Text), Column('IdMarque', Integer), Column('date_ac', DateTime), Column('nom:1', Text) ) t_sqlite_sequence = Table( 'sqlite_sequence', metadata, Column('name', NullType), Column('seq', NullType) ) class AppareilPhoto(Base): __tablename__ = 'Appareil_photo' IdAppareil = Column(Integer, primary_key=True) nom = Column(Text) IdMarque = Column(ForeignKey('Marque.IdMarque'), nullable=False) date_ac = Column(DateTime) Marque = relationship('Marque')
on retrouve donc nos 2 classes liées aux 2 tables mais aucune trace de la vue.
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 class Marque(Base): __tablename__ = 'Marque' IdMarque = Column(Integer, primary_key=True) nom = Column(Text) descrition = Column(Text) class AppareilPhoto(Base): __tablename__ = 'Appareil_photo' IdAppareil = Column(Integer, primary_key=True) nom = Column(Text) IdMarque = Column(ForeignKey('Marque.IdMarque'), nullable=False) date_ac = Column(DateTime) Marque = relationship('Marque')
Si l'on cherche à utiliser le code en l'état en ajoutant le moteurs de création de la base
Code:

1 2 3 engine = create_engine('sqlite:///basephoto.db') Base.metadata.create_all(engine) # Only for the first time
L'exécution renvoi une erreur pour chaque table

Citation:

raise exception
sqlalchemy.exc.CompileError: (in table 'sqlite_sequence', column 'name'): Can't generate DDL for NullType(); did you forget to specify a type on this Column?

Mais la base est créer mais n'est pas identique au modèle d'Origine.

Pièce jointe 625197

et le code SQL produit est très différent la vue a disparue et la dépendance entre le 2 table aussi
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 -- canon definition CREATE TABLE canon ( "IdAppareil" INTEGER, nom TEXT, "IdMarque" INTEGER, date_ac DATETIME, "nom:1" TEXT ); -- Marque definition CREATE TABLE "Marque" ( "IdMarque" INTEGER NOT NULL, nom TEXT, descrition TEXT, PRIMARY KEY ("IdMarque") );
L'autoincrementation a disparue
La relation entre les deux tables a disparue

Dommage .....

Question existe-t-il des outils similaires et p pour permettre de recréer le code python à partir d'un base de données ?

Et est-il possible de créer une vue avec sqlalchemy?

1 pièce(s) jointe(s)

Je continue

Je reprends le code autogéré et je le modifie pour ajouter la couche des relations entre les 2 tables

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
# coding: utf-8
from sqlalchemy import Column, DateTime, ForeignKey, Integer, Table, Text
from sqlalchemy.sql.sqltypes import NullType
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base 
from sqlalchemy import create_engine
 
Base = declarative_base()
metadata = Base.metadata
 
 
class Marque(Base):
    __tablename__ = 'Marque'
 
    IdMarque = Column(Integer, primary_key=True, autoincrement =True)
    nom = Column(Text)
    descrition = Column(Text)
 
    Marque = relationship('Marque',  back_populates="AppareilPhoto")
 
 
 
class AppareilPhoto(Base):
    __tablename__ = 'Appareil_photo'
 
    IdAppareil = Column(Integer, primary_key=True)
    nom = Column(Text)
    IdMarque = Column(Integer, ForeignKey('Marque.IdMarque'), nullable=False)
    date_ac = Column(DateTime)
 
    Appareil = relationship('Appareil',  back_populates="Marque")
 
 
engine = create_engine('sqlite:///basephoto2.db')
 
Base.metadata.create_all(engine)    # Only for the first time

cette fois le résultat est mieux

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
-- Marque definition
 
CREATE TABLE "Marque" (
	"IdMarque" INTEGER NOT NULL, 
	nom TEXT, 
	descrition TEXT, 
	PRIMARY KEY ("IdMarque")
);
 
 
-- Appareil_photo definition
 
CREATE TABLE "Appareil_photo" (
	"IdAppareil" INTEGER NOT NULL, 
	nom TEXT, 
	"IdMarque" INTEGER NOT NULL, 
	date_ac DATETIME, 
	PRIMARY KEY ("IdAppareil"), 
	FOREIGN KEY("IdMarque") REFERENCES "Marque" ("IdMarque")
);

on a bien la relation

Pièce jointe 625199

reste la question de la vue....

Je fait simple je vais ajouter ma vue via la commande SQL d'exécution

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
# coding: utf-8
from sqlalchemy import Column, DateTime, ForeignKey, Integer, Table, Text
from sqlalchemy.sql.sqltypes import NullType
from sqlalchemy.orm import relationship
from sqlalchemy.ext.declarative import declarative_base 
from sqlalchemy import create_engine , text
from sqlalchemy.orm import scoped_session, sessionmaker, relationship
 
Base = declarative_base()
metadata = Base.metadata
 
 
class Marque(Base):
    __tablename__ = 'Marque'
 
    IdMarque = Column(Integer, primary_key=True, autoincrement =True)
    nom = Column(Text)
    descrition = Column(Text)
 
    Marque = relationship('Marque',  back_populates="AppareilPhoto")
 
 
 
class AppareilPhoto(Base):
    __tablename__ = 'Appareil_photo'
 
    IdAppareil = Column(Integer, primary_key=True)
    nom = Column(Text)
    IdMarque = Column(Integer, ForeignKey('Marque.IdMarque'), nullable=False)
    date_ac = Column(DateTime)
 
    Appareil = relationship('Appareil',  back_populates="Marque")
 
 
engine = create_engine('sqlite:///basephoto3.db')
 
Base.metadata.create_all(engine)    # Only for the first time
 
 
sql_vue ="""create view canon as 
select ap.* , m.nom  
from "Appareil_photo" ap  inner join "Marque" m
on ap.IdMarque  = m.IdMarque 
and   m.IdMarque ='Canon'"""
 
 
Session = sessionmaker(bind=engine) # session dédie au evis
Session_sur_la_base = Session()
Session_sur_la_base.execute(sql_vue)
Session_sur_la_base.commit()

Ma vue est présente mais je n'utilise pas de solution spécifique à sqlachemy j'exécute le code SQL....

j'aimerais trouver la solution, je parcours la doc de sqlachemy mais ne trouve aucune solution fonctionnant avec la version actuelle 1.4xxx

Alors des idées ?

10/09/2022, 16h12
wiztricks

Salut,

Dans la mini-documentation de sqlacodegen il est mentionné:

Citation:

Getting help

If you have problems or other questions, you can either:

Ask on the SQLAlchemy Google group, or
Ask on the #sqlalchemy channel on Freenode IRC

note: Si on doit écrire une application sur des tables déjà existantes (parce qu'utilisées par d'autres applications par exemple), il peut y avoir un intérêt à ne pas écrire les "class" correspondantes (sqlalchemy est déjà capable de "mapper" des tables existantes pourvu qu'on connaisse leur nom) mais le reste de l'application devra bien accéder aux attributs et sauf cas très particulier, connaître leur nom...
Là où ça peut devenir cocasse, c'est lorsque les tables sont mises à jour: s'il n'y a rien pour le détecter, l'application risque de mettre à mal l'intégrité des données de la base.
Tout ça pour dire que l'intérêt de ce genre d'outils est assez réduit qu'ils sont a utiliser avec précaution.

- W
11/09/2022, 09h29
dedalios

Effectivement plus je cherche a appréhender l'ORM d'SQLALCHEMY et les ADD-on que l'on trouve , plus je me demande s'il plus pertinente que risqué de l'utiliser avec des bases de donnée existante....
11/09/2022, 11h10
wiztricks

Citation:

Envoyé par dedalios

plus je me demande s'il plus pertinente que risqué de l'utiliser avec des bases de donnée existante....

On peut le faire ...
La question que vous vous posez est autre: faut-il écrire ses "class" à la main ou peut-on utiliser des sqlacodegen pour l'automatiser. Voire le support par sqlacodegen des "view".
Ce que j'essaie de dire, c'est qu'automatiser la fabrication des "class" aidera mais un tout petit peu.

- W
12/09/2022, 21h04
dedalios

Citation:

Envoyé par wiztricks

On peut le faire ...
La question que vous vous posez est autre: faut-il écrire ses "class" à la main ou peut-on utiliser des sqlacodegen pour l'automatiser. Voire le support par sqlacodegen des "view".
Ce que j'essaie de dire, c'est qu'automatiser la fabrication des "class" aidera mais un tout petit peu.

- W

l'outil sqlacodegen est un outil qui apporte de l'aide mais .

Mais ce n'est pas tous sqlalchemy.

sqlacodegen ne vois pas les vue, soit mais les outils intégrés dans SQLALCHEMY ne sont pas simple a appréhender

INspect ....
27/09/2022, 18h22
dedalios

Constat sur SQLALCHEMY

bonjour

J'ai cherche a réaliser des tests comparatif entre 2 requêtes :
l'une utilise les solutions de reflexion d'SQLALCHEMY l'autre une requête simple toutes 2 sur une base Oracle.
La requête est une simple extraction d'un enregistrement réalisé sur une table .
La requête porte sur un index de la table.

Le commande reflect() n'embarque que la seule est unique table du Test.

Le délai de du traitement avec la solution SQLALCHEMY est 10 fois plus longue que la solution utilisant une requête SQL.

L'ORM n'est très performant dans ce cas