Jointure de tables python

**mister2502** · 07/04/2009, 17h20

Bonjour,
sous python 2.5, j'ai lu des tables .csv avec en en-tête les noms de variables.
Chaque table a une variable "clé primaire".
J'ai besoin de faire des jointures entre ces tables comme on le ferait sous SQL, mais uniquement sous python.
Quel est le moyen le + simple et optimisé ?
Y-a-t'il un module spécifique à importer ?
Merci.

**mister2502** · 07/04/2009, 18h27

Par ex:
j'ai 2 tables représentées sous python par 2 listes de listes:
glaces=[[id_glace,nb_boules,parfum],[1,2,1],[2,1,5],...]
desc_parfums=[[id_parfum,desc],[1,'vanille'],[2,'choco'],[3,'fraise'],[4,'cara'],[5,'miel'],...]
je veux obtenir la table donnant les valeurs de id_glace,nb_boules,parfum,desc après la jointure entre parfum et id_parfum.
Peut-on créer une classe avec les modèles glaces, parfum, etc ?

**tyrtamos** · 07/04/2009, 20h29

Bonjour,

Je ne connais pas de fonctions qui font cela tout seul avec les listes, mais voilà comment je ferais:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
glaces = [[1,2,1],[2,1,5],[3,1,4]]
desc_parfums=[[1,'vanille'],[2,'choco'],[3,'fraise'],[4,'cara'],[5,'miel']]
 
table = []
for glace, boules, parfum in glaces:
    for id_parfum, desc in desc_parfums:
        if id_parfum==parfum:
            break
    table.append([glace, boules, parfum, desc])
 
print table
[[1, 2, 1, 'vanille'], [2, 1, 5, 'miel'], [3, 1, 4, 'cara']]

Cela suppose qu'on est sûr qu'il existe une correspondance parfum->id_parfum.

Tyrtamos

**eyquem** · 07/04/2009, 20h58

Le passage de tyrtamos m'ayant permis d'être un peu plus sûr de ce que tu demandes, je proposes

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
glaces = [[1,2,1],[2,1,5],[3,1,4]]
desc_parfums=[[1,'vanille'],[2,'choco'],[3,'fraise'],[4,'cara'],[5,'miel']]
 
d = dict(desc_parfums)
[ u.append(d[u[2]]) for u in glaces ]

Pour des considérations intéressantes sur les dictionnaires, suivre les liens suivants

http://www.python.org/doc/2.5.2/lib/...g.html#l2h-290

http://www.biologeek.com/bonnes-prat...stuces-python/

**mister2502** · 07/04/2009, 21h12

Merci pour ces idées !
Moi, je me penchais sur :
http://www.django-fr.org/documentation/model-api/
django utilisable pour assimiler mes tables de données comme des tables d'une base de données, avec clés primaires, déclaration des types de champs, etc...
C'est peut-être impossible, vu que j'importe des tables .csv plates.
A votre avis ?

**tyrtamos** · 11/04/2009, 09h46

Bonjour,

Tout dépend de ton projet: sa nature, sa taille, sa criticité, etc...

Django est un outil pour le web. Il existe d'ailleurs un forum spécialisé sur ce site.

Si tu as une application complexe de base de données relationnelles, mysql est un bon outil. En plus d'être utilisable sur le web, il s'installe sans problème sur un ordinateur isolé, et s'utilise dans une logique fournisseur-client.

Une solution un peu plus simple, c'est sqlite3 qui est intégré dans Python à partir de la 2.5. Il n'est plus dans la logique fournisseur-client, et il a quelques limitations dans les instructions sql, mais il est plus simple que mysql (par exemple, les droits ne sont pas gérés).

Et comme ça m'intéressait aussi, j'ai transformé ton pb avec sqlite3 pour voir ce que ça donne, et manifestement, ça marche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
 
#!/usr/bin/python
# -*- coding: utf-8 -*-
 
import os
import sqlite3
 
##############################################################################
glaces = [[1,2,1],[2,1,5],[3,1,4]]
desc_parfums=[[1,'vanille'],[2,'choco'],[3,'fraise'],[4,'cara'],[5,'miel']]
"""
objectif:
table = [[1, 2, 1, 'vanille'], [2, 1, 5, 'miel'], [3, 1, 4, 'cara']]
"""
 
# ============================================================================
# creation de la base: CREATE DATABASE test
 
# repertoire dans lequel se trouvera la base de donnees
rep = r"C:\Python25\Pydev\test\sql\bdr\test"
 
# nom de la base de donnes: au depart, ce n'est qu'un simple fichier vide (0 octet)
base = r"test.bdr"
 
# connexion à la base de donnees
bdr = sqlite3.connect(os.path.join(rep,base))
 
# obtention d'un curseur
cur = bdr.cursor()
 
# ============================================================================
# creation de la table glaces
cur.execute('CREATE TABLE glaces(elem1 INTEGER, elem2 INTEGER, elem3 INTEGER)')
 
# remplissage de la table glaces à partir de la liste glaces
for i1, i2, i3 in glaces:
    cur.execute('INSERT INTO glaces VALUES(' + str(i1) + ',' + str(i2) + ',' + str(i3) + ')')
 
# verification: affichage du contenu de la table glaces:
cur.execute('SELECT * from glaces')
print
for ligne in cur.fetchall():
    print ligne
 
# ============================================================================
# creation de la table desc_parfums
cur.execute('CREATE TABLE desc_parfums(elem INTEGER, desc TEXT(12))')
 
# remplissage de la table desc_parfums à partir de la liste desc_parfums
for i, x in desc_parfums:
    cur.execute('INSERT INTO desc_parfums VALUES(' + str(i) + ',"' + x + '")')
 
# verification: affichage du contenu de la table glaces:
cur.execute('SELECT * from desc_parfums')
print
for ligne in cur.fetchall():
    print ligne
 
# ============================================================================
# jointure gauche entre les 2 tables
cur.execute('SELECT elem1, elem2, elem3, desc FROM glaces LEFT OUTER JOIN desc_parfums ON glaces.elem3=desc_parfums.elem')
 
# recuperation du resultat de la jointure:
table = cur.fetchall()
 
# affichage du resultat
print
for ligne in table:
    print ligne
 
# ============================================================================
# fermeture du curseur
cur.close()
# fermeture de la base
bdr.close()

Pour essayer chez toi, remplace rep par un répertoire existant, et fabrique dans ce répertoire un fichier vide appelé 'test.bdr'.

Ce qui affiche:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
(1, 2, 1)
(2, 1, 5)
(3, 1, 4)
 
(1, u'vanille')
(2, u'choco')
(3, u'fraise')
(4, u'cara')
(5, u'miel')
 
(1, 2, 1, u'vanille')
(2, 1, 5, u'miel')
(3, 1, 4, u'cara')

On voit que la jointure a bien été obtenue!

Mais bon. Si tu n'as que quelques dizaines d'éléments sans accès multiples en réseaux, les solutions citées dans les précédents messages sont peut-être suffisantes...

Tyrtamos

**mister2502** · 11/04/2009, 11h44

Bonjour,
merci pour ces explications et solutions.
Pour l'instant, je transforme des tables (>100000 lignes) en dictionnaires dont les clés (une valeur ou un tuple) représentent les clés primaires.
Par dict[key][var_voulue], j'appelle une certaine valeur de ma variable.
C'est très limité, normal vu que je pars de fichiers .csv et non de bdd.
Et c'est très lent !
Tyrtamos, ta modélisation en bdd avec sqlite est pratique, peut-être + fonctionnelle et rapide.
Je vais la tester.

**tyrtamos** · 11/04/2009, 16h27

Bonjour,

Attends! J'ai plus simple.

Je ne me rendais pas compte que tu manipulais des fichiers aussi grands. Dans ce cas, convertir tes 2 listes dans une autre structure de données pour avoir la jointure devient très coûteux en temps.

Je pars du principe que:

1)- tu as déjà les 2 fichiers sous forme de listes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
glaces = [[1,2,1],[2,1,5],[3,1,4]]
desc_parfums=[[1,'vanille'],[2,'choco'],[3,'fraise'],[4,'cara'],[5,'miel']]

2)-le 1er élément de chaque sous-liste de desc_parfums (comme le 3 de [3,'fraise']) va effectivement dans l'ordre des nombres croissants sans trou: 1, 2, 3, ...

Alors, on peut retrouver facilement cette sous-liste connaissant son 1er élément. Par exemple, pour la valeur 3, la sous-liste [3,'fraise'] se trouve à l'indice 3-1=2 de la liste desc_parfums, et donc sa valeur 'fraise' se trouve à desc_parfums[3-1][1].

Dans ce cas, la jointure est super simple et probablement très rapide:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
table = []
for x, y, z in glaces:
    table.append([x, y, z, desc_parfums[z-1][1]])

Et on peut même le faire en une seule ligne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
table = [[x, y, z, desc_parfums[z-1][1]] for x, y, z in glaces]

Le résultat est, bien sûr, la même chose qu'avant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
print table
[[1, 2, 1, 'vanille'], [2, 1, 5, 'miel'], [3, 1, 4, 'cara']]

Plus simple que ça, t'auras du mal

Tyrtamos

**mister2502** · 11/04/2009, 19h08

Ouais, une autre solution possible, mais qui suppose que mes clés valent 1, 2, ..., n.
Alors qu'avec un dictionnaire, ou sqlite, la valeur des clés n'importe pas.

**tyrtamos** · 12/04/2009, 09h52

Si les clés peuvent être quelconques, il y a encore une solution un peu plus complexe, mais qui reste rapide:

- trier la liste desc_parfums en fonction de la clé
- trouver la clé avec une recherche par dichotomie

Si tu n'y arrives pas avec les autres solutions, dis-le pour que je développe cette solution.

Tyrtamos

**mister2502** · 14/04/2009, 11h01

En fait, j'ai pour l'instant une fonction qui sépare en 2 listes les clés des valeurs associées, à partir d'une liste de liste data initiale.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
keys=[]
val=[]
for i in range(0,len(data)):
    if len(ind_k)>1:
        keys.append(tuple([data[i][j] for j in ind_k]))
    else:
        for j in ind_k:
            keys.append(data[i][j])
    val.append([data[i][j] for j in index])