Remplir une base de données

Version imprimable

Je cherche à remplir une base de données a partir d'informations extraites sur le net.
A pres avoir générer une requete sql (insert into ...) je cherche à l'executer dans la BD et c'est la que ça coince. Voici le script:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
url = url1 + url2 + url3
print url
import urllib
f = urllib.urlopen(url, proxies = {'http': 'http://xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'})

import psycopg2
connection = psycopg2.connect("dbname='orleans' user='pgadmin' host='localhost' password='pgadmin'")

cur = connection.cursor()
cur.execute("CREATE TABLE geonames (geonames_id integer primary key,iso_alpha2 varchar(2) not null, iso_alpha3 varchar(3) not null, iso_num integer not null, fips_code varchar(2), name varchar(50) not null,capital varchar(50),area real not null, population integer not null, continent varchar(2) not null, language varchar(100), currency varchar(3))"                      
           )                  
connection.commit()

def convert():

      for line in f:
         dp = line.split('	')  
         req ="INSERT INTO Geonames VALUES ("+dp[11] + ",'" + dp[0] + "','" + dp[1] + "'," + dp[2] + ",'" + dp[3] + "','" + dp[4] + "','" + dp[5] + "'," + dp[6] + "," + dp[7] + ",'" + dp[8] + "','" + dp[9] + "','" + dp[10] + "')"
         cur.execute("req")
         connection.commit()
         
convert()

connection.close()

14/01/2009, 23h02
DelphiManiac

Donnes nous au moins le message d'erreur, tout le monde n'a pas postgres !!
15/01/2009, 08h34
xavier-Pierre

bonjour, je vois déjà une erreur

Code:

cur.execute("req")

à remplacer par

Code:

cur.execute(req)

Bonjour,

Suite à votre remarque, j'ai supprimer les doubles cotes mais ce la ne fonctionne toujours pas. Mon probleme vient de la premiere ligne du fichier csv que je souhaite intégrer dans la base postgre qui contient les titres de colonne et non des données. Comment puis-je faire pour que la boucle suivante ne commence qu'a la deuxiemme ligne?
Code:

1 2 3 4 5 6 7 8 def convert(): for line in f: cur = connection.cursor() dp = line.split(' ') req ="INSERT INTO Geonames VALUES ("+dp[11] + ",'" + dp[0] + "','" + dp[1] + "'," + dp[2] + ",'" + dp[3] + "','" + dp[4] + "','" + dp[5] + "'," + dp[6] + "," + dp[7] + ",'" + dp[8] + "','" + dp[9] + "','" + dp[10] + "')" cur.execute(req) connection.commit()

Par exemple :

Code:

1
2
3
4
5
6
7
8
9
10
11
def convert():
    skip = True
    for line in f:
        if skip:
            skip = False
        else:
            cur = connection.cursor()
            dp = line.split('    ')  
            req ="INSERT INTO Geonames VALUES ("+dp[11] + ",'" + dp[0] + "','" + dp[1] + "'," + dp[2] + ",'" + dp[3] + "','" + dp[4] + "','" + dp[5] + "'," + dp[6] + "," + dp[7] + ",'" + dp[8] + "','" + dp[9] + "','" + dp[10] + "')"
            cur.execute(req)
            connection.commit()

15/01/2009, 16h48
xavier-Pierre

bonjour,

Code:

for line in f[1:]:
15/01/2009, 16h57
DelphiManiac
Citation:

Envoyé par xavier-Pierre

bonjour,

Code:

for line in f[1:]:

Si le fichier est ouvert par open cela ne fonctionne pas :
Code:

1 2 3 4 5 6 7 D:\temp>test.py Traceback (most recent call last): File "D:\temp\test.py", line 21, in test for ligne in fichier_log[1:]: TypeError: 'file' object is unsubscriptable D:\temp>
Et honnêtement j'ai même pas envisagé de faire un slice sur un fichier qui peut avoir une taille indéfini. Mais peut être que cela fonctionne avec d'autres modes d'ouverture du fichier.
15/01/2009, 18h50
xavier-Pierre

OK mea culpa

au lieu de:

Code:

1
2
3
4
5
6
skip = True
for line in f:
    if skip:
        skip = False
    else:
        ...

On peut écrire:

Code:

1
2
3
f.next()
for line in f:
    ...

16/01/2009, 18h29
greg-gwened

La derniere solution proposée fonctionne parfaitement.
Merci à tous

J'ai cependant un nouveau probleme lié au contenu de la base de données mais je vais créer un nouveau post pour cela.

Encore merci