Discussion :

[Sniper37]

Bonjour,

je voudrais faire un transfert de données d'un fichier csv à une table, j'ai commencé tout simplement à lire le fichier csv ligne par ligne et faire une insertion en base, mais le fichier contient plus de 20000 lignes, l’exécution est très longue.

voilà des bouts de code de que je fais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
connection = cx_Oracle.connect(url % 'pass')
cursor = connection.cursor()
with open(name, 'rb') as f:
     reader = csv.reader(f)
    for row in reader:
         insertSQL= "INSERT INTO ..."
        cursor.execute(insertSQL)
 
cursor.close()
		connection.commit() 
        connection.close()

il doit exister une meilleur façon de faire, n'est ce pas ?

[wiztricks]

Salut,

Il faut passer par des "bulk inserts", i.e. plutôt que de faire un .execute par ligne faire un .executemany sur N lignes.
Testez la valeur optimale de N: elle dépend du driver, du SGDB,... et est de l'ordre de quelques milliers de lignes.
Je ne pratique pas cx_oracle mais avec les mots clés "cx_oracle bulk insert",
je suis tombé sur l'article qui indique comment faire.
Bon courage,
- W

[Sniper37]

Merci pour ta réponse. j'étais entrain de regarder un exemple similaire mais avec pysqlplus