JDBC + import + performance

Bonjour,
Ma question porte sur la performance pour des insertions, les donnees provenant d'un fichier texte. Pour simplifier je dois faire par ligne de mon fichier, deux requetes insert, et mon fichier comporte beaucoup de ligne. Le resultat est que le temps d'execution de tous mes imports est long, voire tres long. Est ce que quelqu'un aurait une idee pour rendre plus performant ces insertions. (BD : oracle)
Moi j'ai pense à utiliser le sql loader, soit charger un fichier plat directement, mais je ne sait pas trop comment ca fonctionne et si on peut l'utiliser avec JDBC. De plus, je ne sais pas si ca me fera gagner vraiment en performance.

Des idées ?

Merci par avance

Tu peux utiliser un PreparedStatement pour préparer ta requête général et puis dans la boucle tu fais juste des setXXX() et un executeUpdate.

Sinon tu peux peut-être utiliser l'outil d'importation de donnée d'Oracle (je sais plus le nom). Je pense qu'on peut spécifier en paramètres comment sont encodées les données.

Utilise la classe PreparedStatement en collaboration avec la méthode addBatch(). Un truc est d'initialisé "Fetch Size" avec une valeur d'environ 500.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

con.setAutoCommit(false); // If some fail, we want to rollback the rest PreparedStatement stmt = con.prepareStatement( "INSERT INTO CUSTOMERS VALUES (?,?,?)"); stmt.setFetchSize(500); /* Fais quelques essais pour trouver la valeur optimale */ stmt.setInt(1,1); stmt.setString(2, "J Smith"); stmt.setString(3, "617 555-1323"); stmt.addBatch();   stmt.setInt(1,2); stmt.setString(2, "A Smith"); stmt.setString(3, "617 555-1132"); stmt.addBatch();   int[] upCounts = stmt.executeBatch(); con.commit();

---

merci pour cette reponse.
J'avais oublie de preciser que j'utilise deja PreparedStatement. Par contre pour l'outil d'importation de donnees d'oracle ne serait ce pas SQL Loader. C'est justement ca que je regardais et je voulais savoir si on pouvait l'utiliser a partir de JDBC car ces inserts seront effectues par les utilisateurs eux meme. Et je voulais savoir si c'etait vraiment un gain de performance.

merci

merci jowo,

je ne connaissais pas la methode addBatch() je vais me renseigner la dessus pour voir ce que c'est peut etre que ca va ameliorer mes temps d'executions

Citation:

---

Envoyé par bfb

merci jowo,

je ne connaissais pas la methode addBatch() je vais me renseigner la dessus pour voir ce que c'est peut etre que ca va ameliorer mes temps d'executions

---

N'oublie pas FetchSize qui permet d'"optimiser" la communication entre ton client et la base de données. J'ai effectué des tests avec différentes valeurs de FetchSize, j'ai eu des améliorations allant jusqu'à 20%.

ok par contre moi je recuperais a chaque fois la valeur de ma clé auto genere quand je faisais un insert pour pouvoir inserer a la suite dans une seconde table. Comment je peux recuperer toutes les valeurs auto genere cette fois ci?

merci par avance

j'ai teste et effectivement il y a un bon gain de performance avec la add batch. Merci, le seul hic c'est que j'aurais aime recuperer comme je l'ai dis dans mon message precedent les cles auto generees. Personne n'au eu besoin de ca??

Alors tu as besoin de la méthode executeUpdate et de la méthode getResultSet()

Mais je crois que tu vas perdre en performance...

oui si je passe par ca je perds beaucoup, bon je vais devoir me resoudre a faire une requete select max et me debrouiller avec ca.