Discussion :

[dondano]

Bonjour,
je dois faire un programme qui envoie selectionne beaucoup de ligne de base de donnée pgSQL( 30 000 ) et les enregistrent dans une autre base de donnée MySQL, et cela plusieurs fois par jour.
Je voudrais savoir quel est la méthode la plus rapide, car il faut que mon programme ne traine pas !

J'ai fait 4 méthodes :
- La premier enregistre une ligne des quelle est lu
- la second fait pareil mais utilise un preparedStatement
- la troisieme récolte les elements dans une list puis les enregistre par un preparedStatement
- enfin la 4eme modifie le commit et envoi toutes les requetes d'un coup.

Pour les tester j'ai enregistrer dans le une variable le getTime() avant lexecution puis apres l'execution et je les ai soustrait, mais les résultats sont pas terribles car les méthodes mettent jamais le meme temps pour s executer.
Donc si vous saviez laquelle est la plus optimiser pour ce que je veut faire sa serai bien pour moi !
Sinon si vous avez d autres idée plus rapide hésite pas !

Merci

[adiGuba]

Salut,

Pour les tester j'ai enregistrer dans le une variable le getTime() avant lexecution puis apres l'execution et je les ai soustrait, mais les résultats sont pas terribles car les méthodes mettent jamais le meme temps pour s executer.

Tu pourrais détailler un peu plus ?
Quel est le temps du traitement avec chaque solution ?

a++

[wace]

J'ai une question bête (une fois de plus je sais )
Mais pourquoi tu utilise du Java pour faire ca ?!?
Selectionner des enregistrements d'une base et les enregistrer dans une autre base ... je suis desolé mais je ne vois pas ce que Java fait la dedans ... à moins qu'il y ai un traitement des enregistrements entre les deux mais ca tu ne l'as pas dit !!!

[dondano]

J'ai une question bête (une fois de plus je sais )
Mais pourquoi tu utilise du Java pour faire ca ?!?
Selectionner des enregistrements d'une base et les enregistrer dans une autre base ... je suis desolé mais je ne vois pas ce que Java fait la dedans ... à moins qu'il y ai un traitement des enregistrements entre les deux mais ca tu ne l'as pas dit !!!

Sur la suite du programme il y aura des traitements, c'est juste la premiere partie

[dondano]

J'ai un probleme lorsque je tente de faire 300 000 insertions j'ai des outofmemory sur mes 4 méthodes !

Voici une de mes méthodes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
 
	public static ResultSet resultat;	
	public static Connection connexion;
	static {
		FunctionMySQL.resultat = null;	
		FunctionMySQL.connexion = null;
		String driver = "com.mysql.jdbc.Driver";
		try {
	        Class.forName(driver).newInstance();
			connexion = DriverManager.getConnection("jdbc:mysql://localhost/maBase","root","");
 
	    } catch (InstantiationException e) {
	        e.printStackTrace();
	    } catch (IllegalAccessException e) {
	        e.printStackTrace();
	    } catch (ClassNotFoundException e) {
	        System.err.println("pb lors du chargement "+e);
	        e.printStackTrace();
	    } catch (SQLException e) {
	        throw new RuntimeException("Impossible de charger cette classe");
	    }
 
	}	
	public void preparedStatementWithList(){
		ResultSet select;
		try {
			select = FunctionPgSQL.select("SELECT * FROM log;");
	        Date d= new Date();	
	        long debut = d.getTime();
	        List<List> list = new ArrayList<List>();
			while(select.next()){
				List<String> ligne = new ArrayList<String>();
				ligne.add(select.getString(2));
				ligne.add(select.getString(3));
				list.add(ligne);
			}
			FunctionMySQL.insertWithPrepareStatement("INSERT INTO test(nom,prenom) VALUES( ?,?)", list);
		    Date d2= new Date();		
		    long fin = d2.getTime();
			System.out.println("preparedStatementWithList durée :" + (fin - debut));
		} catch (SQLException e3) {
		   System.err.println("Probleme SQL " + e3);
		}
	}
 
	public static void insertWithPrepareStatement(String request,List<List> list) {
		try {
			PreparedStatement preparedStatement = connexion.prepareStatement(request);
			for (ListIterator it = list.listIterator(); it.hasNext();){
				List<String> ligne = (List<String>) it.next();
				for (ListIterator ligneListe = ligne.listIterator(); ligneListe.hasNext();){
					preparedStatement.setString(1,(String) ligneListe.next());
					preparedStatement.setString(2,(String) ligneListe.next());
					preparedStatement.executeUpdate();
				}
			}
		} catch (SQLException e) {
			e.printStackTrace();
		}
	}

Vous ne voyez pas d ou cela peut provenir ??
Merci

[gokudomatic]

Pour ta première question, je conseille la 3e solution doublé d'un executebatch. et bien sur l'auto-commit désactivé.

[kungfoo]

J'ai un probleme lorsque je tente de faire 300 000 insertions j'ai des outofmemory sur mes 4 méthodes !

Vous ne voyez pas d ou cela peut provenir ??

Probablement du fait que tu tente de faire 300 000 insertions

Tu peux faire un test en affichant quelque chose à l'écran juste après la boucle qui lit de la base de données et qui insère les données dans ta liste.

Tu peux augmenter la taille du heap en passant des paramètres à la machine virtuelle :

-Xmn100M -Xms500M

Où 100M est la taille initiale et 500M est la taille maximale.

[dondano]

J'ai fait les tests sur 2 000 enregistrement et cela tourne autour de 900 millisecondes de moyennes ( 5 tests par méthode )

Je suis en train de faire les meme tests avec 100 000 lignes... Le résultat devrai etre plus parlant je pense...