heap space sur traitement de tables de gros volumes

Version imprimable

07/12/2010, 11h39
POKOU

heap space sur traitement de tables de gros volumes

Bonjour ;)

je traite sequentiellement 6 tables de gros volumes.

après le traitement de chacune je ferme bien ResutlSet et Statement.

je n'ai pas de boucles dans mon code car les 6 classes java sont dupliquées ( sauf les traitements des colonnes) et c'est le 5ième traitement qui plante.

la JVM me renvoie l'erreur:

Citation:

après ru
après as
après si
après ad
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
at java.util.HashMap.resize(HashMap.java:462)
at java.util.HashMap.addEntry(HashMap.java:755)
at java.util.HashMap.put(HashMap.java:385)
at java.util.jar.Manifest.read(Manifest.java:232)
at java.util.jar.Manifest.<init>(Manifest.java:52)
at java.util.jar.JarFile.getManifestFromReference(JarFile.java:165)
at java.util.jar.JarFile.getManifest(JarFile.java:146)
at sun.misc.URLClassPath$JarLoader$2.getManifest(URLClassPath.java:696)
at java.net.URLClassLoader.defineClass(URLClassLoader.java:228)
at java.net.URLClassLoader.access$000(URLClassLoader.java:58)
at java.net.URLClassLoader$1.run(URLClassLoader.java:197)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:190)
at java.lang.ClassLoader.loadClass(ClassLoader.java:307)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301)
at java.lang.ClassLoader.loadClass(ClassLoader.java:248)
at com.ibm.as400.access.ConnectionDroppedException.<init>(ConnectionDroppedException.java:63)
at com.ibm.as400.access.AS400ThreadedServer.forceDisconnect(AS400ThreadedServer.java:211)
at com.ibm.as400.access.AS400ImplRemote.disconnectServer(AS400ImplRemote.java:451)
at com.ibm.as400.access.AS400JDBCConnection.close(AS400JDBCConnection.java:482)
at transfertRNCPSDirect.ProgramDirect$1.actionPerformed(ProgramDirect.java:202)
at javax.swing.AbstractButton.fireActionPerformed(AbstractButton.java:1995)
at javax.swing.AbstractButton$Handler.actionPerformed(AbstractButton.java:2318)
at javax.swing.DefaultButtonModel.fireActionPerformed(DefaultButtonModel.java:387)
at javax.swing.DefaultButtonModel.setPressed(DefaultButtonModel.java:242)
at javax.swing.plaf.basic.BasicButtonListener.mouseReleased(BasicButtonListener.java:236)
at java.awt.Component.processMouseEvent(Component.java:6263)
at javax.swing.JComponent.processMouseEvent(JComponent.java:3267)
at java.awt.Component.processEvent(Component.java:6028)
at java.awt.Container.processEvent(Container.java:2041)
at java.awt.Component.dispatchEventImpl(Component.java:4630)
at java.awt.Container.dispatchEventImpl(Container.java:2099)
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
at java.awt.image.DataBufferInt.<init>(DataBufferInt.java:41)
at java.awt.image.Raster.createPackedRaster(Raster.java:458)
at java.awt.image.DirectColorModel.createCompatibleWritableRaster(DirectColorModel.java:1015)
at sun.awt.image.SunVolatileImage.getBackupImage(SunVolatileImage.java:225)
at sun.awt.image.VolatileSurfaceManager.getBackupSurface(VolatileSurfaceManager.java:252)
at sun.awt.image.VolatileSurfaceManager.initialize(VolatileSurfaceManager.java:108)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:72)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:82)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:93)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:87)
at sun.awt.windows.WComponentPeer.createVolatileImage(WComponentPeer.java:635)
at java.awt.Component.createVolatileImage(Component.java:3363)
at java.awt.Component$BltBufferStrategy.createBackBuffers(Component.java:4085)
at java.awt.Component$BltBufferStrategy.<init>(Component.java:4030)
at java.awt.Component$BltSubRegionBufferStrategy.<init>(Component.java:4283)
at java.awt.Component.createBufferStrategy(Component.java:3614)
at java.awt.Window.createBufferStrategy(Window.java:3015)
at javax.swing.BufferStrategyPaintManager$BufferInfo.createBufferStrategy(BufferStrategyPaintManager.java:846)
at javax.swing.BufferStrategyPaintManager$BufferInfo.createBufferStrategy(BufferStrategyPaintManager.java:797)
at javax.swing.BufferStrategyPaintManager$BufferInfo.getBufferStrategy(BufferStrategyPaintManager.java:730)
at javax.swing.BufferStrategyPaintManager.prepare(BufferStrategyPaintManager.java:506)
at javax.swing.BufferStrategyPaintManager.paint(BufferStrategyPaintManager.java:264)
at javax.swing.RepaintManager.paint(RepaintManager.java:1224)
at javax.swing.JComponent.paint(JComponent.java:1015)
at java.awt.GraphicsCallback$PaintCallback.run(GraphicsCallback.java:21)
at sun.awt.SunGraphicsCallback.runOneComponent(SunGraphicsCallback.java:60)
at sun.awt.SunGraphicsCallback.runComponents(SunGraphicsCallback.java:97)
at java.awt.Container.paint(Container.java:1780)
at java.awt.Window.paint(Window.java:3375)
at javax.swing.RepaintManager.paintDirtyRegions(RepaintManager.java:796)
at javax.swing.RepaintManager.paintDirtyRegions(RepaintManager.java:713)
at javax.swing.RepaintManager.seqPaintDirtyRegions(RepaintManager.java:693)
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
at java.awt.image.DataBufferInt.<init>(DataBufferInt.java:41)
at java.awt.image.Raster.createPackedRaster(Raster.java:458)
at java.awt.image.DirectColorModel.createCompatibleWritableRaster(DirectColorModel.java:1015)
at sun.awt.image.SunVolatileImage.getBackupImage(SunVolatileImage.java:225)
at sun.awt.image.VolatileSurfaceManager.getBackupSurface(VolatileSurfaceManager.java:252)
at sun.awt.image.VolatileSurfaceManager.initialize(VolatileSurfaceManager.java:108)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:72)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:82)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:93)
at sun.awt.image.SunVolatileImage.<init>(SunVolatileImage.java:87)
at sun.awt.windows.WComponentPeer.createVolatileImage(WComponentPeer.java:635)
at java.awt.Component.createVolatileImage(Component.java:3363)
at java.awt.Component$BltBufferStrategy.createBackBuffers(Component.java:4085)
at java.awt.Component$BltBufferStrategy.<init>(Component.java:4030)
at java.awt.Component$BltSubRegionBufferStrategy.<init>(Component.java:4283)
at java.awt.Component.createBufferStrategy(Component.java:3614)
at java.awt.Window.createBufferStrategy(Window.java:3015)
at javax.swing.BufferStrategyPaintManager$BufferInfo.createBufferStrategy(BufferStrategyPaintManager.java:846)
at javax.swing.BufferStrategyPaintManager$BufferInfo.createBufferStrategy(BufferStrategyPaintManager.java:797)
at javax.swing.BufferStrategyPaintManager$BufferInfo.getBufferStrategy(BufferStrategyPaintManager.java:730)
at javax.swing.BufferStrategyPaintManager.prepare(BufferStrategyPaintManager.java:506)
at javax.swing.BufferStrategyPaintManager.paint(BufferStrategyPaintManager.java:264)
at javax.swing.RepaintManager.paint(RepaintManager.java:1224)
at javax.swing.JComponent._paintImmediately(JComponent.java:5072)
at javax.swing.JComponent.paintImmediately(JComponent.java:4882)
at javax.swing.RepaintManager.paintDirtyRegions(RepaintManager.java:785)
at javax.swing.RepaintManager.paintDirtyRegions(RepaintManager.java:713)
at javax.swing.RepaintManager.seqPaintDirtyRegions(RepaintManager.java:693)
at javax.swing.SystemEventQueueUtilities$ComponentWorkRequest.run(SystemEventQueueUtilities.java:125)
at java.awt.event.InvocationEvent.dispatch(InvocationEvent.java:209)
at java.awt.EventQueue.dispatchEvent(EventQueue.java:597)
at java.awt.EventDispatchThread.pumpOneEventForFilters(EventDispatchThread.java:269)
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space

auriez vous un piste pour me sortir de la ?
;)
07/12/2010, 12h00
adiGuba

Salut,

Ben tu consommes trop de mémoire. Sans code ni explication sur ce que tu cherches à faire c'est difficile de t'aider...

a++
07/12/2010, 12h14
POKOU

c'est vrai ;)

je transfère des tables de db2 400 dans un MySQL grâce à un defaultDataModel.

je ne vois pas où changer la mémoire dans Websphere.
par exemple rajouter -Xmx 900mo quelque part ?

;)
07/12/2010, 12h22
adiGuba

Citation:

Envoyé par POKOU

je transfère des tables de db2 400 dans un MySQL grâce à un defaultDataModel.

C'est quoi un "defaultDataModel" ?

Citation:

Envoyé par POKOU

je ne vois pas où changer la mémoire dans Websphere.
par exemple rajouter -Xmx 900mo quelque part ?

Ce serait une mauvaise idée qui ne ferait que reporter le problème à plus tard.

Je ne sais toujours pas à quoi ressemble ton code, mais il semblerait que tu stocke toutes les données en mémoire avant de les transférer.

:arrow: Pourquoi ne pas les transférer à la volée ? Cela limitera fortement l'utilisation mémoire...

a++

Aîe :?
Tu as raison c'est d'un DefaultTableModel dont je voulais parler.

et pour la logique aussi tu as raison, je peux faire plus court,
mais je en affichant mes jTables je peux voir rapidement si je transfère bien tout.

mon code

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
package transfertTOTO;
import java.awt.*;
import java.awt.event.ActionEvent;
 
import java.sql.ResultSet;
import java.sql.ResultSetMetaData;
import java.sql.SQLException;
import java.sql.Statement;
import java.sql.Timestamp;
 
import javax.swing.*;
import javax.swing.table.DefaultTableModel;
 
 
public class TransfertTOTO extends ProgramDirect{
 
	private JPanel panoR;
	private JScrollPane jsp, jsp2;
	private JTable table, table2;
	private DefaultTableModel data, data2;
	private JTextField requete, requete2;
	private JButton load;
	public ResultSet resultat, resultat2;
	public String[] ligne, ligne2;
	public ResultSetMetaData meta, meta2;
	public static Statement statement, statement2;
 
	public TransfertTOTO() { 
		try {
 
			panoR=new JPanel();
			panoR.setVisible(true);
			panoR.setSize(1200,600);
//pour centrer milieu de fenetre		
			setLocationRelativeTo(null);
			panoR.setLayout(new BorderLayout());
			JPanel panel = new JPanel();
			panel.setLayout(new BoxLayout(panel, BoxLayout.X_AXIS));
			load = new JButton("execute");
			panel.add(load);
 
			requete2 = new JTextField("select * from nnn.tableOrigine", 50);
			panel.add(requete2);
 
			requete = new JTextField("select * from tableDestination", 50);
			panel.add(requete);
			panoR.add(panel, BorderLayout.NORTH);
 
			data2 = new DefaultTableModel();
//liaison de la jtable et du datamodel
			table2 = new JTable(data2);
			jsp2 = new JScrollPane(table2);
			panoR.add(jsp2, BorderLayout.CENTER);
 
 
			data = new DefaultTableModel();
//liaison de la jtable et du datamodel
			table = new JTable(data);
			jsp = new JScrollPane(table);
			panoR.add(jsp, BorderLayout.SOUTH);
 
			getContentPane().add(panoR);
 
			load.addActionListener(this);
 
 
 
			statement2 =con2.createStatement();
 
 
			resultat2 = statement2.executeQuery(requete2.getText());
 
			ResultSetMetaData meta2 = resultat2.getMetaData();
 
 
			data2.setRowCount(0);
			data2.setColumnCount(0);
			for (int i = 1; i <= meta2.getColumnCount(); i++) {
				data2.addColumn(meta2.getColumnLabel(i));
			}
 
			ligne2 = new String[meta2.getColumnCount()];
			while (resultat2.next())	{
				for (int i = 1; i <= meta2.getColumnCount(); i++) {ligne2[i - 1] = resultat2.getString(i); 
				}
				data2.addRow(ligne2);
			}
			statement =con.createStatement();
 
 
			for (int l = 0; l <= data2.getRowCount()-1; l++){
 
				statement.executeUpdate("INSERT ...		");	}
 
 
			resultat = statement.executeQuery(requete.getText());
 
			meta = resultat.getMetaData();
 
			data.setRowCount(0);
			data.setColumnCount(0);
			for (int i = 1; i <= meta.getColumnCount(); i++){
				data.addColumn(meta.getColumnLabel(i));
			}
 
			ligne = new String[meta.getColumnCount()];
			while (resultat.next())	{
				for (int i = 1; i <= meta.getColumnCount(); i++){
					ligne[i - 1] = resultat.getString(i); 
				}
				data.addRow(ligne);
			}
		}
		catch (Exception e){
			System.out.println(e);
		}
		finally {
			try {
				resultat.close();
			} catch (SQLException e) {
				// TODO Bloc catch auto-généré
				e.printStackTrace();
			}
			try {
				statement.close();
			} catch (SQLException e) {
				// TODO Bloc catch auto-généré
				e.printStackTrace();
			}
		}
	}	
 
	public void actionPerformed(ActionEvent arg0) {
// TODO Auto-generated method stub	
	}
}

je me demande si c'est un problème de taille des tables ?
;)

07/12/2010, 14h42
adiGuba

Ben ca dépend vraiment de la taille de tes tables...

Si tu veux afficher des milliers de lignes cela va forcément avoir un gros impact mémoire, à moins de mettre en place un système de cache ou autre pour ne pas tout charger en mémoire...

Au passage tu mélanges création d'UI et traitements "lourds" sur la BD... ce qui risque de bloquer l'EDT et ton interface graphique :(
:arrow: L'utilisation d'un SwingWorker serait utile.

a++

PS : Et je ne comprend pas une chose : WebSphere est un serveur d'application Java EE. Tu fais du Swing avec ? Donc le code Java s'exécute coté client ?!
07/12/2010, 14h54
rolfone

Citation:

Envoyé par POKOU

et pour la logique aussi tu as raison, je peux faire plus court,
mais je en affichant mes jTables je peux voir rapidement si je tranfère bien tout.

affiche plutôt les lignes ou ta a des erreur ça évitera de chargé la mémoire
07/12/2010, 15h00
POKOU

Merci pour toutes vos pistes ;)

J'ai mis en commentaire l'affichage de la table de destination (donc data venant de ligne venant de resultat) et mes 40000 lignes + 40000 + 1 + 60000 + 105000 + 60000 sont transférées.

encore Chapeau pour vos conseils :D

Dans ma taule il y a WDSc for iseries et je dois remplir une base sur un serveur qui héberge MySQL.
Là je m'éloigne quand même pas mal du modèle mvc !

A part ça y pas mal de choses qui m'échapent !

a+