Trop de connexions ..

Version imprimable

Bonjour à tous,

Je développe actuellement un projet avec une base de données PostgresSQL. J'utilise Spring, JDBC et BoneCP.

Je lance un web service qui lance une requête du genre "select * from ma table" et j'obtiens l'erreur suivante :

Code:

J'ai relancé le service postgresql, puis ça fonctionne... mais pour combien de temps.

Auriez-vous une idée pour comment bien paramétrer ?

Pour info, voici mon paramétrage dans mon beans.xml
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 <bean id="dataSource" class="com.jolbox.bonecp.BoneCPDataSource" destroy-method="close"> <property name="driverClass" value="${jdbc.driverClass}"/> <property name="jdbcUrl" value="${jdbc.url}"/> <property name="username" value="${jdbc.username}"/> <property name="password" value="${jdbc.password}"/> <property name="idleConnectionTestPeriodInMinutes" value="60"/> <property name="idleMaxAgeInMinutes" value="1"/> <property name="maxConnectionsPerPartition" value="15"/> <property name="minConnectionsPerPartition" value="3"/> <property name="partitionCount" value="3"/> <property name="acquireIncrement" value="5"/> <property name="statementsCacheSize" value="100"/> <property name="releaseHelperThreads" value="3"/> <property name="closeConnectionWatch" value="true"/> <property name="maxConnectionAgeInSeconds" value="0" />  </bean>
Merci

Vince

07/06/2012, 14h36
fr1man

Est-ce que te connexions sont bien libérées après utilisation ?
07/06/2012, 16h03
vince29

je pensais que de cette façon, il n'y avait pas besoin de gérer justement les libérations de connexion..
Comment s'en charger?
Merci
07/06/2012, 16h50
fr1man

Fermer tes resultsets, tes statements et tes connexions.

pour info, voici mon code d'appel SQL

Code:

1
2
3
4
5
6
7
8
9
 
String SQL = "SELECT * FROM marchand"
	            + " WHERE idmarchand = ?";
	    try {
	        return (Merchant) this.jdbcTemplate.queryForObject(SQL,
	                new MerchantMapper(),new Object[]{merchantId});
} catch (EmptyResultDataAccessException e) {
	        return null;
	    }

J'utilise un resultset dans mon MerchantMapper, est-ce bien celui-ci que je dois fermer à chaque fois ?
je n'ai pas de statements et de connexion...
Vince

08/06/2012, 16h17
fr1man

L'idée est de libérer les ressources, pool de connexions ou pas.
Je ne connais pas bien JdbcTemplate, mais regarde les bonnes pratiques.
A priori tu n'as pas à te soucier de la connexion, mais si tu as un ResultSet, il faut le fermer.

j'essaie de fermer les resulset, mais j'obtiens une erreur :

voici monde code :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
 
public static final class MerchantMapper implements RowMapper<Merchant> {
		public Merchant mapRow(ResultSet rs, int rowNum) throws SQLException {
	    	Merchant m = new Merchant();
	    	m.setMerchantId(rs.getLong("idmarchand"));
	        m.setTypeMerchant(rs.getInt("type"));
	        m.setName(rs.getString("nom"));
	        m.setAddress(rs.getString("adresse"));
	        m.setCplAddress(rs.getString("compladresse"));
	        m.setZip(rs.getString("codepostal"));
	        m.setCity(rs.getString("ville"));
	        m.setDepartment(rs.getString("departement"));
	        m.setCountry(rs.getString("pays"));
	        m.setURLProductInfo(rs.getString("urlproduit"));
	        m.setURLBuyProduct(rs.getString("urlachat"));
	        m.setDesc(rs.getString("description"));
	        m.setUrlLogo(rs.getString("urllogo"));
	        m.setMinAmount(rs.getLong("montantminimum"));
 
	        rs.close();
	        return m;
	    }
	}
 
	// Récupération des informations du commercant
	public Merchant getMerchant(long merchantId) {
		String SQL = "SELECT * FROM marchand"
	            + " WHERE idmarchand = ?";
 
 
		try {
	        return (Merchant) this.jdbcTemplate.queryForObject(SQL,
	                new MerchantMapper(),new Object[]{merchantId});
	    } catch (EmptyResultDataAccessException e) {
	        //this will return a null if the query cant find any countried with
	        //code given by the user
	        return null;
	    }
	}

et j'obtiens :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
Problem accessing /eyebuy/product/get. Reason:
 
    PreparedStatementCallback; uncategorized SQLException for SQL [SELECT * FROM marchand WHERE idmarchand = ?]; SQL state [55000]; error code [0]; This ResultSet is closed.; nested exception is org.postgresql.util.PSQLException: This ResultSet is closed.
 
Caused by:
 
org.springframework.jdbc.UncategorizedSQLException: PreparedStatementCallback; uncategorized SQLException for SQL [SELECT * FROM marchand WHERE idmarchand = ?]; SQL state [55000]; error code [0]; This ResultSet is closed.; nested exception is org.postgresql.util.PSQLException: This ResultSet is closed.
	at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:83)
	at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:80)
	at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:80)
	at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:602)
	at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:636)
	at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:665)
	at org.springframework.jdbc.core.JdbcTemplate.query(JdbcTemplate.java:673)
	at org.springframework.jdbc.core.JdbcTemplate.queryForObject(JdbcTemplate.java:733)

une solution ?

merci

Vince

27/01/2016, 12h07
powerfulsrt8

Bonjour,

nous rencontrons le même type de problème entre notre open erp V6.1 et postgresql V9.1.

les élèves se connectent à leur base de données. Au bout d'un certain temps, il n'est plus possible de se connecter car un message s'affiche au milieu de l'écran "FATAL ERROR: désolé, trop de client connecté".
cela fait aujourd'hui 24h que je suis sur ce problème pour lequel je ne trouve aucune solution.

je pense avoir fait le tour au niveau des fichiers de configuration et du fameux paramètre "max_connections"

pour débloquer la situation, je lance un Reboot du serveur Debian. Mais cela ne va pas pouvoir durer...

avez-vous une solution ?

Cordialement,
01/02/2016, 17h12
JQueen

Salut,

il n'y a pas longtemps, j'avais un problème similaire.
J'ai une application web qui fait certaines manipulations en base dont l'insertion d'objets. Quand je lance une insertion d'un très grand nombre d'objets, au bout d'un moment j'ai l'erreur oracle "nombre maximum de curseurs ouverts dépassé".

A première vue, je pensais que c'est le nombre de connexions ouvertes qui pose problème. Mais en utilisant un outil de profiling (yourkit), j'ai trouvé que c'est le nombre de statements ouverts et non fermés qui cause ce problème. J'ai donc du vérifier pour toutes les classes de mon application (une cinquantaine) la fermeture des connexions/statements/resultSet.

Je propose comme solution l'utilisation d'un outil de profiling pour mieux analyser le comportement du nombre de connexions/statements/resultSet ouverts et non fermés.
02/02/2016, 10h00
powerfulsrt8

Bonjour,

Après avoir traité mon problème avec des personnes sur le TChat, en ce qui me concerne, le problème est situé au niveau de postgresql. Les connexions restent actives même si les utilisateurs se déconnectes "proprement" du client web open ERP via le bouton "déconnexion".

sur mon serveur, je peux constater toutes les connexions ouvertes via la commande SELECT * FROM pg_stat_activity.
pour avoir le nombre total de connexions ouvertes: SELECT count(*) FROM pg_stat_activity
dans le fichier de configuration de postgresql, le paramètre de max_connections est fixé à 130.

après avoir redémarré mon serveur, toutes les connexions ont été "purgées", j'ai donc simulé des connexions aux bases de données utilisateurs via le client web open erp en pensant à me déconnecter a chaque fois tout en observant le nombre de connexions actives sur mon serveur. J'ai rapidement constaté que dès que le nombre de connexions est arrivé à 130, le client web open erp affiche le fameux message "FATAL ERROR: désolé, trop de client connecté".

le problème serait donc que open erp ne ferme pas les connexions à postgresql quand les utilisateurs font "déconnexion".

j'ai donc cherché un moyen de purger ces connexions "bloquées" dans postgresql.
j'ai essayé ceci:

SELECT
pg_terminate_backend(procpid)
FROM
pg_stat_activity
WHERE
current_query = '<IDLE>'
AND
now() - query_start > '01:00:00';

j'ai constaté que les connexions pouvaient êtres purgées via cette commande SQL éventuellement incorporée dans une crontab, le problème est que cette solution ferme "brutalement" les connexions.
sur le principe je peux constater que des connexions sont libérée sur mon serveur après avoir exécuter la commande mais les personnes ne peuvent plus se reconnecter aux bases de données depuis le client open erp car désormais un message affiche que la connexion à brutalement été fermée.

je retourne donc quasiment à zéro car je suis obligé de redémarrer le serveur ou le service web openerp pour effacer le message d'erreur et retrouver un fonctionnement normal.

je commence à désespérer :(