Lancer des milliers de threads sur un VPS

Bonsoir !

Je viens de souscrire à un VPS M chez LWS. (2Go de RAM. caractéristiques dispo sur http://www.lws.fr/serveur_dedie_linux.php)

Mon but est de faire tourner environ 2000 threads sur ce serveur. Le problème c'est que quand je lance mon programme, j'ai une erreur après avoir lancé entre 900 et 1200 threads.

message from server: "Erreur de connexion à la BDD.java.sql.SQLException: null, message from server: "Can't create a new thread (errno 11); if you are not out of available memory, you can consult the manual for a possible OS-dependent bug"

Je ne sais pas si ça vient du fait que j'ai pas assez de RAM ou si c'est une autre limitation qui entre en jeu. (A priori il resterait de la RAM dispo au moment ou j'obtiens l'erreur mais je n'en suis pas trop sûr, comment vérifier ?)

Voici le contenu de mon fichier /etc/mysql/my.cnf

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71

[client] port = 3306 socket = /var/run/mysqld/mysqld.sock   # Here is entries for some specific programs # The following values assume you have at least 32M ram   # This was formally known as [safe_mysqld]. Both versions are currently parsed. [mysqld_safe] socket = /var/run/mysqld/mysqld.sock nice = 0   [mysqld] # # * Basic Settings # user = mysql pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock socket = /var/run/mysqld/mysqld.sock port = 3306 basedir = /usr datadir = /var/lib/mysql tmpdir = /tmp language = /usr/share/mysql/english skip-external-locking     ############################################## ############### Configuration 2Go ############################################## # # * Fine Tuning # key_buffer = 256M max_allowed_packet = 16M table_cache = 128 thread_stack = 192K thread_cache_size = 8 sort_buffer_size = 256M read_buffer_size = 128M read_rnd_buffer_size = 128M net_buffer_length = 8M   # # * Query Cache Configuration # query_cache_limit = 1M query_cache_size = 16M   ##############################################   # This replaces the startup script and checks MyISAM tables if needed # the first time they are touched myisam-recover = BACKUP max_connections = 1000 #table_cache = 64 #thread_concurrency = 10 expire_logs_days = 10 max_binlog_size = 100M   [isamchk] key_buffer = 16M   [mysqldump] quick quote-names max_allowed_packet = 16M   [mysql] #no-auto-rehash # faster start of mysql but no tab completition

---

Je sais que ça doit être l'un de ces paramètres que je dois modifier mais je ne sais lequel.

Quelqu'un saurait d'où cela peut venir ?

Merci d'avance, et bonne soirée !

Nous non plus, car c'est le fichier de configuration de mysql que tu postes là...

Visiblement quand on tappe l'erreur dans google tout le monde a l'air de dire que ça vient de là ;)

Non. Je pense que ton erreur se situe du coté java qui essaye d'initialiser trop de thread pour la mémoire disponible.

Bonjour,

des threads, ca consomme de la mémoire, en java comme en C. Si chacun de tes threads java crée un connexion à la base de données, celle-ci va s'écrouler. On a des serveur oracle ici, et je t'assure que si je crée un appli qui demande 2000 connexion DB, je vais me faire trucider par le DBA :aie:

Donc la première chose, c'est de limiter le nombre de connexion que tu crée, par exemple en utilisant un connection pool.


Ensuite, une autre limitation, c'est le nombre de threads autorisé par process. Souvent, c'est de l'ordre de 1024, on monte parfois à 2048 sur certains serveur... Mais l'intérêt est limité, 90% de ces threads se tourneront les pouces en attendant leur tour, tu va écrouler tes performances parce que tu va passer plus de temps à faire du switch de contexte qu'à faire les calculs. Faudrait penser à revoir le design de ce coté là.

Coté consommation mémoire, en java, chaque thread à sa propre stack. Qui fait typiquement 512k. Donc 2000 threads consommeront déjà 1G pour leur propre existence. Ca représente quand même la moitié de ta RAM. Il faut savoir aussi que sur les machine 64bit, c'est plus, et qu'on peux monter à 2M par thread (donc 4G juste pour les threads). Tu peux ajuster cette taille avec -Xss, il semble que la pluspart des appli java peuvent vivre avec un Xss à 128k, à tester. Si tu descend à 500 thread de 128k, on arrive à 62M de RAM consommé par les threads, c'est déjà plus raisonnable.


Tu n'as que 2 core sur ton serveur, je vois mal l'intérêt d'aller tapper 2000 threads dessus ^^