Discussion :

[echap2000]

Bonjour ,

En C++ j'ai une boucle qui fait démarrer la requête SELECT pour vérifier si la valeur existe.
Cette boucle tourne environ 17.000 fois.
malheureusement aux alentours de 16314 exécution , la connexion se perd. (je pense qu'il y a un timing )

comment peut-on augmenter cette valeur ?

Merci d'avance

[echap2000]

exemple de code que j'ai

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
 
for (int i=1; i<17000; i++)
{
 
  	QUERY->SQL->Text = "select * from tableau where id=:id";
	QUERY->ParamByName("id")->AsInteger = i;
	QUERY->Active  = true ;
        bool empty = QUERY->IsEmpty();
	QUERY->Active  = false ;		
 
        // code à continuer
 
}

la boucle ne dépasse jamais 16500 ( une fois c'est 16214, une fois c'est 16230)


La connexion se perd.

[escartefigue]

Bonjour,

Vérifiez vos paramètres de connexion, cf. le manuel de référence ICI

Quelques remarques :

• si l'identifiant de la table est de type "auto_increment", il y a, et c'est tout à fait normal, des trous de numérotation.
  Il faudra en tenir compte dans votre traitement, ce n'est pas une erreur, plusieurs causes sont possibles : lignes supprimées par DELETE, INSERT non comités, arrêt relance du serveur...
• vérifier l'existence en faisant un SELECT * est une très mauvais idée. Pour vérifier l'existence, faites un select d'une constante (par exemple SELECT 1), ça allegera la charge réseau en évitant de transporter des colonnes inutiles et ça permettra d'utiliser les index couvrants s'il en existe.
  Voyez dans mon article de blog sur l'utilisation du SELECT *

[echap2000]

Merci,

Votre conseil pour le (select 1 ) est pour l'optimisation. je l'ai changé.

j'ai mis toutes les valeurs au maximum dans my.ini

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
 
 
connect_timeout=1000000
max_execution_time=1000000
max_connections=10000000
table_open_cache=200000
tmp_table_size=2G
skip_name_resolve
thread_cache_size=1000
myisam_max_sort_file_size=100G
myisam_sort_buffer_size=2G
key_buffer_size=16M
read_buffer_size=128K
read_rnd_buffer_size=512K
tmp_table_size=128M
net_buffer_length=32768
innodb_flush_log_at_trx_commit=1
innodb_log_buffer_size=16M
innodb_buffer_pool_size=1G
innodb_log_file_size=256M
innodb_thread_concurrency=65
innodb_autoextend_increment=64
innodb_buffer_pool_instances=8
innodb_concurrency_tickets=5000
innodb_old_blocks_time=1000
innodb_open_files=300
innodb_stats_on_metadata=0
innodb_file_per_table=1
innodb_checksum_algorithm=0
 
 
back_log=80
flush_time=90000
join_buffer_size=256K
max_allowed_packet=1073741824
max_connect_errors=100
open_files_limit=4161
sort_buffer_size=256K
table_definition_cache=1400
binlog_row_event_max_size=8K
sync_master_info=10000
sync_relay_log=10000
sync_relay_log_info=10000
loose_mysqlx_port=66060
 
 
delayed_insert_limit=200
innodb_fill_factor=200
innodb_idle_flush_pct=200
key_cache_division_limit=200
max_connect_errors=200
mysqlx_max_connections=200
performance_schema_max_cond_classes=200
performance_schema_max_thread_classes=200
net_buffer_length=20000
max_prepared_stmt_count=20000
innodb_lock_wait_timeout=100
regexp_time_limit=64
 
slave_net_timeout=120
mysqlx_idle_worker_thread_timeout=120
mysqlx_write_timeout=120
 
interactive_timeout=55000
mysqlx_interactive_timeout=55000
mysqlx_wait_timeout=55000
wait_timeout=55000
net_read_timeout=6000

j'ai fait un net stop & net start.
Je tourne sous windows & mysql server 8.0 avec workbench

Une petite info :
Dans mon deuxième post, j'ai mis mon code comme exemple . le but c'est de ne pas parcourir les ID .
Au fait, je voulais parcourir la table avec plusieurs clés primaires. Si l'info ne figure pas dans le tableau, il l'ajoute dans la partie suivante.
Le FOR parcours un tableau qui contient 80.000 lignes.

[escartefigue]

Les SGBD sont optimisés pour traiter les données de façon ensembliste, donc sauf besoin impérieux, il est très nettement préférable de faire des requêtes ensemblistes que de traiter les lignes une à une.*
Quel est le besoin fonctionnel ?

[echap2000]

au fait, le but c'est de transférer toutes les données du fichier Excel dans le tableau SQL.
au lieu de travailler sur Excel avec des Vlookup, pivottable etc , j'aimerais tout transférer dans le tableau SQL et travailler en SQL .

Au moment de transfert, j'aimerais faire un select pour vérifier que l'info n'y figure pas, si oui, il passe à la ligne suivante, si non , il l'insert.

J'ai +- 80.000 lignes pour chaque mois. Donc au total pour une année complète j'aurai +- 1.000.000 de lignes

au total je sais faire +- 16000 requêtes . entre chaque 16.000 je dois attendre +- 1 minute environ.

Merci

[Séb.]

Regarde les logs système pour vérifier ce qui fait planter le serveur
Sur Linux ça peut être dans => /var/log/mysql

Au moment de transfert, j'aimerais faire un select pour vérifier que l'info n'y figure pas, si oui, il passe à la ligne suivante, si non , il l'insert.

Tu sembles avoir une clef primaire id.
Il suffit de faire directement le INSERT de la ligne complète.
Si l'ID est déjà en base le INSERT sera rejeté.

[echap2000]

j'ai remarqué que le problème vient de SELECT qui s'exécute 16000 fois d'affilés. Je pense que le serveur se met en mode protégé et me bloque une trentaine de secondes (en pensant que c'est un flood)

je n'ai pas résolu mon problème mais plutôt perfectionné ma requête

j'ai fusionné le insert avec le select :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
INSERT INTO mvt (vendeur, type, numero, date_document, jour, mois, annee, numero_client, nom_client, adresse_client, cp_client, ville_client, pays_client, numero_article, nom_article,code_article, marque_article, qte, unite, base, unite_base, poids, montant, remise_ligne, remise_facture, tva, adresse_facturation, cp_facturation, ville_facturation, pays_facturation, identification)  SELECT :vendeur, :type, :numero, :date_document, :jour, :mois, :annee, :numero_client, :nom_client, :adresse_client, :cp_client, :ville_client, :pays_client, :numero_article, :nom_article, :code_article, :marque_article, :qte, :unite, :base, :unite_base, :poids, :montant, :remise_ligne, :remise_facture, :tva, :adresse_facturation, :cp_facturation,  :ville_facturation, :pays_facturation, :identification FROM dual WHERE NOT EXISTS (SELECT 1 FROM mvt WHERE type = :type AND numero = :numero AND identification = :identification)

Et là aucun soucis : même 120.000 lignes en une fois ça passe.

[unanonyme]

https://dev.mysql.com/doc/refman/8.0/en/load-data.html ?

[echap2000]

merci pour l'info,

mon fichier de base est un xlsx

[pier.antoine]

Bonjour
Perso, quand j'ai besoin d'importer un fichier csv :
- j'importe le fichier csv dans une tableau basique (nombre de colonnes nécessaires)
- puis j'insère uniquement les lignes utiles de cette table dans la table cible, par un insert ignore into.

Certes je n'ai pas 80000 lignes, mais ça me paraît assez carré.

Pierre