Insertion par batch en php

**Jacobian** · 02/07/2011, 14h35

Bonjour tous le monde,
je cherche des retours d'experience concernant les batches PHP
voici mon probleme:
j'ai 300M de fichier sql chaque fichier contient des insertions dans 3 tables:
- country
- city
- region

pour cela, je veux optimiser mon programme suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
foreach ($sel_country as $id_country => $name_country){
	foreach ($country[$id_country]['part'] as $part_number => $part_country){
					//path to sql file
					$db_file = "/".$part_country.".sql";
					$f_sql = fopen($db_file,"r");
					while (!feof($f_sql)) {
						$strSQL = fgets($f_sql);           		
						//insert data
					          $model->executeQuery($strSQL))					
					}
					//close the file
					fclose($f_sql);
			}
		}

conteneu des fichiers:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
INSERT INTO  country (id, name, id_country) VALUES (1,'Afghanistan',0)
INSERT INTO  region (id, id_country, name) VALUES (1,1,'Velayat-e Badakhshan')
INSERT INTO  city (id, id_country, name, zip_code, region_code, id_region, lat, lon) VALUES (1,1,'Ab Gach','','',1,36.9833332,72.7000000)
.......

**estofilo** · 03/07/2011, 12h48

Si le SGBD supporte les transactions, c.a.d en gros si ce n'est pas mysql avec le moteur MyISAM, il faudrait grouper les INSERT dans une transaction. Une transaction par fichier SQL, par exemple, ça serait assez simple au vu du découpage.

Dans le cas contraire à chaque INSERT, le SGBD attend que les données soient bien physiquement sur disque avant de continuer, ce qui ralentit énormément.

**Jacobian** · 03/07/2011, 14h12

oui j'ai bien mySql avec le moteur myISam,
comment faire pour englober un fichier par transaction ?

**estofilo** · 03/07/2011, 14h37

Avec MyISAM ce n'est pas faisable ni nécessaire car ce moteur n'a pas de transaction.

Pour aller plus vite il aurait fallu que les données soient au format brut au lieu d'être déjà en insert SQL, et les importer avec la commande LOAD DATA ou le programme mysqlimport qui sont spécialement prévus pour l'import de données en masse.

Une autre option serait en principe de traiter plusieurs fichiers en parallèle, mais avec MyISAM ça risque de ne rien donner comme accélération puisque que lors d'un INSERT le moteur verrouille toute la table.

Bref, rien de positif :-(

**Jacobian** · 03/07/2011, 14h41

ok je vais changer en InnoDB,
est ce qu'il faut aussi changer le format des fichier insert ??

**estofilo** · 03/07/2011, 15h37

Les INSERTs ont l'air complètement standard, il ne devrait pas y avoir de problème avec.

En revanche j'ai oublié quelque chose précédemment: s'il y a des index sur les tables, il est bon pour le temps d'exécution de les supprimer, pour les recréer une fois que l'import est terminé.
Et c'est encore plus vrai pour une insertion en parallèle s'il y a des index uniques.