Discussion :

[oceanbigone]

Bonjour,

je ne suis pas sûr d'être au bon endroit, car je ne sais pas si PHP est bien adapté a ce que je veux faire.

Le principe est simple, insérer le contenu d'un fichier CSV dans une base de donnée. Mon script fonctionne très bien pour des fichiers inférieur à 1Mo. mais le problème et que je dois traiter un fichier de 100Mo.

J'ai poussé la limite de temps de PHP à 1h, mais au bout de ce temps, je n'ai parcouru que 6% de mon fichier.

Ma question est donc : comment optimser tout ca ? est-ce qu'il faut que j'utilise un autre langage.. si oui, lequel ?

Voici mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
 
$sSqlInsert="";
$sNomTable="matable";
 
//vide la table
$sSql="DELETE FROM ".$sNomTable."";
mysql_query($sSql);
$fpHandle = fopen($sNomFichier, "r");	
while (($aData = fgetcsv($fpHandle, 1000, ";")) !== false) {		
	$nNbVal = count($aData);	
 
	if($aData[($nNbVal-1)]==""){				
		array_pop($aData);		
		$nNbVal = count($aData);
	}	
//insertion d'une nouvelle ligne
	$sSqlInsert.="INSERT into ".$sNomTable." VALUES('','".date("Y-m-d H:i:s")."','".date("Y-m-d H:i:s")."'";
	for ($i=0; $i <  $nNbVal; $i++) {
		$sSqlInsert.= ",'".addslashes($aData[$i])."'";
	}
	$sSqlInsert.=");";			
}
mysql_query($sSqlInsert);
fclose($fpHandle);

[Deepin]

Salut,
ce que tu peux faire c'est decouper ton fichier en plusieurs petits fichiers.
voici un exemple de solution:
http://blog.thinkphp.de/archives/131...thout-PHP.html
A++ et bon courage

[oceanbigone]

Salut,

merci pour ta réponse.

L'idée serait en fait d'etre plus rapide. Le détail que je n'ai pas précisé et que ce fichier va etre mis à jour tous les jours. Il faut donc que je traite l'ensemble de ces données le plus rapidement possible (fichier découper ou pas). Est-ce que découper le fichier me fera gagner du temps ?

Merci

[gerald2545]

il faut faire des tests mais si tu le découpes, tu peux du coup paralléliser ton traitement....donc au final tu devrais être gagnant

[oceanbigone]

Bien vu, je test ca et je vous tiens au courant.

Merci bocoup.

[oceanbigone]

Bon j'ai testé, je peux effectivement découpé mon fichier. Donc ca devrait être fesable comme ca.

Comment lancer plusieur script PHP en parallelle sans navigateur ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
traitementFichier("monfichier1");
traitementFichier("monfichier2");
traitementFichier("monfichier3");

Je pense qu'en fesant cela la fonction de la ligne 2 n'est pas exécutées tant que la fonction de la ligne 1 n'est pas terminé. Est-ce exacte ?

Merci d'avance

PS: Coment déplacer cette discussion qui n'est plus du tout a sa place (je n'ai finalement pas de problème avec la base de données)

[max44410]

je ne suis pas sur que tu vas gagner du temps en lancant plusieurs scripts en parallele. Je ne sais pas si apache peu exploiter le multi processeurs ou multithreading, je sais qu'il peut faire du loadbalancing mais a part ca ... bref pour resumer si tu n'as pas de serveur multi processeurs je ne pense pas que ca ira plus vite en lancant les scripts en parallele...

il faudrait peut etre se pencher sur le language PERL qui est très rapide, enfin plus rapide que PHP.

Voila c'etait juste mon point de vue.

Bonne chance...

[jeca]

Bonjour,

Essaies avec ça :
http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

C'est extrêmement rapide.

[max44410]

Bonjour,

Essaies avec ça :
http://dev.mysql.com/doc/refman/5.0/fr/load-data.html

C'est extrêmement rapide.

Ca m'a l'air sympa ca ...
par contre je crois que cette fonction n'existe qu'à partir de MySQL 5.0
A voir si tu as cette version...

[jeca]

Existe déjà dans la version que j'utilise : 4.1.9-max

[oceanbigone]

je vais regarder ca ... et continuer mes questions dans le forum Perl.

Merci

[julp]

Par rapport à votre code d'origine : la fonction mysql_query n'est pas prévue pour exécuter plus d'une requête. Ceci est clairement mentionné dans sa documentation. L'extension mysqli propose, elle, une fonction (ou méthode) à cette fin (mysqli_multi_query).