Discussion :

[oceanbigone]

Bonjour,

je ne suis pas sûr d'être au bon endroit, car je ne sais pas si PHP est bien adapté a ce que je veux faire.

Le principe est simple, insérer le contenu d'un fichier CSV dans une base de donnée. Mon script fonctionne très bien pour des fichiers inférieur à 1Mo. mais le problème et que je dois traiter un fichier de 100Mo.

J'ai poussé la limite de temps de PHP à 1h, mais au bout de ce temps, je n'ai parcouru que 6% de mon fichier.

Ma question est donc : comment optimser tout ca ? est-ce qu'il faut que j'utilise un autre langage.. si oui, lequel ?

Voici mon code:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
 
 
$sSqlInsert="";
$sNomTable="matable";
 
//vide la table
$sSql="DELETE FROM ".$sNomTable."";
mysql_query($sSql);
$fpHandle = fopen($sNomFichier, "r");	
while (($aData = fgetcsv($fpHandle, 1000, ";")) !== false) {		
	$nNbVal = count($aData);	
 
	if($aData[($nNbVal-1)]==""){				
		array_pop($aData);		
		$nNbVal = count($aData);
	}	
//insertion d'une nouvelle ligne
	$sSqlInsert.="INSERT into ".$sNomTable." VALUES('','".date("Y-m-d H:i:s")."','".date("Y-m-d H:i:s")."'";
	for ($i=0; $i <  $nNbVal; $i++) {
		$sSqlInsert.= ",'".addslashes($aData[$i])."'";
	}
	$sSqlInsert.=");";			
}
mysql_query($sSqlInsert);
fclose($fpHandle);

[Deepin]

Salut,
ce que tu peux faire c'est decouper ton fichier en plusieurs petits fichiers.
voici un exemple de solution:
http://blog.thinkphp.de/archives/131...thout-PHP.html
A++ et bon courage

[oceanbigone]

Salut,

merci pour ta réponse.

L'idée serait en fait d'etre plus rapide. Le détail que je n'ai pas précisé et que ce fichier va etre mis à jour tous les jours. Il faut donc que je traite l'ensemble de ces données le plus rapidement possible (fichier découper ou pas). Est-ce que découper le fichier me fera gagner du temps ?

Merci

[gerald2545]

il faut faire des tests mais si tu le découpes, tu peux du coup paralléliser ton traitement....donc au final tu devrais être gagnant

[oceanbigone]

Bien vu, je test ca et je vous tiens au courant.

Merci bocoup.

[oceanbigone]

Bon j'ai testé, je peux effectivement découpé mon fichier. Donc ca devrait être fesable comme ca.

Comment lancer plusieur script PHP en parallelle sans navigateur ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
traitementFichier("monfichier1");
traitementFichier("monfichier2");
traitementFichier("monfichier3");

Je pense qu'en fesant cela la fonction de la ligne 2 n'est pas exécutées tant que la fonction de la ligne 1 n'est pas terminé. Est-ce exacte ?

Merci d'avance

PS: Coment déplacer cette discussion qui n'est plus du tout a sa place (je n'ai finalement pas de problème avec la base de données)