IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Langage PHP Discussion :

Temps de traitement d'un csv [PHP 5.4]


Sujet :

Langage PHP

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Homme Profil pro
    Etudiant(IUT info)/Stagiaire
    Inscrit en
    Mai 2013
    Messages
    49
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Etudiant(IUT info)/Stagiaire

    Informations forums :
    Inscription : Mai 2013
    Messages : 49
    Par défaut Temps de traitement d'un csv
    Bonjour à toutes et à tous !

    Je suis en train de réaliser mon stage de fin d'étude d'iut info (pour le contexte).

    Je dois traiter un très gros csv (70col pour 150 000lig -- 190 000Ko environ) et inserer les champs qui m'interresse dans une BDD sql.
    J'ai déjà bidouiller le fichier php.ini pour accepter mon fichier et lui mettre un temps de traitement très long pour une execution.
    J'arrive à le faire, cependant, mon programme doit être à des années lumière de l'optimisation et j'arrive à plus de 8h de traitement pour une seule insertion dans une table. Celle-ci me permet de faire des test, après un simple "copier-coller" me permettra de remplir les autres tables.

    Je dois supprimer les doublons car sur toutes ces lignes, il y à peut-être 10 "types" différents. Ensuite, je suis obliger de supprimer les champs vides de ma table car, je ne comprend pas pourquoi, dans le tableau que "array_unique" me retransmet, il y à des cases vides lorsqu'il supprime les doublons.

    Voici mon code :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    58
    59
    60
    61
    62
    63
    64
    65
    66
    67
    68
    69
    70
    71
    72
    73
    74
    75
    76
    77
    78
    79
    80
    81
    82
    83
    84
    85
    86
    87
    88
    89
    90
    91
    92
    93
    94
    95
    96
    97
    98
    99
    100
    101
    102
    103
    104
    105
    106
    107
    108
    109
    110
    111
    112
    113
    114
    115
    116
    117
    118
    119
    120
    121
    122
    123
    124
    125
    126
    127
    128
    129
    130
    131
    132
    133
    134
    135
    136
    137
    <?php
    									 //////////////////////////////////////////////////////////////////
    									///INSERTION DES DONNEES DU FICHIER CSV DANS LA BASE DE DONNEES///
    								   ///SUIVRE LES COMMENTAIRES POUR VOIR CE QUE FAIT CHAQUE SECTION///
    								  //////////////////////////////////////////////////////////////////
     
    	include('entete.php');
    	include('connection.php');
     
    									 ////////////////////////////
    									///Traitement des données///
    								   ////////////////////////////
     
    	//Recupere le nom du fichier indiqué par l'utilisateur
    	$fichier=$_FILES["userfile"]["name"];
     
    	//Affichage des variables de contrôle
    	//Pour le codeur seulement, a supprimer pour la version finale
    	echo "Nom du fichier =".$fichier;
    	echo "<br />Files =".$_FILES["userfile"]["name"];
     
    		//Ouverture du fichier en lecture
    	if ($fichier)
    	{
    		//Ouverture du fichier temporaire, en lecture seule
    		//--> Attention à la taille, si nécessaire modifier le fichier php.ini (Cf manuel d'utilisation)
    		$fp = fopen ($_FILES["userfile"]["tmp_name"], "r");
     
    		//Suivi des différentes variables pour le codeur
    		//Pour le codeur seulement, a supprimer pour la version finale
    		echo "<br />Files n2 =".$_FILES["userfile"]["tmp_name"];
    		echo "<br /> fp = ".$fp;
    	}
    	//Fichier inconnu
    	else
    	{
    ?>
    		<p align="center" >- Importation échouée -</p>
    		<p align="center" ><B>Désolé, mais vous n'avez pas spécifié de chemin valide ...</B></p>
    <?php
    		exit();
    	}
    ?>
    	<p align="center">- Importation Réussie -</p>
     
    <?php
    									 ////////////////////////////
    									///Importation du fichier///
    								   ////////////////////////////
     
    	$c = 0;
    		while (!feof($fp))
    		{
    			$ligne = fgets($fp,1024);
     
    			//Création du tableau des élements séparés par des tabulations
    			$liste = explode("	",$ligne);
     
    			//Déclaration des tableaux contenant les doublons, déstinés ensuite à être supprimés.
    			$TypeDoublons = array(); 
     
    			//Boucle permettant de lire colonne par colonne le fichier à partir du fichier produit
    			for ($i=0; $i<63; $i++)
    			{
    				$liste[$i] = (isset($liste[$i])) ? $liste[$i] : Null;
     
    				//Permet d'éviter la casse avec les caracteres spéciaux dans le fichier fournis en paramètre
    				$search  = array('é','è','É') ;
    				$replace = array('e','e','E');
    				$liste2[$i] = str_replace($search, $replace, $liste[$i]);
    			}
     
    			// Stock les valeurs dans un tableau contenant des doublons
    			$typeDoublons[$c] = $liste2[27]; 
    			// Traite les cas non renseigné en les replaçants par un mot distinct et compréhensible.
    			if ($typeDoublons[$c] == '') 
    			{
    				$typeDoublons[$c] = 'VIDE';
    			}
    			 // Créer le tableau 'type' à partir de typeDoublons, en supprimant les doublons
    			$type = array_unique($typeDoublons);
     
     
    									 ///////////////////////////////////////////////////
    									///REQUETES D'INSERTIONS DANS LA BASE DE DONNEES///
    								   ///-----ATTENTION PREND ENORMEMENT DE TEMPS-----///
    								  ///////////////////////////////////////////////////
     
    			//TABLE CANDIDAT :
    			/*$QueryInsertCandidat = "	INSERT INTO candidat
    										VALUES(
    										'', 
    										'$liste2[3]',
    										'$liste2[8]',
    										'$liste2[10]',
    										'$liste2[23]',
    										'$liste2[28]',
    										'$liste2[4]',
    										'$liste2[5]',
    										'$liste2[6]',
    										'$liste2[56]',
    										'$liste2[2]'
    										)";
    			$resuCandidat = mysql_query($QueryInsertCandidat) or die (mysql_error()); */
     
    			$c++;
    		}
     
    		//TABLE TYPE
    		for($i=1;$i<$c;$i++)
    		{
    			$queryType = "	INSERT INTO type 
    							VALUES(
    							'', 
    							'$type[$i]'
    							)";
    			$resuType = mysql_query($queryType) or die (mysql_error());
     
    			//Supprime de la base les insertions des caractères vide du aux :
    			//'Notice: Undefined offset: 7 in XXX on line 75'
    			$delBlancType = "delete from type where nom_type = ' '";
    			$resuDelBlancType = mysql_query($delBlancType) or die(mysql_error());
    		}
     
    									 //////////////////////
    									///FIN DES REQUETES///
    								   //////////////////////
     
    	//Fermeture du fichier
    	fclose($fp); 
     
    	//Se deconnecter de la base
    	mysql_close($co);
    ?>
    <!--Balises de fermeture du document-->
    </body>
    </html>
    A savoir que le fichier m'est fourni à travers un formulaire.
    J'ai aussi essayé la fonction load_data_infile, cependant, même si le fichier est bien dans le bon dossier (vérifié avec la génération d'un erreur m'indiquant où est-ce qu'il cherche ce fichier) il me sort un joli : "fichier introuvable".

    J'espere vous avoir donné les informations qui peuvent vous aider pour m'éclairer sur la façon d'optimiser mon code.

    Je vous remercie du temps que vous pourrez m'accorder et des eventuelles pistes fournies !

    Cordialement

  2. #2
    Modérateur
    Avatar de grunk
    Homme Profil pro
    Lead dév - Architecte
    Inscrit en
    Août 2003
    Messages
    6 693
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Lead dév - Architecte
    Secteur : Industrie

    Informations forums :
    Inscription : Août 2003
    Messages : 6 693
    Par défaut
    Commence par essayer d'utiliser fgetcsv plutôt que de vouloir parser le fichier par toi même.

    Pour tes insertions mysql tu peux également essayer d'en faire une grosse plutôt que plusieurs petites

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    INSERT INTO TABLE (champs,champs) VALUES (x,x),(x,x),(x,x),(x,x)
    Note au passage que mysql_x est déprécié, il vaut mieux utiliser mysqli ou pdo
    Pry Framework php5 | N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

  3. #3
    Membre confirmé
    Homme Profil pro
    Etudiant(IUT info)/Stagiaire
    Inscrit en
    Mai 2013
    Messages
    49
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Etudiant(IUT info)/Stagiaire

    Informations forums :
    Inscription : Mai 2013
    Messages : 49
    Par défaut
    Je te remercie pour tes informations, je ne savais pas qu'on pouvait mettre une seule requête d'insertion de ce type. Du coup, il est possible que le temps de traitement n'augmentera pas trop pour les futurs ajouts dans mes tables.

    Je vais voir avec le fgetcsv(), si ca me permet de gagner du temps de traitement.

    Le problème est que si je change de mysql, il faut que j'apprenne les syntaxes qui vont avec, et pour un stage de trois mois je ne sais pas si je pourrais reprendre mes codes et les adapter tout en finissant tout le projet

    Si les temps de traitement sont considérablement réduit je fermerais cette discussion, sinon j'attendrais un peu pour d'autres pistes pour voir si je peux encore grapiller du temps ^^

    En te remerciant une fois de plus.

  4. #4
    Modérateur
    Avatar de grunk
    Homme Profil pro
    Lead dév - Architecte
    Inscrit en
    Août 2003
    Messages
    6 693
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Côte d'Or (Bourgogne)

    Informations professionnelles :
    Activité : Lead dév - Architecte
    Secteur : Industrie

    Informations forums :
    Inscription : Août 2003
    Messages : 6 693
    Par défaut
    Citation Envoyé par Byron_1 Voir le message
    Le problème est que si je change de mysql, il faut que j'apprenne les syntaxes qui vont avec, et pour un stage de trois mois je ne sais pas si je pourrais reprendre mes codes et les adapter tout en finissant tout le projet
    Pour mysqli suffit de rajouter un i , la syntaxe est identique à part ça
    Pry Framework php5 | N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Utilisation JProgressBar & temps de traitement incconu
    Par greg1602 dans le forum Composants
    Réponses: 22
    Dernier message: 30/11/2005, 20h52
  2. [Tableaux] Temps de traitement ... affichage de page
    Par mathieu77186 dans le forum Langage
    Réponses: 37
    Dernier message: 25/10/2005, 17h45
  3. [MySql] temps de traitement interminable
    Par LE NEINDRE dans le forum Requêtes
    Réponses: 8
    Dernier message: 08/07/2005, 15h14
  4. [Perf]Utilisation des Logger et temps de traitement ?
    Par elitost dans le forum Logging
    Réponses: 6
    Dernier message: 12/04/2005, 23h13
  5. optimisation de temps de traitement xml/xslt
    Par Erwy dans le forum XSL/XSLT/XPATH
    Réponses: 2
    Dernier message: 06/05/2004, 16h08

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo