Précédent   Forum des professionnels en informatique > PHP > PHP & SGBD > PHP & MySQL
PHP & MySQL Forum d'entraide sur les fonctions MySQL avec PHP. Avant de poster -> FAQ MySQL, Cours MySQL et Sources MySQL. Pour les questions concernant le moteur MySQL plutôt que les fonctions PHP, merci d'utiliser le forum MySQL.
Partagez cette discussion sur d'autres réseaux sociaux : Viadeo Twitter Google Facebook Digg Delicious MySpace Yahoo
Réponse Proposer ce sujet en actualité
 
Outils de la discussion
Publicité
'
Vieux 06/01/2011, 09h54   #1
Invité de passage
 
Inscription : janvier 2011
Messages : 13
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : janvier 2011
Messages : 13
Points : 1
Points : 1
Par défaut Script php d'importation dans MySQL limité à 80 secondes

Bonjour,

Je dois importer un fichier texte de 17 Go dans une table de ma base de donnée MySQL.
J'utilise "wamp","phpMyadmin"...

Ce fichier est divisé en fichiers de 4 Mo et un script php utilisant l'instruction SQL "Load Data infile" effectue une boucle dans le répertoire où sont les fichiers.

La boucle fonctionne pour les deux premiers fichiers, mais au milieu du deuxième (après 80 secondes en général) des messages d'erreurs apparaissent : "MySQL Server has gone away" et "maximum_execution_time exceeded 60 secondes".
L'importation se finit tout de même pour le deuxième fichier et la boucle s'arrête avant le troisième.

J'ai donc fait des tests en changeant des paramètres dans le fichier "php.ini" :
- "max_execution_time = 300 ou 0 (temps infini)"
- "max_input_time = 300"
- "upload_max_filesize = 30M"
- "default_socket_timeout = 300"

Dans le fichier "httpd.conf" :
- "Timeout 300"

Et dans le fichier "config.inc.php" :
- "$cfg['ExecTimeLimit'] = 600;"

Rien n'y fait, toujours les mêmes messages d'erreurs...

Ce qui est bizarre, c'est que le script plante après 80 secondes et le message d'erreur spécifie "maximum_execution_time exceeded 60 secondes"...et je n'ai aucun paramètres réglé à 60 ou à 80 secondes...

Quelqu'un aurait-il une idée SVP ? Merci d'avance.
JulienDB44 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 10h18   #2
Modérateur
 
Inscription : septembre 2010
Messages : 7 101
Détails du profil
Informations forums :
Inscription : septembre 2010
Messages : 7 101
Points : 8 466
Points : 8 466
je suppose que c'est un CSV ?
t'as accès a ton serveur mysql (fichier, conf...) ?
__________________
http://blog.stealth35.com/
stealth35 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 10h18   #3
Modérateur
 
Avatar de sabotage
 
Homme Vincent
Inscription : juillet 2005
Messages : 14 929
Détails du profil
Informations personnelles :
Nom : Homme Vincent

Informations forums :
Inscription : juillet 2005
Messages : 14 929
Points : 16 381
Points : 16 381
Est-ce que tes modifications apparaissent bien dans ton phpinfo() ?
sabotage est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 11h38   #4
Invité de passage
 
Inscription : janvier 2011
Messages : 13
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : janvier 2011
Messages : 13
Points : 1
Points : 1
Citation:
Envoyé par stealth35 Voir le message
je suppose que c'est un CSV ?
t'as accès a ton serveur mysql (fichier, conf...) ?
non c'est un .txt.
oui j'ai accès aux fichiers de config, je suis sous wamp en local pour l'instant.
JulienDB44 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 11h43   #5
Invité de passage
 
Inscription : janvier 2011
Messages : 13
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : janvier 2011
Messages : 13
Points : 1
Points : 1
Citation:
Envoyé par sabotage Voir le message
Est-ce que tes modifications apparaissent bien dans ton phpinfo() ?
Non, les modifications n'apparaissent pas dans "phpinfo.php".
JulienDB44 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 11h45   #6
Modérateur
 
Avatar de sabotage
 
Homme Vincent
Inscription : juillet 2005
Messages : 14 929
Détails du profil
Informations personnelles :
Nom : Homme Vincent

Informations forums :
Inscription : juillet 2005
Messages : 14 929
Points : 16 381
Points : 16 381
Est-ce que le php.ini que tu modifies est bien celui indiqué dans le phpinfo() ? As-tu redemarré le serveur ?
sabotage est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 13h21   #7
Modérateur
 
Inscription : septembre 2010
Messages : 7 101
Détails du profil
Informations forums :
Inscription : septembre 2010
Messages : 7 101
Points : 8 466
Points : 8 466
Citation:
Envoyé par JulienDB44 Voir le message
non c'est un .txt.
oui j'ai accès aux fichiers de config, je suis sous wamp en local pour l'instant.
.txt c'est l'extension du fichier pas le format en lui meme, tu imports bien un CSV ?
__________________
http://blog.stealth35.com/
stealth35 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 14h10   #8
Invité de passage
 
Inscription : janvier 2011
Messages : 13
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : janvier 2011
Messages : 13
Points : 1
Points : 1
Citation:
Envoyé par sabotage Voir le message
Est-ce que le php.ini que tu modifies est bien celui indiqué dans le phpinfo() ? As-tu redemarré le serveur ?
Non, je ne modifiais pas le bon php.ini...
Oui, je redémarrais bien le serveur après chaque modif.

J'ai fais les même modifs dans le bon php.ini...

Maintenant je n'ai plus de mêssages d'erreur mais le résultat est le même :

La boucle s'arrête après 80 secondes, l'importation du deuxième fichier se termine et celle du troisième ne commence pas.
JulienDB44 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 15h22   #9
Invité de passage
 
Inscription : janvier 2011
Messages : 13
Détails du profil
Informations personnelles :
Âge : 32

Informations forums :
Inscription : janvier 2011
Messages : 13
Points : 1
Points : 1
Citation:
Envoyé par stealth35 Voir le message
.txt c'est l'extension du fichier pas le format en lui meme, tu imports bien un CSV ?
C'est un fichier qui vient d'un export de SAS avec l'extension ".txt" et le séparateur "tab".

En SAS, pour l'export, tu as le choix entre:
- ".csv"/séparateur ";"
- ".txt"/séparateur "tab'

Mais cela change-t-il quelque chose ?
JulienDB44 est déconnecté   Envoyer un message privé Réponse avec citation 00
Vieux 06/01/2011, 16h13   #10
Modérateur
 
Inscription : septembre 2010
Messages : 7 101
Détails du profil
Informations forums :
Inscription : septembre 2010
Messages : 7 101
Points : 8 466
Points : 8 466
Citation:
Envoyé par JulienDB44 Voir le message
C'est un fichier qui vient d'un export de SAS avec l'extension ".txt" et le séparateur "tab".

En SAS, pour l'export, tu as le choix entre:
- ".csv"/séparateur ";"
- ".txt"/séparateur "tab'

Mais cela change-t-il quelque chose ?
non c'est pareil dans les 2 cas c'est du CSV,
pour tu fait pas un mysqldump ? ou mysqlimport ?
__________________
http://blog.stealth35.com/
stealth35 est déconnecté   Envoyer un message privé Réponse avec citation 00
Réponse Proposer ce sujet en actualité
Outils de la discussion



Fuseau horaire GMT +2. Il est actuellement 13h16.


 
 
 
 
Partenaires

Hébergement Web