Script php d'importation dans MySQL limité à 80 secondes

Version imprimable

06/01/2011, 09h54
JulienDB44

Script php d'importation dans MySQL limité à 80 secondes

Bonjour,

Je dois importer un fichier texte de 17 Go dans une table de ma base de donnée MySQL.
J'utilise "wamp","phpMyadmin"...

Ce fichier est divisé en fichiers de 4 Mo et un script php utilisant l'instruction SQL "Load Data infile" effectue une boucle dans le répertoire où sont les fichiers.

La boucle fonctionne pour les deux premiers fichiers, mais au milieu du deuxième (après 80 secondes en général) des messages d'erreurs apparaissent : "MySQL Server has gone away" et "maximum_execution_time exceeded 60 secondes".
L'importation se finit tout de même pour le deuxième fichier et la boucle s'arrête avant le troisième.

J'ai donc fait des tests en changeant des paramètres dans le fichier "php.ini" :
- "max_execution_time = 300 ou 0 (temps infini)"
- "max_input_time = 300"
- "upload_max_filesize = 30M"
- "default_socket_timeout = 300"

Dans le fichier "httpd.conf" :
- "Timeout 300"

Et dans le fichier "config.inc.php" :
- "$cfg['ExecTimeLimit'] = 600;"

Rien n'y fait, toujours les mêmes messages d'erreurs...

Ce qui est bizarre, c'est que le script plante après 80 secondes et le message d'erreur spécifie "maximum_execution_time exceeded 60 secondes"...et je n'ai aucun paramètres réglé à 60 ou à 80 secondes...

Quelqu'un aurait-il une idée SVP ? Merci d'avance.
06/01/2011, 10h18
stealth35

je suppose que c'est un CSV ?
t'as accès a ton serveur mysql (fichier, conf...) ?
06/01/2011, 10h18
sabotage

Est-ce que tes modifications apparaissent bien dans ton phpinfo() ?
06/01/2011, 11h38
JulienDB44

Citation:

Envoyé par stealth35

je suppose que c'est un CSV ?
t'as accès a ton serveur mysql (fichier, conf...) ?

non c'est un .txt.
oui j'ai accès aux fichiers de config, je suis sous wamp en local pour l'instant.
06/01/2011, 11h43
JulienDB44

Citation:

Envoyé par sabotage

Est-ce que tes modifications apparaissent bien dans ton phpinfo() ?

Non, les modifications n'apparaissent pas dans "phpinfo.php".
06/01/2011, 11h45
sabotage

Est-ce que le php.ini que tu modifies est bien celui indiqué dans le phpinfo() ? As-tu redemarré le serveur ?
06/01/2011, 13h21
stealth35

Citation:

Envoyé par JulienDB44

non c'est un .txt.
oui j'ai accès aux fichiers de config, je suis sous wamp en local pour l'instant.

.txt c'est l'extension du fichier pas le format en lui meme, tu imports bien un CSV ?
06/01/2011, 14h10
JulienDB44

Citation:

Envoyé par sabotage

Est-ce que le php.ini que tu modifies est bien celui indiqué dans le phpinfo() ? As-tu redemarré le serveur ?

Non, je ne modifiais pas le bon php.ini...
Oui, je redémarrais bien le serveur après chaque modif.

J'ai fais les même modifs dans le bon php.ini...

Maintenant je n'ai plus de mêssages d'erreur mais le résultat est le même :

La boucle s'arrête après 80 secondes, l'importation du deuxième fichier se termine et celle du troisième ne commence pas.
06/01/2011, 15h22
JulienDB44

Citation:

Envoyé par stealth35

.txt c'est l'extension du fichier pas le format en lui meme, tu imports bien un CSV ?

C'est un fichier qui vient d'un export de SAS avec l'extension ".txt" et le séparateur "tab".

En SAS, pour l'export, tu as le choix entre:
- ".csv"/séparateur ";"
- ".txt"/séparateur "tab'

Mais cela change-t-il quelque chose ?
06/01/2011, 16h13
stealth35

Citation:

Envoyé par JulienDB44

C'est un fichier qui vient d'un export de SAS avec l'extension ".txt" et le séparateur "tab".

En SAS, pour l'export, tu as le choix entre:
- ".csv"/séparateur ";"
- ".txt"/séparateur "tab'

Mais cela change-t-il quelque chose ?

non c'est pareil dans les 2 cas c'est du CSV,
pour tu fait pas un mysqldump ? ou mysqlimport ?