Discussion :

[JulienDB44]

Bonjour,

Je dois importer un fichier texte de 17 Go dans une table de ma base de donnée MySQL.
J'utilise "wamp","phpMyadmin"...

Ce fichier est divisé en fichiers de 4 Mo et un script php utilisant l'instruction SQL "Load Data infile" effectue une boucle dans le répertoire où sont les fichiers.

La boucle fonctionne pour les deux premiers fichiers, mais au milieu du deuxième (après 80 secondes en général) des messages d'erreurs apparaissent : "MySQL Server has gone away" et "maximum_execution_time exceeded 60 secondes".
L'importation se finit tout de même pour le deuxième fichier et la boucle s'arrête avant le troisième.

J'ai donc fait des tests en changeant des paramètres dans le fichier "php.ini" :
- "max_execution_time = 300 ou 0 (temps infini)"
- "max_input_time = 300"
- "upload_max_filesize = 30M"
- "default_socket_timeout = 300"

Dans le fichier "httpd.conf" :
- "Timeout 300"

Et dans le fichier "config.inc.php" :
- "$cfg['ExecTimeLimit'] = 600;"

Rien n'y fait, toujours les mêmes messages d'erreurs...

Ce qui est bizarre, c'est que le script plante après 80 secondes et le message d'erreur spécifie "maximum_execution_time exceeded 60 secondes"...et je n'ai aucun paramètres réglé à 60 ou à 80 secondes...

Quelqu'un aurait-il une idée SVP ? Merci d'avance.

[stealth35]

je suppose que c'est un CSV ?
t'as accès a ton serveur mysql (fichier, conf...) ?

[sabotage]

Est-ce que tes modifications apparaissent bien dans ton phpinfo() ?

[JulienDB44]

je suppose que c'est un CSV ?
t'as accès a ton serveur mysql (fichier, conf...) ?

non c'est un .txt.
oui j'ai accès aux fichiers de config, je suis sous wamp en local pour l'instant.

[JulienDB44]

Est-ce que tes modifications apparaissent bien dans ton phpinfo() ?

Non, les modifications n'apparaissent pas dans "phpinfo.php".

[sabotage]

Est-ce que le php.ini que tu modifies est bien celui indiqué dans le phpinfo() ? As-tu redemarré le serveur ?

[stealth35]

non c'est un .txt.
oui j'ai accès aux fichiers de config, je suis sous wamp en local pour l'instant.

.txt c'est l'extension du fichier pas le format en lui meme, tu imports bien un CSV ?

[JulienDB44]

Est-ce que le php.ini que tu modifies est bien celui indiqué dans le phpinfo() ? As-tu redemarré le serveur ?

Non, je ne modifiais pas le bon php.ini...
Oui, je redémarrais bien le serveur après chaque modif.

J'ai fais les même modifs dans le bon php.ini...

Maintenant je n'ai plus de mêssages d'erreur mais le résultat est le même :

La boucle s'arrête après 80 secondes, l'importation du deuxième fichier se termine et celle du troisième ne commence pas.

[JulienDB44]

.txt c'est l'extension du fichier pas le format en lui meme, tu imports bien un CSV ?

C'est un fichier qui vient d'un export de SAS avec l'extension ".txt" et le séparateur "tab".

En SAS, pour l'export, tu as le choix entre:
- ".csv"/séparateur ";"
- ".txt"/séparateur "tab'

Mais cela change-t-il quelque chose ?

[stealth35]

C'est un fichier qui vient d'un export de SAS avec l'extension ".txt" et le séparateur "tab".

En SAS, pour l'export, tu as le choix entre:
- ".csv"/séparateur ";"
- ".txt"/séparateur "tab'

Mais cela change-t-il quelque chose ?

non c'est pareil dans les 2 cas c'est du CSV,
pour tu fait pas un mysqldump ? ou mysqlimport ?