probleme de taille d'import de fichier dans une bdd mysql

[laetiheu]

Bonjour!!

J'aimerai savoir si quelqu'un a deja eu ce probleme (et si oui comment le resoudre...?)... Voila je dois importer à travers une interface php un fichier .txt qui fait au minimum plus de 200Mo et qui contient pres de 2 millions de lignes à inserer dans la table...

Mon script php fonctionne car je les tester avec des extraits de lignes de ce fichier .txt il me les insere comme il faut pas de probleme... Mais lorsque je veux importer mon fichier .txt en entier, il n'en veut pas - enfin il ne me met pas de message d'erreur mais il importe rien non plus
Et lorsque j'insere mon fichier directement sur ma bdd via phpmysadmin, il me met :

Vous avez probablement tenté de télécharger un fichier trop volumineux. Veuillez vous référer à la documentation pour des façons de contourner cette limite.

J'ai regarder la documentation, modifier 'upload_max_filesize', 'memory_limit' et 'post_max_size' dans php.ini, redemarrer mon serveur WAMP5...
Mais rien de plus lorsque je refais la meme manip il me remet le meme message d'erreur...

Je vous met mon code php d'import des fichiers .txt ainsi que mon fichier .sql où il y a mes creations de tables de la bdd...

import.php

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
 
<?php
 
switch($_POST['action']) {
  case "ajouter":  
  $serveur = "localhost";
  $user = "root";
  $pwd = "";
  $bdd = "testcartes";
 
	mysql_connect($serveur, $user, $pwd) OR die('Impossible de se connecter au serveur');
	mysql_select_db($bdd) OR die('Impossible de sélectionner la base de données');
 
	$fichier=$_FILES['fichier']['name'];
	move_uploaded_file($_FILES['fichier']['tmp_name'],"../cartes/test/".$fichier);
 
	$fp = fopen('../cartes/test/'.$fichier,'r'); //lecture du fichier
	while (!feof($fp)){ //ON parcourt toutes les lignes
		$ligne=fgets($fp); // lecture du contenu de la ligne
		$sqltest="INSERT INTO test (numero,carte) values ('$numero','$ligne')";
		$resql=mysql_query($sqltest);
	};
 
	$sql2=("select * from test");
	$resql2=mysql_query($sql2);
 
	IF(mysql_error()){
			print "Erreur dans la base de données : ".mysql_error();
			print "<br>Importation stoppée.";
			exit();
        } 
		echo "<font face=\"verdana\" size=2><center><br align=center><br><br>Importation terminée, avec succès.	<br><br><br><br><br><br><br><br>
			<a href = http://localhost/cartes/importTXTbdd.php align=center>Retour sur la page d'accueil d'import</a></center></font>"; 
 
	while($ligne=mysql_fetch_array($resql2)){
		$pac=substr($ligne['carte'],0,6);
		$carte=substr($ligne['carte'],6,3);
		$matricule=substr($ligne['carte'],9,8); 
		$infos=substr($ligne['carte'],17,69);
		$monetaire=substr($ligne['carte'],87,1);
		$jjdateTraitement=substr($ligne['carte'],95,2);
		$mmdateTraitement=substr($ligne['carte'],97,2);
		$aaaadateTraitement=substr($ligne['carte'],99,4);
		$jjdateSaisie=substr($ligne['carte'],104,2);
		$mmdateSaisie=substr($ligne['carte'],106,2);
		$aaaadateSaisie=substr($ligne['carte'],108,4);
		$jjdateEffet=substr($ligne['carte'],118,2);
		$mmdateEffet=substr($ligne['carte'],120,2);
		$aaaadateEffet=substr($ligne['carte'],122,4);
		$hhheureSaisie=substr($ligne['carte'],112,2);
		$mnheureSaisie=substr($ligne['carte'],114,2);
		$ssheureSaisie=substr($ligne['carte'],116,2);
		$tt=substr($ligne['carte'],126,2);
 
		$result=mysql_query("INSERT INTO carte (numero,pac,carte,matricule,infos,monetaire,jjdateTraitement,mmdateTraitement,aaaadateTraitement,jjdateSaisie,mmdateSaisie,aaaadateSaisie,jjdateEffet,mmdateEffet,aaaadateEffet,hhheureSaisie,mnheureSaisie,ssheureSaisie,tt) VALUES('$numero','$pac','$carte','$matricule','$infos','$monetaire','$jjdateTraitement','$mmdateTraitement','$aaaadateTraitement','$jjdateSaisie','$mmdateSaisie','$aaaadateSaisie','$jjdateEffet','$mmdateEffet','$aaaadateEffet','$hhheureSaisie','$mnheureSaisie','$ssheureSaisie','$tt')"); 
		};
 
	fclose($fp);
 
	$req6="Truncate table test";
	$resultat6 =  mysql_query($req6);
 
	mysql_close();
	break;
	DEFAULT: 
?>
 
<html>
<body>
<font face="verdana">
<form name='form' method='post' action='' enctype='multipart/form-data'>
    <TABLE border='0' cellspacing='0' cellpadding='3' align="center">
    <tr>
    <td><font face="verdana" size=2><center>Fichier .txt à charger dans la base de donnée :</td> 
    <td> <input type="file" name="fichier"></center></font> </td> 
    </tr><br><br>
    <tr>
    <td></td>  
    <td> <input type="submit" name="submit" value="Charger"> </td> 
    </tr>
	<tr><td>
    <input type="hidden" name="action" value="ajouter"> </td></tr>
 	<p></p><font face="verdana" size=2><center>
	<a href = 'http://localhost/cartes/Accueil.php' align=center>Retour sur la page d'accueil</a> </center></font>  </table>
 
</form> 
</font>
</body> 
</html>
<?php } ?>

contact.sql

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
 
CREATE TABLE carte (
  numero int(100) NOT NULL AUTO_INCREMENT,
  pac varchar(10),   
  carte varchar(3),
  matricule varchar(8),
  infos varchar(40),
  monetaire varchar(1),
  jjdateTraitement varchar(2),
  mmdateTraitement varchar(2),
  aaaadateTraitement varchar(4),
  jjdateSaisie varchar(2),
  mmdateSaisie varchar(2),
  aaaadateSaisie varchar(4),
  jjdateEffet varchar(2),
  mmdateEffet varchar(2),
  aaaadateEffet varchar(4),
  hhheureSaisie varchar(2),
  mnheureSaisie varchar(2),
  ssheureSaisie varchar(2),
  orig varchar(1),
  TT varchar(2),
  PRIMARY KEY  (numero),
    KEY numero (numero))
  TYPE=MyISAM;
 
  CREATE TABLE test (
  numero int(100) NOT NULL AUTO_INCREMENT,
  carte varchar(130),
  PRIMARY KEY  (numero),
    KEY numero (numero))
  TYPE=MyISAM;

Merci d'avance pour vos reponses

Laeti

[Hay26]

Salut,

utilise bigdump tu peut le prendre ici ==>http://www.ozerov.de/pphlogger/dlcou...de/bigdump.zip

c'est un script tout pret

@@++

Hay

[laetiheu]

Bonjour!!

J'ai testé le script qu'il y a sur le lien, et apres avoir fait les modifications necessaire concernant la bdd, je lance le script, et il me met comme erreur :

You may only upload .sql .gz or .csv files.

Et mon fichier est un .txt (je ne peux pas le passer en .csv par ex car impossible de l'ouvrir avec excel - pas assez de mémoire sur le poste sur lequel je travaille )

Donc je suis à nouveau bloqué, je ne sais pas comment faire pour modifier ces limites et donc importer mon (tres gros) fichier .txt

Merci de votre aide

Laeti

[Hay26]

Salut,

si tu a un acces ssh je te conseille de l'utiliser avec la commande elle te permetra d'importer ton backup dans ta base de donné

Code :

mysql -h host -u user -ppass base_de_donnees < fichier_dump

si tu na pas acces ssh, tu copie colle ton backup dans un autre endroit et tu

modifie son extension en .sql et ensuite tu peut le remetre a son

emplacement et utiliser big dump

Bonne Chance

@@++

Hay

[laetiheu]

Bonjour!

J'ai essayé en faisant les modifs mais ca fonctionne toujour pas, il me met maintenant comme erreur :

At this place the current query includes more than 300 dump lines. That can happen if your dump file was created by some tool which doesn't place a semicolon followed by a linebreak at the end of each query, or if your dump contains extended inserts. Please read the BigDump FAQs for more infos.

Je (re)precise que mon fichier .txt (passé en .sql) fais pres de 2 millions de lignes à inserer...

[overider]

salut

désolé de te contredire Hay26 mais
ceci

mysql -h host -u user -ppass base_de_donnees < fichier_dump

ne risque pas de marcher. Cette commande attends un fichier de requete.

Pour votre problème laetiheu, je vous conseille de splitter le fichier par 100000 lignes.

Code :

split -l 100000 nom_fichier_txt

. sous linux je précise
cela va générer 20 fichiers bien distinct plus facile à l'importation.

puis ensuite de tester la commande load data.

Pourriez-vous donner un exemple de ligne contenu dans le fichier.

[laetiheu]

Bonjour!!

Merci pour vos reponses...

Je ne suis malheureusement pas sous linux mais sous XP avec un seur WAMP5 (test en local pour le moment puis sur serveur par la suite)...

Je ne pourrai donc pas executer la commande sous linux pour splitter mon fichier...

De plus, ce genre de fichier arrivera tous les mois, il doit etre inserer dans la base de donnée de maniere 'automatique' sans que l'utilisateur final n'aille dans mysql via phpmyadmin, donc à travers une interface php...

Voici un exemple de ligne de mon fichier, toutes les lignes ont la meme structure (128 caracteres) :

19003730901203383 MW566 200 E 00102005 1310200516112401102005TT
19003730901203383 MW566 200 E -00082006 0408200616101301082006TT
19003730901203383 MX511 2 E 00102005 13102005161124 TT

Si quelqu'un aurait une reponse à mon probleme, cela est assez urgent et me bloque dans l'avancé de mon projet professionnel...

Merci d'avance, bonne journée

Laeti

[berceker united]

J'ai eu ce genre de problème mais avec des fichiers qui se calcule en giga :/ .

Si tu es sous mysql 4 tu peux prendre directement les fichiers de la base de données et le placer sur le serveur. C'est dans le répertoire data de mysql, tu copie colles et hop !... Tu peux te faire un petit vb qui copie d'un répertoire à un autre assez facilement si tu es sous windows dans le cas ou les deux serveurs communique au moin en reseau.

Maintenant, je ne sais pas si tu maitrises la génération du fichier sql. Si c'est le cas tu peux générer le fichier de telle sorte que tu peux faire des enregistrements de plusieurs lignes dans une seul commande.

Code :

INSERT INTO matable (teschamps) VALUES (tesvaleurs ligne 1)  (tesvaleurs ligne 3) (tesvaleurs ligne 3)

Si je me trompe pas sur la syntaxe exacte. Donc par opération tu fais décide de mettre x lignes. Ceci à l'avantage d'être un peut plus rapide.
Si tu ne maitrise pas la génération de requête il y a des grandes chance que ça soit 1 enregistrement = 1 requête insert.
Bref dans les deux cas, il faut que tu split tes requêtes insert pour qu'il se retrouve dans un table php. En gros

Code :

1
2
3
4
5
6
7
 
$arr[0] = "insert into ..."
$arr[1] = "insert into ...";
$arr[2] = "insert into ...";
$arr[3] = "insert into ...";
$arr[4] = "insert into ...";
...

Tu merges ton tableau entre 0 & 50 par exemple avec comme caractères séparateurs le point virgule et tu fais un query dessus. Tu fais la même opération entre le 51 et le 100 ainsi de suite. Par contre, quand tu boucles tu places un unsleep car ça va soulager le processeur sinon mysql va prendre à lui seul tout le cpu. Les microcoupures te permet de gagner plus de temps que si tu peux le penser.
Autre conseille c'est de mettre d'abord toutes les opérations de création de table en premier.

[laetiheu]

Merci de ta réponse...

Depuis mon dernier post j'ai fais un peu d'evolution dans le projet : j'ai réussi à faire le découpage de mon gros fichier .txt en plusieurs petit qui font 2Mo chacun (donc importable dans ma table mysql)... Maintenant j'ai le probleme suivant : est-il possible d'envoyer un dossier zip, qu'il y ait ensuite un traitement derriere afin que je puisse inserer dans ma table mes données de tous les fichiers...ou au moins de pouvoir reunir tous les fichiers en une fois et de faire une boucle quelque prt pour que chaque fichiers soient pris en compte du premier au dernier... mais je ne vois pas trop comment faire...

Parce que le truc c'est qu'au final ce n'est pas moi qui utilisera mon projet mais un utilisateur lambda qui n'y connait rien et faut que je lui simplifie au maximum la tache...

Laeti

PS : Je suis sous un serveur WAMP5 en local pour le moment...

[berceker united]

PHP gère les fichiers compressé, le zip. Donc tu peux lire dans un zip et faire l'opération pour chaque fichier.

[laetiheu]

Ok je vais essayer de trouver ca et de tester...

Merci encore!

laeti

[laetiheu]

Bon me revoila... Je viens de tester un peu tout ce que j'ai pu trouver concernant les zip en php mais ca marche pas...

Donc est ce que quelqu'un aurait une idée sur comment résoudre mon probleme de fichier (soit avec le gros fichier .txt de plus de 200Mo et de pres de 2 millions de lignes) ou avec pleins de petits fichiers de 2Mo à importer dans table mysql...

Merci

laeti

[berceker united]

Tu peux lire dans chaque fichier. Quand il est traité tu le supprime du répertoire et tu passes à la suite. L'ordre d'execution n'a pas trop d'importance car apparement tu utilises le moteur MyISAM.
Si tu traites le nom du fichier par ordre alphanumérique tu seras là ou ça s'est arrêté.
Si la fonction zip n'a pas fonctionné c'est peut être que l'extension n'est pas installé.

[laetiheu]

bonjour à tous!

Envoyé par berceker united

Si la fonction zip n'a pas fonctionné c'est peut être que l'extension n'est pas installé.

Alors j'ai beau modifier le php.ini, télécharger des librairies et les mettre la ou il faut, installer les extensions, lorque je teste un exemple pour extraire un .zip, il ne me reconnait pas la fonction...

Envoyé par berceker united

L'ordre d'execution n'a pas trop d'importance car apparement tu utilises le moteur MyISAM.

effectivement l'ordre d'execution n'a pas d'importance

Envoyé par berceker united

Tu peux lire dans chaque fichier. Quand il est traité tu le supprime du répertoire et tu passes à la suite.

Et je pensais faire comme ca mais tant que je n'arriverai pas à importer tous mes fichiers dans un repertoire du serveur via php, je n'arriverai pas à lire chaque fichier un par un et faire mon traitement derriere...

petite question : une fois que j'aurai mes fichiers dans un répertoire connu sur le serveur, c'est possible de faire une boucle afin qu'il lise chaque fichier et me fasse le traitement voulu d'import dans ma bdd? et du coup est ce qu'il faut modifier (donc augmenter) les temps d'upload dans le php.ini si il y a beaucoup de fichiers .txt de 2Mo chacun à importer (ou alors pour chaque fichier ca sera 30s - par defaut )?

Merci pour vos réponses

laeti

[berceker united]

Tu peux faire en sorte que le fichier puisse être quelque part en FTP. Depuis php tu importes chaque fichier. Et oui, tu peux boucler sur chaque fichier présent dans le répertoire et faire le même traitement pour chacun. Le faite que tu utilises le moteur MyISAM facilite cette opération.

[laetiheu]

Bon mon projet avance un peu j'arrive maintenant à dezipper un fichier dans un répertoire de mon serveur.... Me reste plus qu'à boucler sur ce répertoire pour chaque fichier et faire mon insertion dans ma base de donnée pour chaque fichier...

[berceker united]

Ben le plus dure est passé alors

[laetiheu]

Oui j'espere...enfin bon on verra bien si je repost ici c'est que je suis à nouveu bloqué

merci encore pour l'aide!

laeti