importer un fichier texte dans une table de la base de données mysql

Version imprimable

Bonjour à tous ! je suis débutant en PHP et j'ai un problème dans ce langage qui est le suivant: dans mon projet donc je suis en train de coder en PHP, j'ai un fichier texte que je dois lire chaque ligne contenant 6 mots chacune, et stocker ces 6 mots respectivement dans 6 colonnes d'une table de ma Base de Données (MySQL). Ceci pour toutes les lignes (plus de 100000 lignes). Voici le détail:

(IM ME ES PU AK MD)
624030743830000 A100001D7DEE6D 80E5FA73 37312379 0E47EA7A6F444640 33830000
624030743830001 A100001D7DEE6E 80AE089F 91944192 F9052B04E3969977 33830001
624030743830002 A100001D7DEE6F 809A1A9F 29861661 4617481A74D864B5 33830002
624030743830003 A100001D7DEE70 80E68950 20303707 1C45F0418B552C45 33830003
624030743830004 A100001D7DEE71 80C275C6 70591541 EA26D0523114FFF2 33830004
624030743830005 A100001D7DEE72 80932253 44181182 1384BC94E9D33B9C 33830005
624030743830006 A100001D7DEE73 8035029C 38663053 1225153351556433 33830006
624030743830007 A100001D7DEE74 80CB3B71 64591576 3C96BB2772B43D85 33830007
624030743830008 A100001D7DEE75 800B3616 06726100 E33622230DA94ABF 33830008

voilà un extrait du contenu de mon fichier texte. Maitenant il faut que je le charge dans une table (nommée: coord) de ma BD (nommée: gestnu), structure de la table: colonne 1 -> IM, 2 -> ME, 3 -> ES, 4 -> PU, 5 -> AK, 6 -> MD

voici le premier code que j'ai essayé:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 <?php mysql_connect('localhost','root',''); mysql_select_db('gestnum'); //on vide la table coordab avant mysql_query("TRUNCATE TABLE coordab"); //On ouvre le fichier en question (en lecture seule) $handle = fopen("fichab.txt", "r"); //on parcours tout le fichier (en faisant croire qu'il s'agit d'un csv pour faciliter le traitement) while ($data = fgetcsv($handle, 1000, " ")) { //$data correspond à une ligne complete, nous n'avons plus qu'à l'exploser pour tout récupérer $explode = explode(' ',$data[0]); //Maintenant qu'on à tous, on l'insert en base mysql_query("INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) VALUES (".$explode[0].",".$explode[1].",".$explode[2].",".$explode[3].",".$explode[4].",".$explode[5].");") or die(mysql_error()); } //On ferme le fichier fclose($handle); ?>
Il m'affiche l'erreur suivante:

Notice: Undefined offset: 1 in C:\wamp\www\etudephp\chargerbd.php on line 20
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near ',,,)' at line 2

SVP aidez moi c'est mon tout premier projet php et je suis bloqué à cause de ce problème. Vraiment je ne connais pas.

Merci d'avance

tu as fait deux fois le découpage sur l'espace.
Tout simplement :

Code:

1
2
3
4
5
while ($data = fgetcsv($handle, 1000, " ")) {
 
mysql_query("INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) 
 	           VALUES ('".$data[0]."','".$data[1]."','".$data[2]."','".$data[3]."','".$data[4]."','".$data[5]."');") ;
}

ou encore plus simplement, plutôt que de découper ta ligne pour la recomposer :

Code:

1
2
3
4
5
 
while (($ligne = fgets($handle, 4096)) !== false) {
        mysql_query('INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) 
 	           VALUES ("'.str_replace(' ', '","', $ligne) . '")');
    }

importer un fichier texte dans une base de données mysql

Merci pour votre disponibilité ! voici le code que j'ai modifié:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
 
 
<?php
 
mysql_connect('localhost','root','');
mysql_select_db('gestnum');
 
//on vide la table coordab avant
mysql_query("TRUNCATE TABLE coordab");
 
//On ouvre le fichier en question (en lecture seule)
$handle = fopen("fichab.txt", "r");
 
//on parcours tout le fichier (en faisant croire qu'il s'agit d'un csv pour faciliter le traitement)
while ($data = fgetcsv($handle, 1000, ",")) {
 
//$data correspond à une ligne complete, nous n'avons plus qu'à l'exploser pour tout récupérer
	$explode = explode(' ',$data[0]);
 
//Maintenant qu'on à tous, on l'insert en base
mysql_query("INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) 
VALUES ('".$explode[0]."','".$explode[1]."','".$explode[2]."','".$explode[3]."','".$explode[4]."','".$explode[5]."');") or die(mysql_error());
 
    }
//On ferme le fichier
fclose($handle);
 
?>
 
Et j'obtient l'erreur suivante (elle se présente sous la forme de quatre tableaux): 
 
( ! ) Notice: Undefined offset: 2 in C:\wamp\www\etudephp\chargerbd.php on line 20
Call Stack
#	Time	Memory	Function	Location
1	0.0005	251256	{main}( )	..\chargerbd.php:0
 
( ! ) Notice: Undefined offset: 3 in C:\wamp\www\etudephp\chargerbd.php on line 20
Call Stack
#	Time	Memory	Function	Location
1	0.0005	251256	{main}( )	..\chargerbd.php:0
 
( ! ) Notice: Undefined offset: 4 in C:\wamp\www\etudephp\chargerbd.php on line 20
Call Stack
#	Time	Memory	Function	Location
1	0.0005	251256	{main}( )	..\chargerbd.php:0
 
( ! ) Notice: Undefined offset: 5 in C:\wamp\www\etudephp\chargerbd.php on line 20
Call Stack
#	Time	Memory	Function	Location
1	0.0005	251256	{main}( )	..\chargerbd.php:0

S'il vous plait aidez moi toujours, je ne connait vraiment pas.

13/02/2014, 13h58
Spartacusply

Tu fais toujours deux découpages, seulement maintenant c'est une fois avec "," et une autre fois avec l'espace.

Il n'y a pas de "," dans ton fichier ce qui fait que toute ta ligne se retrouve dans ton $data[0].

N'hésite pas à abuser du print_r($data) et print_r($explode) juste pour voir ce que donne les résultats des fonctions que tu utilises.

2 pièce(s) jointe(s)

importer un fichier texte dans une base de données mysql

Voici le code j'ai modifié comme vous m'avez dit:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<?php
 
mysql_connect('localhost','root','');
mysql_select_db('gestnum');
 
//on vide la table coordab avant
mysql_query("TRUNCATE TABLE coordab");
 
//On ouvre le fichier en question (en lecture seule)
$handle = fopen("fichab.txt", "r");
 
//on parcours tout le fichier (en faisant croire qu'il s'agit d'un csv pour faciliter le traitement)
while ($data = fgetcsv($handle, 1000, " ")) {
 
//$data correspond à une ligne complete, nous n'avons plus qu'à l'exploser pour tout récupérer
	$explode = explode(' ',$data[0]);
 
//Maintenant qu'on à tous, on l'insert en base
mysql_query("INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) 
VALUES ('".$explode[0]."','".$explode[1]."','".$explode[2]."','".$explode[3]."','".$explode[4]."','".$explode[5]."')") or die(mysql_error());
 
    }
//On ferme le fichier
fclose($handle);

Il rempli uniquement le premier champs IMSI avec ces valeurs exactes sur toutes les lignes jusqu'à la fin du fichier et les autres champs restent vides et une erreur s'affiche au navigateur. SVP jettez un coup d'oeil sur ces captures d'ecrans.

?>
Pièce jointe 138025

Pièce jointe 138026

importer un fichier texte dans la base de données mysql

J'ai mis la virgule à la ligne n° 17 mais ça n'affiche toujours rien. Que faire ?

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
<?php
 
set_time_limit(0);
error_reporting(E_ALL ^ E_NOTICE);
 
mysql_connect('localhost','root','');
mysql_select_db('gestnum');
 
//on vide la table coordab avant
mysql_query("TRUNCATE TABLE coordab");
 
//On ouvre le fichier en question (en lecture seule)
$handle = fopen("fichab.txt", "r");
 
//on parcours tout le fichier (en faisant croire qu'il s'agit d'un csv pour faciliter le traitement)
$i = 0;
        $queryBase = 'INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) VALUES, ';
        $query = $queryBase;
        while (($data = fgetcsv($handle, 0, " ")) !== FALSE) 
        {
 
            $query .= "('$data[0]', '$data[1]', '$data[2]', '$data[3]', '$data[4]', '$data[5]')";
            if ($i % 5000 == 0) 
            {
                // On enlève la dernière virgule
                $query = substr($query, 0, -1);
                mysql_query($query);
                $query = $queryBase;
            }
            $i++;
        }
        // Pour les derniers enregistrements
        if ($query != $queryBase) {
               $query = substr($query, 0, -1);
               mysql_query($query);
        }
 
 
 
?>

14/02/2014, 09h37
Spartacusply

C'est que ton traitement prends du temps, et par défaut php limite l'exécution d'un script à 30 secondes.

Pour enlever cette limitation

Code:

set_time_limit(0);

Avant de montrer une barre de progression, il y a déjà quelques améliorations à faire au niveau de ta requête pour qu'elle s'effectue bien plus rapidement.

En premier lieu, ne pas faire un insert à chaque ligne mais ne le faire que toutes 1000 voir même 5000 ou 10000 lignes.

L'idée c'est quelque chose comme ça :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
        $i = 0;
        $queryBase = 'INSERT INTO coordab (IMSI, MEID, ESN1, PUK1, AKY, MDN) VALUES ';
        $query = $queryBase;
        while (($data = fgetcsv($handle, 0, " ")) !== FALSE) {
 
            $query .= "('$data[0]', '$data[1]', '$data[2]', '$data[3]', '$data[4]', '$data[5]', '$data[6]'),";
            if ($i % 5000 == 0) {
                // On enlève la dernière virgule
                $query = substr($query, 0, -1);
                mysql_query($query);
                $query = $queryBase;
            }
            $i++;
        }
        // Pour les derniers enregistrements
        if ($query != $queryBase) {
               $query = substr($query, 0, -1);
               mysql_query($query);
        }

Tu devrais déjà gagner énormément en performance

15/02/2014, 01h30
Spartacusply

Il manque la virgule au bout de la ligne $query...