Importer une table de 69 000 lignes

Version imprimable

22/05/2015, 15h39
binco

Importer une table de 69 000 lignes

Bonjour

Je travaille en local
WAMPSERVER2.5

Impossible d'importer une table dans PHP MySQL:

Citation:

Fatal error: Maximum execution time of 360 seconds exceeded in C:\wamp\apps\phpmyadmin4.1.14\libraries\import.lib.php on line 849

Sous OpenOfficeCalc ma table fait 69 000 lignes et environ 50 colonnes

Pouvez vous m'aidez?
22/05/2015, 15h43
Kreepz

Bonjour,

Dans ton PHP.ini tu as la ligne:

Citation:

max_execution_time

Tente d'augmenter la valeur pour voir si l'importation fonctionne.
22/05/2015, 16h10
binco
1) Je décoche la case:

Code:

Permettre l'interruption de l'importation si la limite de temps configurée dans PHP est sur le point d'être atteinte. (Ceci pourrait aider à importer des fichiers volumineux, au détriment du respect des transactions.)

2) Modifications apportées au php.ini:
Code:

1 2 3 4 post_max_size: 400M upload_max_filesize=250M memory_limit=128M max_execution_time=1200
Ça ne marche pas

Citation:

( ! ) Fatal error: Maximum execution time of 360 seconds exceeded in C:\wamp\apps\phpmyadmin4.1.14\libraries\import.lib.php on line 772
Call Stack
# Time Memory Function Location
1 0.0260 391120 {main}( ) ..\import.php:0
2 1.5670 231561928 ImportOds->doImport( ) ..\import.php:523
3 310.7910 1048739752 PMA_analyzeTable( ) ..\ImportOds.class.php:377
4 359.9990 1048756872 PMA_detectType( ) ..\import.lib.php:849
22/05/2015, 17h46
valaendra

Bonjour,

Il faut redémarrer le serveur après la modification du php.ini.

Après cela, essaie un phpinfo pour voir si la valeur est bien celle attendue.
23/05/2015, 01h07
binco
Merci

La modif est bien prise en compte
```
Core:
Directive			Local Value		Master Value
max_execution_time	1200			1200
```
mais l'importation de la table (fichier ods de 20.9Mo) échoue:

Citation:

Fatal error: Maximum execution time of 360 seconds exceeded in C:\wamp\apps\phpmyadmin4.1.14\libraries\import.lib.php on line 849
Call Stack
# Time Memory Function Location
1 0.0210 391512 {main}( ) ..\import.php:0
2 1.5800 231564128 ImportOds->doImport( ) ..\import.php:523
3 359.9720 1048731080 PMA_analyzeTable( ) ..\ImportOds.class.php:377
23/05/2015, 15h34
binco

En découpant ma table l'importation fonctionne:

1) table1: j'ai d'abord importé les 4999 premières lignes + nom des champs
2) puis j'ai importé dans la table1 les enregistrements compris entre 5000 et 9999
...
c'est fastidieux

Quelqu'un a une astuce?

(max_execution_time augmenté à 12000)

En important la table entière j'ai le message d'erreur suivant:

Citation:

Fatal error: Maximum execution time of 360 seconds exceeded in C:\wamp\apps\phpmyadmin4.1.14\libraries\import.lib.php on line 849
Call Stack
# Time Memory Function Location
1 0.0020 391936 {main}( ) ..\import.php:0
2 0.4790 9596376 ImportCsv->doImport( ) ..\import.php:523
3 58.7880 716050312 PMA_analyzeTable( ) ..\ImportCsv.class.php:536
25/05/2015, 13h02
binco

C'est pas possible d'importer un fichier volumineux (ods, csv) dans phpmyadmin?
26/05/2015, 16h15
MaitrePylos

Tu as plusieurs solutions :

- d'abord on travaille avec les outils qui vont bien, PhpMyAdmin c'est bien, mais c'est limité.

Pour gérer tes db, normalement l'éditeur de ton moteur offre des outils.
Dans ton cas chez Oracle (MySQL donc), te permette de télécharger une suite qui vont gérer tout ça très bien.
Tu peux aussi le faire en ligne de commande.

Tu également utiliser un ETL tel que Talend Open Studio que te fera ça tip top.

A chaque produit ses outils.
26/05/2015, 20h33
binco
Merci pour votre aide

Importation en ligne de commande: pouvez vous m'aider à corriger la syntaxe sql?

Sous OpenOffice Calc enregistrement de mon fichier au format texte: 3_Economy_Growth.txt
- jeu de caractère: Unicode (UFT-8)
- séparateur de champ: ,
- séparateur de texte: "

Sous phpmyadmin:
dans la base "hct" j'ai crée la table "gdp_bis"
la structure de la table est crée (champs, type de variable) à l'identique de 3_Economy_Growth.txt
toutefois cette table est vide (pas d'enregistrements)
Question: est ce que je dois créer sous phpmyadmin la table qui va accueillir l'importation des données (enregistrements)?

Dans la console MySQL:
Code:

1 2 3 4 5 mysql -h localhost -u root LOAD DATA LOCAL INFILE '3_Economy_Growth.txt' INTO [gdp_bis] FIELDS TERMINATED BY ',' LINES TERMINATED BY 'AUTO';
Ça ne fonctionne pas:
erreur 1064 <42000> you have an error in your SQL syntax, check the manual that corresponds to your mysql server version for the right syntax to use near 'mysql -h localhost -u root
LOAD DATA LOCAL INFILE '3_Economy_Growth.txt'
INTO [' at line 1
27/05/2015, 17h55
binco

svp c'est ma première importation en ligne de commande (peu de documentation en français)
28/05/2015, 10h57
MaitrePylos

Petit tuto simple sur phpfrance.

Bonjour,

Merci pour le tuto
Il est intéressant mais on ne dit pas si il faut préalablement créer dans PhpMyAdmin la table qui va recevoir les données
Aussi j'ai essayé 2 méthodes mais ça ne marche pas
Ça m'énerve ......
Pouvez vous m'éclairer?

fichier base1.csv crée sous OpenOfficeCalc:

Code:

1
2
3
- jeu de caractère: Unicode (UFT-8)
- séparateur de champs: ;
- séparateur de texte: "

base1.csv ouvert dans bloc notes:

Code:

1
2
3
4
A;B;C
ab;55.236;452.36
abc;4785.256;0.2563
abcd;145236.28;4256987.856

1) méthode 1: je ne crée pas la structure de table1 dans PhpMyAdmin:
--------------------------------------------------------------------
Console MySQL:
--------------

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 29
Server version: 5.6.17 MySQL Community Server (GPL)
 
Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql> /*selectionner une base*/
mysql> use hct;
Database changed
mysql>
mysql> /*afficher les tables présentes dans cette base*/
mysql> show tables;
+-------------------+
| Tables_in_hct     |
+-------------------+
| table 7           |
| table 8           |
+-------------------+
2 rows in set (0.00 sec)
 
mysql>
mysql> /*importer le fichier base1.csv*/
mysql> LOAD DATA INFILE 'base1.csv'
    -> REPLACE
    -> INTO TABLE table1
    -> FIELDS
    -> TERMINATED BY ';'
    -> ENCLOSED BY '"'
    -> ESCAPED BY '\\'
    -> LINES
    -> STARTING BY ''
    -> TERMINATED BY '\n'
    -> (A, B, C);
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that
corresponds to your MySQL server version for the right syntax to use near '?base
1.csv?
REPLACE
INTO TABLE table1
FIELDS
TERMINATED BY ';'
ENCLOSED BY '"'
E' at line 1
mysql>

2) méthode 2: je crée préalablement la structure de table1 dans PhpMyAdmin
--------------------------------------------------------------------------
PhpMyAdmin:
-----------

Code:

1
2
3
4
	Nom	Type
1	A	varchar(10)
2	B	decimal(10,10)
3	C	decimal(10,10)

Console MySQL:
--------------

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
Enter password:
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 43
Server version: 5.6.17 MySQL Community Server (GPL)
 
Copyright (c) 2000, 2014, Oracle and/or its affiliates. All rights reserved.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql> /*selectionner une base*/
mysql> use hct;
Database changed
mysql>
mysql> /*afficher les tables présentes dans cette base*/
mysql> show tables;
+-------------------+
| Tables_in_hct     |
+-------------------+
| table1            |
| table 7           |
| table 8           |
+-------------------+
3 rows in set (0.00 sec)
 
mysql>
mysql> /*importer le fichier base1.csv*/
mysql> LOAD DATA INFILE 'base1.csv'
    -> REPLACE
    -> INTO TABLE table1
    -> FIELDS
    -> TERMINATED BY ';'
    -> ENCLOSED BY '"'
    -> ESCAPED BY '\\'
    -> LINES
    -> STARTING BY ''
    -> TERMINATED BY '\n'
    -> (A, B, C);
ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that
corresponds to your MySQL server version for the right syntax to use near '?base
1.csv?
REPLACE
INTO TABLE table1
FIELDS
TERMINATED BY ';'
ENCLOSED BY '"'
E' at line 1
mysql>

29/05/2015, 09h37
MaitrePylos

Alors oui, il faut créer la table avant!!!!
Ensuite c'est quoi pour des nom de table , même les noms de colonne c'est n'importe quoi.
Même en cas de test on fait les choses correctement.
Maintenant montre nous un exemple de ton fichier cvs
29/05/2015, 14h44
binco

1 pièce(s) jointe(s)

on ne peut pas joindre de .csv => je l'ai zippé:
Pièce jointe 179159

Remarque: à l'ouverture du fichier csv il faut décocher la virgule
Le séparateur de champ est: ";" point-virgule
29/05/2015, 15h12
MaitrePylos

Bon déjà, il faut virer la première ligne qui sert à rien.
Ensuite, tu as 15 informations et toi tu essayes d'en insérer 3

Soit déjà clair avec toi même sur ce que tu veux faire.

Bon alors, je suis parti de ton fichier.
J'ai créer une table avec 16 colonnes répartit comme suit :

1 id
4 varchar(255)
12 float

ensuite j'ai appliqué le script suivant (a toi de modifier) et ça roule.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 
<?php
 
$dsn = 'mysql:dbname=laTable;host=127.0.0.1';
$user = 'user';
$password = 'passwod';
 
try {
    $pdo = new PDO($dsn, $user, $password);
    $sql = 'INSERT INTO insert_csv (col1, col2, col3,col4,col5,col6,col7,col8,col9,col10,col11,col12,col13,col14,col15) VALUES (?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)';
     $stmt = $pdo->prepare($sql);
 
 
    $row = 1;
    if (($handle = fopen("test.csv", "r")) !== FALSE) {
        while (($data = fgetcsv($handle, 1000, ";")) !== FALSE) {
            if($row!=1) { //pour éviter la ligne avec les titres
 
                $stmt->execute($data);
                echo "<p> la ligne $row: est inséré <br/></p>\n";
            }
            $row++;
        }
        fclose($handle);
    }
 
} catch (PDOException $e) {
    echo 'Connexion échouée : ' . $e->getMessage();
}

03/06/2015, 20h43
binco

Merci MaitrePylos

J'ai opté pour le type de variable numérique DECIMAL(..., ...), avec FLOAT on a une perte de précision

Y a un souci au niveau des champs vides
Les champs "vides" dans le classeur OpenOfficeCalc sont transformés en "0" dans phpmyadmin
Y a t il un moyen d'attribuer la valeur "NULL" aux champs "vides"?

Cordialement

Code:

1
2
3
4
$num = count($data);
for ($c=0; $c < $num; $c++) {
	if (!empty($data[$c]) && trim($data[$c]) !== '') {$data[$c]=$data[$c];} else {$data[$c]=null;}
}