Problème d'import vers mysql

Version imprimable

15/03/2008, 10h54
maestro1303

Problème d'import vers mysql
Bonjour à tous,

J'ai hérité de fichiers très volumineux ayant tous le même format qui suit:
Code:

1 2 ,33AA58,656565432,768543,87698,434.000000,9765.733333,HGUT ,987654BB,54532111,787543,6565476,55.000000,1.770000,MUGT
Je dispose d'easyphp2.01b sur mon serveur local et bien que je sache que ce n'est pas recommandé pour un environnement de production, je m'en serts pour résoudre quelques problèmes ponctuels dans mmon boulot.

L'import marche mais pas comme je le veux car dans la première colonne j'ai toujours un vide et toute les autres sont décalées jusqu'à la dernière qui est tout simplement omise:
voilà la commande que j'utilise en mode commande:

Code:

LOAD DATA LOCAL INFILE "d:\premier.txt" INTO TABLE mintec.table1 FIELDS TERMINATED BY "," LINES TERMINATED BY "\r";

Je ne sais pas si c'est dû à la virgule en première colonne et le cas échéant comment remédier à cette situation.

Merci infiniment.

Bonjour,

Oui, ton problème vient de là : la première virgule.
Pour contourner ce problème, essaie comme ça :
Code:

1 2 3 4 LOAD DATA LOCAL INFILE 'd:\premier.txt' INTO TABLE mintec.table1 FIELDS TERMINATED BY ',' LINES STARTING BY ',' TERMINATED BY '\r';

16/03/2008, 00h23
maestro1303

Merci infiniment.

ça a l'air de très bien marché.

tous mes remerciements d'avance.
18/03/2008, 16h54
maestro1303
Bonjour Ced, bonjour tout le monde
J'ai encore un petit souci,
quand j'ouvre ma table dans phpmyadmin je trouve que le dernier champ a disparu et que j'ai un champ qui n'existe pas dans ma table et c'est pareil pour tous les enregistrements:
1. le dernier enregistrement disparait
2. il y a un "0" intrus dans le 5ème champ.
Je donne ci dessous ce que j'ai dans phpmyadmin:

Code:

6A8271 002176595 200101 0400 0 39 4.67

je donne ci dessous ce qui est dans mon fichier csv:

Code:

,6A8271, 002176595, 200101 ,0400, 39 4.67,NHUT

Si le problème vient du format de ma table je vous donne la structure respective des champs:
Code:

1 2 3 4 5 6 7 varchar(10) varchar(16) varchar(8) varchar(8) float float varchar(20)
Merci de votre aide
19/03/2008, 09h35
ced

Il manque une virgule dans le fichier CSV sur la ligne, entre 39 et 4.67. Ca ne peut pas venir de ça ?

ced
19/03/2008, 12h52
maestro1303

bonjour ced,

tout à fait il manque une virgule dans mon poste précédent. mais pas dans ce que j'ai importé dans la table, le problème demeure donc inchangé.

J'ai essayé des parades du genre
field starting by "," mais ça m'a sorti des erreurs de syntaxe.

Merci de bien vouloir m'aidez comme vous l'avez si bien fait par le passé.
19/03/2008, 14h15
ced

Bon, il faut quelques petites informations supplémentaires, pour bien comprendre le problème.
Quel est le format exact des données (avec toutes les virgules ;)) ?
Qu'obtiens-tu après import ?
Qu'aurais-tu souhaité obtenir à la place ?
Enfin, est-ce que ça pose problème à toutes les lignes ?

ced
19/03/2008, 15h28
maestro1303

Merci ced de poser le problème comme ça:

voilà le nombre de colonnes dans le fichier import. ces champs doivent se retrouver de la même manière dans la table de la base de données mintec

Code:

col1 col2 col3 col4 col5 col6 col7

le format que j'ai choisi pour ces colonnes(mauvais choix peut être) est le suivant:

Code:

varchar(10) varchar(16) varchar(8) varchar(8) float float varchar(20)

voilà un exemple de ce qui se trouve dans le fichier csv d'import

Code:

,6A8271, 002176595, 200101 ,0400, 39, 4.67,NHUT

voilà ce qu'on obtient après import:

Code:

6A8271 002176595 200101 0400 0 39 4.67

Remarquez bien le 0 (intrus) dans la ciquième colonne et aussi la disparition de la colonne 7. On ne retrouve plus NHUT comme valeur de la 7 ème colonne mais 4.67 qui aurait dû être en 6ème position et non en 7ème conformément au fichier csv d'origine

Les 0 à la 5ème colonne se repètent à tous les enregistrements(lignes) de la table. L'omission de la 7ème colonne se repércute également à toutes les lignes.
Voilà ce qu'on aurait souhaité obtenir

Code:

6A8271 002176595 200101 0400 39 4.67 NHUT

Merci infiniment
19/03/2008, 15h57
ced

En MySQL 5.0.41, je n'arrive pas à reproduire le problème. L'import se passe correctement :(.
Toutefois, il y a des espaces au début et à la fin de certains champs. Ca peut venir de là. Mais c'est dur de donner une solution sans réussir à reproduire le problème...

ced

je suis en mysql 5.0.27

Voilà un exemple qui se rapproche beaucoup plus de la réalité de mes données:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
,Q9428273,KR111765945855,19990801,00134400,37.000000,48.316661,XCHG
,Q1607897,DR23151975480,19990801,00115300,25.000000,23.333333,MCHG
,Q1607897,DR23151975480,19990801,00132700,8.000000,0.933333,MCHG
,Q1439795,SR111777975495,19990801,00103400,16.000000,17.866661,XCHG
,Q9089449,SR111772460232,19990801,00111600,10.000000,18.166661,XCHG
,Q1580601,HR111775753470,19990801,00102700,88.000000,90.450000,MCHG
,Q9498433,KR111774100607,19990801,00113700,103.000000,115.016661,XCHG
,Q9913812,SR111775558221,19990801,00102500,216.000000,248.200000,MCHG
,Q9983488,SR111773647025,19990801,00133100,23.000000,25.683333,MCHG
,Q1452401,HR111774231027,19990801,00115500,148.000000,157.450000,MCHG
,Q1439146,SR111774014819,19990801,00140600,2.000000,2.233333,MCHG
,Q9811623,KR111773507913,19990801,00081700,216.000000,248.200000,MCHG
,Q1735569,SR111773171744,19990801,00105700,168.000000,187.600000,MCHG
,Q1593484,SR111776181691,19990801,00140000,16.000000,17.866661,XCHG
,Q9019771,HR111774378604,19990801,00110800,192.000000,214.400000,MCHG
,Q9762625,SR111338368110,19990801,00100400,210.000000,178.500000,MCHG
,Q9428273,KR111765945855,19990801,00155000,17.000000,18.983333,MCHG
,Q9432855,NR111763455282,19990801,00235300,22.000000,24.566661,XCHG
,Q9428273,KR111765945855,19990801,00281000,15.000000,16.750000,MCHG
,Q1683906,SR111763394160,19990801,00302100,2.000000,2.233333,MCHG
,Q1683906,SR111763394160,19990801,00300400,2.000000,2.233333,MCHG
,Q1683906,SR111763394160,19990801,00301300,2.000000,2.233333,MCHG
,Q9428273,KR111765945855,19990801,00144100,18.000000,20.100000,MCHG
,Q9428273,KR111765945855,19990801,00151600,15.000000,16.750000,MCHG
,Q1701033,KR111765984999,19990801,00141600,179.000000,199.883333,MCHG
,Q9076775,NR111763828818,19990801,00124300,315.000000,358.750000,MCHG
,Q1775185,NR111764837514,19990801,00205700,24.000000,26.800000,MCHG
,Q9428273,KR111765945855,19990801,00263000,27.000000,30.150000,MCHG
,Q9428273,KR111765945855,19990801,00273800,14.000000,15.633333,MCHG
,Q9900718,SR111763981140,19990801,00271800,55.000000,68.416661,XCHG
,Q9428273,KR111765945855,19990801,00284300,14.000000,15.633333,MCHG
,Q1683906,SR111763394160,19990801,00294400,4.000000,4.466661,XCHG
,Q1735225,NR111764890186,19990801,00275900,109.000000,128.716661,XCHG
,Q1683906,SR111763394160,19990801,00295500,3.000000,3.350000,MCHG
,Q9063446,SR111763991117,19990801,00314000,3.000000,3.350000,MCHG
,Q1690357,DR23151259133,19990801,00262200,5.000000,4.666661,XCHG
,Q4430477,002209991648,19990801,00151800,48.000000,53.983333,MCHG
,Q9434107,0021622999296,19990801,00153800,235.000000,285.916661,XCHG
,Q9999700,0022676695481,19990801,00264200,13.000000,12.133333,MCHG
,Q9999700,0022676695481,19990801,00234300,16.000000,14.933333,MCHG
,Q9778311,HR111773150354,19990801,00142400,63.000000,70.350000,MCHG
,Q9549535,NR111776752940,19990801,00160800,4.000000,4.466661,XCHG
,Q9549535,NR111776752940,19990801,00165300,5.000000,5.583333,MCHG
,Q9476665,NR111772186438,19990801,00175000,48.000000,45.783333,MCHG
,Q9426805,NR111775280949,19990801,00183100,3.000000,3.350000,MCHG
,Q9060504,SR111777143005,19990801,00174200,148.000000,157.450000,MCHG
,Q9967412,SR111776567387,19990801,00202300,7.000000,7.816661,XCHG
,Q9451285,SR111772743595,19990801,00212200,2.000000,2.233333,MCHG
,Q9009976,SR111776086355,19990801,00185900,118.000000,123.950000,MCHG
,Q1585312,SR111773553658,19990801,00225200,28.000000,23.450000,MCHG
,Q9045056,SR111777075573,19990801,00224700,38.000000,42.433333,MCHG
,Q1593484,SR111776181691,19990801,00231200,13.000000,14.516661,XCHG
,Q1593484,SR111776181691,19990801,00234100,8.000000,8.116661,XCHG
,Q9045056,SR111777075573,19990801,00242400,18.000000,20.100000,MCHG
,Q9054895,NR111775566494,19990801,00250600,7.000000,7.816661,XCHG
,Q9802250,SR111776449107,19990801,00252500,62.000000,69.233333,MCHG
,Q1688186,SR111772461211,19990801,00255500,78.000000,79.283333,MCHG
,Q4403970,SR111775415780,19990801,00270700,40.000000,44.666661,XCHG
,Q1776955,NR111775065263,19990801,00280400,10.000000,18.166661,XCHG
,Q1616041,HR111772740132,19990801,00294300,42.000000,46.900000,MCHG
,Q9905928,SR111775012368,19990801,00245600,307.000000,342.816661,XCHG
,Q9733831,HR111776339478,19990801,00302500,43.000000,48.016661,XCHG
,Q1760725,SR111773154176,19990801,00304100,45.000000,50.250000,MCHG
,Q1756882,SR111777074256,19990801,00313000,12.000000,13.400000,MCHG
,Q9748272,SR111773613874,19990801,00284900,192.000000,214.400000,MCHG
,Q9440801,HR111776394855,19990801,00321300,2.000000,2.233333,MCHG
,Q1452940,SR111772073449,19990801,00322300,7.000000,7.816661,XCHG
,Q1403688,SR111773031187,19990801,00314500,76.000000,84.866661,XCHG
,Q1439795,SR111777975495,19990801,00115200,168.000000,179.783333,MCHG
,Q9439784,SR111775139689,19990801,00140300,149.000000,166.383333,MCHG
,Q9476665,NR111772186438,19990801,00162500,36.000000,40.200000,MCHG
,Q9906289,SR111774194272,19990801,00153400,18.000000,12.283333,MCHG
,Q1550236,SR111773589272,19990801,00145400,159.000000,177.550000,MCHG
,Q9913812,SR111777241711,19990801,00154800,109.000000,128.716661,XCHG
,Q1581510,SR111772233019,19990801,00164700,52.000000,58.066661,XCHG
,Q9009976,SR111776086355,19990801,00175500,33.000000,36.850000,MCHG
,Q1581620,SR111772463388,19990801,00183000,4.000000,4.466661,XCHG
,Q1453290,SR111775126994,19990801,00115600,486.000000,542.700000,MCHG
,Q9758105,SR111775213633,19990801,00175000,92.000000,102.733333,MCHG
,Q9414916,SR111775740386,19990801,00164000,178.000000,190.950000,MCHG
,Q9783360,SR111774342139,19990801,00181700,118.000000,138.766661,XCHG
,Q1403688,SR111773031187,19990801,00173200,157.000000,175.316661,XCHG
,Q9412184,SR111777107767,19990801,00200900,25.000000,27.916661,XCHG
,Q9463952,SR111777856551,19990801,00195600,89.000000,99.383333,MCHG
,Q9596590,SR111775271054,19990801,00212000,15.000000,16.750000,MCHG
,Q9451285,SR111772743595,19990801,DR231600,5.000000,5.583333,MCHG
,Q9805575,NR111776596332,19990801,DR231700,60.000000,67.000000,MCHG
,Q9451285,SR111772743595,19990801,00215200,14.000000,15.633333,MCHG
,Q9967412,SR111776567387,19990801,00225700,5.000000,5.583333,MCHG
,Q9054895,NR111775566494,19990801,00244900,3.000000,3.350000,MCHG
,Q9969126,SR111777030674,19990801,00241600,58.000000,56.950000,MCHG
,Q9412184,SR111777107767,19990801,00245000,60.000000,67.000000,MCHG
,Q9045056,SR111777075573,19990801,00251000,15.000000,16.750000,MCHG
,Q9439784,SR111775729508,19990801,00245200,60.000000,67.000000,MCHG
,Q9889953,KR111774399131,19990801,00252500,78.000000,79.283333,MCHG
,Q9967412,SR111776567387,19990801,00264900,3.000000,3.350000,MCHG
,Q9473198,SR111776180553,19990801,00233400,203.000000,226.683333,MCHG
,Q9523370,SR111777974652,19990801,00215200,368.000000,403.116661,XCHG
,Q1593484,SR111776181691,19990801,00240000,228.000000,246.783333,MCHG
,Q1760725,SR111773154176,19990801,00283500,5.000000,5.583333,MCHG
,Q9906289,SR111774194272,19990801,00242100,277.000000,309.316661,XCHG
,Q9475888,SR111773026624,19990801,00263500,144.000000,160.800000,MCHG
,Q1767988,SR111775539034,19990801,00273100,120.000000,134.000000,MCHG
,Q9411364,SR111775569465,19990801,00302100,9.000000,10.050000,MCHG
,Q1403688,SR111776588306,19990801,00265700,235.000000,262.416661,XCHG
,Q9547733,KR111775552208,19990801,00301400,50.000000,55.833333,MCHG
,Q9548916,SR111776522457,19990801,00303600,38.000000,42.433333,MCHG
,Q1616041,HR111772740132,19990801,00314700,78.000000,79.283333,MCHG
,Q9504175,NR111777154021,19990801,00332200,44.000000,49.133333,MCHG
,Q1452940,SR111772073449,19990801,00331800,23.000000,25.683333,MCHG
,Q1402715,SR111775208791,19990801,00324200,68.000000,68.116661,XCHG
,Q9401214,0033612410102,19990801,00153500,37.000000,37.616661,XCHG
,Q9448514,00380566760865,19990801,00244900,8.000000,8.800000,MCHG
,Q9448514,00380566760865,19990801,00255000,304.000000,547.200000,MCHG
,Q1784459,SR111338551936,19990801,00152400,78.000000,66.300000,MCHG
,Q1646129,SR111762950002,19990801,00025700,68.000000,68.116661,XCHG
,Q9805575,NR111764920807,19990801,00083500,5.000000,5.583333,MCHG
,Q9567874,SR111763929546,19990801,00041600,78.000000,87.100000,MCHG
,Q9805575,NR111764920807,19990801,00093400,4.000000,4.466661,XCHG
,Q9014890,SR111764817118,19990801,00032300,108.000000,112.783333,MCHG
,Q1550236,SR111763589272,19990801,00094400,5.000000,5.583333,MCHG
,Q9783360,SR111762822605,19990801,00065000,4.000000,4.466661,XCHG
,Q1607897,DR23151975480,19990801,00101800,8.000000,0.933333,MCHG
,Q9543686,DR23154031107,19990801,00052900,54.000000,50.400000,MCHG
,Q1607897,DR23151975480,19990801,00094100,8.000000,0.933333,MCHG
,Q9784441,DR23152485294,19990801,00053100,42.000000,39.200000,MCHG
,Q9871569,SR111774388040,19990801,00005100,22.000000,24.566661,XCHG
,Q1494041,HR111775621047,19990801,00023500,68.000000,68.116661,XCHG
,Q9463820,SR111774077700,19990801,00032900,8.000000,8.933333,MCHG
,Q9783360,SR111775183102,19990801,00002800,2.000000,2.233333,MCHG
,Q9853505,SR111776395195,19990801,00013300,2.000000,2.233333,MCHG
,Q1439795,SR111777975495,19990801,00030700,16.000000,17.866661,XCHG
,Q1575895,SR111776432565,19990801,00004200,13.000000,14.516661,XCHG
,Q1403688,SR111776514475,19990801,00004700,87.000000,97.150000,MCHG
,Q9783360,SR111774342139,19990801,00011100,4.000000,4.466661,XCHG
,Q9432861,HR111776180363,19990801,00000200,38.000000,34.616661,XCHG
,Q9795942,SR111777280734,19990801,00012100,22.000000,24.566661,XCHG
,Q1530514,SR111777870703,19990801,00011600,122.000000,136.233333,MCHG
,Q9094114,SR111776499495,19990801,00024700,42.000000,46.900000,MCHG
,Q9439663,KR111773582403,19990801,00010500,83.000000,92.683333,MCHG
,Q9805575,NR111774920807,19990801,00074300,4.000000,4.466661,XCHG
,Q9569539,SR111775319021,19990801,00095700,13.000000,14.516661,XCHG
,Q9711631,HR111774416465,19990801,00090500,65.000000,72.583333,MCHG
,Q1550236,SR111775234663,19990801,00035500,96.000000,107.200000,MCHG
,Q9570162,SR111772707035,19990801,00053800,48.000000,45.783333,MCHG
,Q9426805,NR111775271242,19990801,00061800,4.000000,4.466661,XCHG
,Q9805575,NR111776596332,19990801,00065700,4.000000,4.466661,XCHG
,Q9549535,NR111777281665,19990801,00065600,202.000000,225.566661,XCHG
,Q9906289,SR111774194272,19990801,00094700,34.000000,37.966661,XCHG
,Q9575903,KR111773022744,19990801,00045000,2.000000,2.233333,MCHG
,Q9721222,SR111773557766,19990801,00033800,126.000000,140.700000,MCHG

Merci infiniment

19/03/2008, 16h59
Maljuna Kris

Saluton,
Peut-être que les lignes se terminent par '\n' ou '\r\n' et non '\r', ce qui expliquerait la perte de la dernière colonne.
Pour le zéro en colonne 5 je sèche.
19/03/2008, 22h58
maestro1303

bonjour ced , bonjour cris bonjour à tous

J'ai fait ce qu'à dit cris et qui me paraît logique ,mais j'ai toujours le même résultat :cry:.

Rien n'a changé.

Merci tout de même!
19/03/2008, 23h09
ced

Le problème se produit sur toutes les lignes de ton dernier exemple ?

ced
19/03/2008, 23h18
maestro1303

bonjour,
tout à fait Ced: sur toutes les lignes.

Merci
20/03/2008, 09h02
ced

Rien à faire... Ca fonctionne parfaitement quand je teste l'import avec ces mêmes données.
Tu es sûr que ta colonne 4 est bien un varchar(8) et pas 7 (j'imagine que oui...) ?
Autre possibilité d'écart avec mon test, le format du fichier. Je l'ai transformé en format Mac pour que les fins de lignes soient bien \r... Mais même comme ça, l'import se passe correctement... :(

ced

Saluton,
J'ai recréé en local sous WAMP5 les conditions de cet import :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
/*
CREATE TABLE `table1` (
        `col1` VARCHAR( 10 ) NULL ,
        `col2` VARCHAR( 16 ) NULL ,
        `col3` VARCHAR( 8 ) NULL ,
        `col4` VARCHAR( 8 ) NULL ,
        `col5` FLOAT NULL ,
        `col6` FLOAT NULL ,
        `col7` VARCHAR( 20 ) NULL
        ) ENGINE = MYISAM ;
*/
$sql="LOAD DATA INFILE 'C:/wamp/www/PHPDeb/premier.txt' 
      INTO TABLE mintec.table1
      FIELDS TERMINATED BY ','
      LINES STARTING BY ',' TERMINATED BY '\n'";
$base='mintec';
require 'connexion.inc.php';
mysql_query($sql) or die(mysql_error());
?>

et je n'observe pas ces dysfonctionnements avec la table MyISAM telle que décrite.