Discussion :

[maestro1303]

Bonjour à tous,

J'ai hérité de fichiers très volumineux ayant tous le même format qui suit:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
,33AA58,656565432,768543,87698,434.000000,9765.733333,HGUT
,987654BB,54532111,787543,6565476,55.000000,1.770000,MUGT

Je dispose d'easyphp2.01b sur mon serveur local et bien que je sache que ce n'est pas recommandé pour un environnement de production, je m'en serts pour résoudre quelques problèmes ponctuels dans mmon boulot.

L'import marche mais pas comme je le veux car dans la première colonne j'ai toujours un vide et toute les autres sont décalées jusqu'à la dernière qui est tout simplement omise:
voilà la commande que j'utilise en mode commande:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

LOAD DATA LOCAL INFILE "d:\premier.txt" INTO TABLE mintec.table1 FIELDS TERMINATED BY "," LINES TERMINATED BY "\r";

Je ne sais pas si c'est dû à la virgule en première colonne et le cas échéant comment remédier à cette situation.

Merci infiniment.

[ced]

Bonjour,

Oui, ton problème vient de là : la première virgule.
Pour contourner ce problème, essaie comme ça :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
LOAD DATA LOCAL INFILE 'd:\premier.txt' 
INTO TABLE mintec.table1 
FIELDS TERMINATED BY ',' 
LINES STARTING BY ',' TERMINATED BY '\r';

[maestro1303]

Merci infiniment.

ça a l'air de très bien marché.

tous mes remerciements d'avance.

[maestro1303]

Bonjour Ced, bonjour tout le monde
J'ai encore un petit souci,
quand j'ouvre ma table dans phpmyadmin je trouve que le dernier champ a disparu et que j'ai un champ qui n'existe pas dans ma table et c'est pareil pour tous les enregistrements:
1. le dernier enregistrement disparait
2. il y a un "0" intrus dans le 5ème champ.
Je donne ci dessous ce que j'ai dans phpmyadmin:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

6A8271 002176595 200101 0400 0 39 4.67

je donne ci dessous ce qui est dans mon fichier csv:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

,6A8271, 002176595, 200101 ,0400, 39 4.67,NHUT

Si le problème vient du format de ma table je vous donne la structure respective des champs:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
varchar(10)
varchar(16)
varchar(8)
varchar(8)
float
float
varchar(20)

Merci de votre aide

[ced]

Il manque une virgule dans le fichier CSV sur la ligne, entre 39 et 4.67. Ca ne peut pas venir de ça ?

ced

[maestro1303]

bonjour ced,

tout à fait il manque une virgule dans mon poste précédent. mais pas dans ce que j'ai importé dans la table, le problème demeure donc inchangé.

J'ai essayé des parades du genre
field starting by "," mais ça m'a sorti des erreurs de syntaxe.


Merci de bien vouloir m'aidez comme vous l'avez si bien fait par le passé.

[ced]

Bon, il faut quelques petites informations supplémentaires, pour bien comprendre le problème.
Quel est le format exact des données (avec toutes les virgules ) ?
Qu'obtiens-tu après import ?
Qu'aurais-tu souhaité obtenir à la place ?
Enfin, est-ce que ça pose problème à toutes les lignes ?

ced

[maestro1303]

Merci ced de poser le problème comme ça:

voilà le nombre de colonnes dans le fichier import. ces champs doivent se retrouver de la même manière dans la table de la base de données mintec

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

col1 col2 col3 col4 col5 col6 col7

le format que j'ai choisi pour ces colonnes(mauvais choix peut être) est le suivant:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

varchar(10) varchar(16) varchar(8) varchar(8) float float varchar(20)

voilà un exemple de ce qui se trouve dans le fichier csv d'import

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

,6A8271, 002176595, 200101 ,0400, 39, 4.67,NHUT

voilà ce qu'on obtient après import:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

6A8271 002176595 200101 0400 0 39 4.67

Remarquez bien le 0 (intrus) dans la ciquième colonne et aussi la disparition de la colonne 7. On ne retrouve plus NHUT comme valeur de la 7 ème colonne mais 4.67 qui aurait dû être en 6ème position et non en 7ème conformément au fichier csv d'origine

Les 0 à la 5ème colonne se repètent à tous les enregistrements(lignes) de la table. L'omission de la 7ème colonne se repércute également à toutes les lignes.
Voilà ce qu'on aurait souhaité obtenir

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

6A8271 002176595 200101 0400 39 4.67 NHUT

Merci infiniment

[ced]

En MySQL 5.0.41, je n'arrive pas à reproduire le problème. L'import se passe correctement .
Toutefois, il y a des espaces au début et à la fin de certains champs. Ca peut venir de là. Mais c'est dur de donner une solution sans réussir à reproduire le problème...

ced

[maestro1303]

je suis en mysql 5.0.27


Voilà un exemple qui se rapproche beaucoup plus de la réalité de mes données:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
,Q9428273,KR111765945855,19990801,00134400,37.000000,48.316661,XCHG
,Q1607897,DR23151975480,19990801,00115300,25.000000,23.333333,MCHG
,Q1607897,DR23151975480,19990801,00132700,8.000000,0.933333,MCHG
,Q1439795,SR111777975495,19990801,00103400,16.000000,17.866661,XCHG
,Q9089449,SR111772460232,19990801,00111600,10.000000,18.166661,XCHG
,Q1580601,HR111775753470,19990801,00102700,88.000000,90.450000,MCHG
,Q9498433,KR111774100607,19990801,00113700,103.000000,115.016661,XCHG
,Q9913812,SR111775558221,19990801,00102500,216.000000,248.200000,MCHG
,Q9983488,SR111773647025,19990801,00133100,23.000000,25.683333,MCHG
,Q1452401,HR111774231027,19990801,00115500,148.000000,157.450000,MCHG
,Q1439146,SR111774014819,19990801,00140600,2.000000,2.233333,MCHG
,Q9811623,KR111773507913,19990801,00081700,216.000000,248.200000,MCHG
,Q1735569,SR111773171744,19990801,00105700,168.000000,187.600000,MCHG
,Q1593484,SR111776181691,19990801,00140000,16.000000,17.866661,XCHG
,Q9019771,HR111774378604,19990801,00110800,192.000000,214.400000,MCHG
,Q9762625,SR111338368110,19990801,00100400,210.000000,178.500000,MCHG
,Q9428273,KR111765945855,19990801,00155000,17.000000,18.983333,MCHG
,Q9432855,NR111763455282,19990801,00235300,22.000000,24.566661,XCHG
,Q9428273,KR111765945855,19990801,00281000,15.000000,16.750000,MCHG
,Q1683906,SR111763394160,19990801,00302100,2.000000,2.233333,MCHG
,Q1683906,SR111763394160,19990801,00300400,2.000000,2.233333,MCHG
,Q1683906,SR111763394160,19990801,00301300,2.000000,2.233333,MCHG
,Q9428273,KR111765945855,19990801,00144100,18.000000,20.100000,MCHG
,Q9428273,KR111765945855,19990801,00151600,15.000000,16.750000,MCHG
,Q1701033,KR111765984999,19990801,00141600,179.000000,199.883333,MCHG
,Q9076775,NR111763828818,19990801,00124300,315.000000,358.750000,MCHG
,Q1775185,NR111764837514,19990801,00205700,24.000000,26.800000,MCHG
,Q9428273,KR111765945855,19990801,00263000,27.000000,30.150000,MCHG
,Q9428273,KR111765945855,19990801,00273800,14.000000,15.633333,MCHG
,Q9900718,SR111763981140,19990801,00271800,55.000000,68.416661,XCHG
,Q9428273,KR111765945855,19990801,00284300,14.000000,15.633333,MCHG
,Q1683906,SR111763394160,19990801,00294400,4.000000,4.466661,XCHG
,Q1735225,NR111764890186,19990801,00275900,109.000000,128.716661,XCHG
,Q1683906,SR111763394160,19990801,00295500,3.000000,3.350000,MCHG
,Q9063446,SR111763991117,19990801,00314000,3.000000,3.350000,MCHG
,Q1690357,DR23151259133,19990801,00262200,5.000000,4.666661,XCHG
,Q4430477,002209991648,19990801,00151800,48.000000,53.983333,MCHG
,Q9434107,0021622999296,19990801,00153800,235.000000,285.916661,XCHG
,Q9999700,0022676695481,19990801,00264200,13.000000,12.133333,MCHG
,Q9999700,0022676695481,19990801,00234300,16.000000,14.933333,MCHG
,Q9778311,HR111773150354,19990801,00142400,63.000000,70.350000,MCHG
,Q9549535,NR111776752940,19990801,00160800,4.000000,4.466661,XCHG
,Q9549535,NR111776752940,19990801,00165300,5.000000,5.583333,MCHG
,Q9476665,NR111772186438,19990801,00175000,48.000000,45.783333,MCHG
,Q9426805,NR111775280949,19990801,00183100,3.000000,3.350000,MCHG
,Q9060504,SR111777143005,19990801,00174200,148.000000,157.450000,MCHG
,Q9967412,SR111776567387,19990801,00202300,7.000000,7.816661,XCHG
,Q9451285,SR111772743595,19990801,00212200,2.000000,2.233333,MCHG
,Q9009976,SR111776086355,19990801,00185900,118.000000,123.950000,MCHG
,Q1585312,SR111773553658,19990801,00225200,28.000000,23.450000,MCHG
,Q9045056,SR111777075573,19990801,00224700,38.000000,42.433333,MCHG
,Q1593484,SR111776181691,19990801,00231200,13.000000,14.516661,XCHG
,Q1593484,SR111776181691,19990801,00234100,8.000000,8.116661,XCHG
,Q9045056,SR111777075573,19990801,00242400,18.000000,20.100000,MCHG
,Q9054895,NR111775566494,19990801,00250600,7.000000,7.816661,XCHG
,Q9802250,SR111776449107,19990801,00252500,62.000000,69.233333,MCHG
,Q1688186,SR111772461211,19990801,00255500,78.000000,79.283333,MCHG
,Q4403970,SR111775415780,19990801,00270700,40.000000,44.666661,XCHG
,Q1776955,NR111775065263,19990801,00280400,10.000000,18.166661,XCHG
,Q1616041,HR111772740132,19990801,00294300,42.000000,46.900000,MCHG
,Q9905928,SR111775012368,19990801,00245600,307.000000,342.816661,XCHG
,Q9733831,HR111776339478,19990801,00302500,43.000000,48.016661,XCHG
,Q1760725,SR111773154176,19990801,00304100,45.000000,50.250000,MCHG
,Q1756882,SR111777074256,19990801,00313000,12.000000,13.400000,MCHG
,Q9748272,SR111773613874,19990801,00284900,192.000000,214.400000,MCHG
,Q9440801,HR111776394855,19990801,00321300,2.000000,2.233333,MCHG
,Q1452940,SR111772073449,19990801,00322300,7.000000,7.816661,XCHG
,Q1403688,SR111773031187,19990801,00314500,76.000000,84.866661,XCHG
,Q1439795,SR111777975495,19990801,00115200,168.000000,179.783333,MCHG
,Q9439784,SR111775139689,19990801,00140300,149.000000,166.383333,MCHG
,Q9476665,NR111772186438,19990801,00162500,36.000000,40.200000,MCHG
,Q9906289,SR111774194272,19990801,00153400,18.000000,12.283333,MCHG
,Q1550236,SR111773589272,19990801,00145400,159.000000,177.550000,MCHG
,Q9913812,SR111777241711,19990801,00154800,109.000000,128.716661,XCHG
,Q1581510,SR111772233019,19990801,00164700,52.000000,58.066661,XCHG
,Q9009976,SR111776086355,19990801,00175500,33.000000,36.850000,MCHG
,Q1581620,SR111772463388,19990801,00183000,4.000000,4.466661,XCHG
,Q1453290,SR111775126994,19990801,00115600,486.000000,542.700000,MCHG
,Q9758105,SR111775213633,19990801,00175000,92.000000,102.733333,MCHG
,Q9414916,SR111775740386,19990801,00164000,178.000000,190.950000,MCHG
,Q9783360,SR111774342139,19990801,00181700,118.000000,138.766661,XCHG
,Q1403688,SR111773031187,19990801,00173200,157.000000,175.316661,XCHG
,Q9412184,SR111777107767,19990801,00200900,25.000000,27.916661,XCHG
,Q9463952,SR111777856551,19990801,00195600,89.000000,99.383333,MCHG
,Q9596590,SR111775271054,19990801,00212000,15.000000,16.750000,MCHG
,Q9451285,SR111772743595,19990801,DR231600,5.000000,5.583333,MCHG
,Q9805575,NR111776596332,19990801,DR231700,60.000000,67.000000,MCHG
,Q9451285,SR111772743595,19990801,00215200,14.000000,15.633333,MCHG
,Q9967412,SR111776567387,19990801,00225700,5.000000,5.583333,MCHG
,Q9054895,NR111775566494,19990801,00244900,3.000000,3.350000,MCHG
,Q9969126,SR111777030674,19990801,00241600,58.000000,56.950000,MCHG
,Q9412184,SR111777107767,19990801,00245000,60.000000,67.000000,MCHG
,Q9045056,SR111777075573,19990801,00251000,15.000000,16.750000,MCHG
,Q9439784,SR111775729508,19990801,00245200,60.000000,67.000000,MCHG
,Q9889953,KR111774399131,19990801,00252500,78.000000,79.283333,MCHG
,Q9967412,SR111776567387,19990801,00264900,3.000000,3.350000,MCHG
,Q9473198,SR111776180553,19990801,00233400,203.000000,226.683333,MCHG
,Q9523370,SR111777974652,19990801,00215200,368.000000,403.116661,XCHG
,Q1593484,SR111776181691,19990801,00240000,228.000000,246.783333,MCHG
,Q1760725,SR111773154176,19990801,00283500,5.000000,5.583333,MCHG
,Q9906289,SR111774194272,19990801,00242100,277.000000,309.316661,XCHG
,Q9475888,SR111773026624,19990801,00263500,144.000000,160.800000,MCHG
,Q1767988,SR111775539034,19990801,00273100,120.000000,134.000000,MCHG
,Q9411364,SR111775569465,19990801,00302100,9.000000,10.050000,MCHG
,Q1403688,SR111776588306,19990801,00265700,235.000000,262.416661,XCHG
,Q9547733,KR111775552208,19990801,00301400,50.000000,55.833333,MCHG
,Q9548916,SR111776522457,19990801,00303600,38.000000,42.433333,MCHG
,Q1616041,HR111772740132,19990801,00314700,78.000000,79.283333,MCHG
,Q9504175,NR111777154021,19990801,00332200,44.000000,49.133333,MCHG
,Q1452940,SR111772073449,19990801,00331800,23.000000,25.683333,MCHG
,Q1402715,SR111775208791,19990801,00324200,68.000000,68.116661,XCHG
,Q9401214,0033612410102,19990801,00153500,37.000000,37.616661,XCHG
,Q9448514,00380566760865,19990801,00244900,8.000000,8.800000,MCHG
,Q9448514,00380566760865,19990801,00255000,304.000000,547.200000,MCHG
,Q1784459,SR111338551936,19990801,00152400,78.000000,66.300000,MCHG
,Q1646129,SR111762950002,19990801,00025700,68.000000,68.116661,XCHG
,Q9805575,NR111764920807,19990801,00083500,5.000000,5.583333,MCHG
,Q9567874,SR111763929546,19990801,00041600,78.000000,87.100000,MCHG
,Q9805575,NR111764920807,19990801,00093400,4.000000,4.466661,XCHG
,Q9014890,SR111764817118,19990801,00032300,108.000000,112.783333,MCHG
,Q1550236,SR111763589272,19990801,00094400,5.000000,5.583333,MCHG
,Q9783360,SR111762822605,19990801,00065000,4.000000,4.466661,XCHG
,Q1607897,DR23151975480,19990801,00101800,8.000000,0.933333,MCHG
,Q9543686,DR23154031107,19990801,00052900,54.000000,50.400000,MCHG
,Q1607897,DR23151975480,19990801,00094100,8.000000,0.933333,MCHG
,Q9784441,DR23152485294,19990801,00053100,42.000000,39.200000,MCHG
,Q9871569,SR111774388040,19990801,00005100,22.000000,24.566661,XCHG
,Q1494041,HR111775621047,19990801,00023500,68.000000,68.116661,XCHG
,Q9463820,SR111774077700,19990801,00032900,8.000000,8.933333,MCHG
,Q9783360,SR111775183102,19990801,00002800,2.000000,2.233333,MCHG
,Q9853505,SR111776395195,19990801,00013300,2.000000,2.233333,MCHG
,Q1439795,SR111777975495,19990801,00030700,16.000000,17.866661,XCHG
,Q1575895,SR111776432565,19990801,00004200,13.000000,14.516661,XCHG
,Q1403688,SR111776514475,19990801,00004700,87.000000,97.150000,MCHG
,Q9783360,SR111774342139,19990801,00011100,4.000000,4.466661,XCHG
,Q9432861,HR111776180363,19990801,00000200,38.000000,34.616661,XCHG
,Q9795942,SR111777280734,19990801,00012100,22.000000,24.566661,XCHG
,Q1530514,SR111777870703,19990801,00011600,122.000000,136.233333,MCHG
,Q9094114,SR111776499495,19990801,00024700,42.000000,46.900000,MCHG
,Q9439663,KR111773582403,19990801,00010500,83.000000,92.683333,MCHG
,Q9805575,NR111774920807,19990801,00074300,4.000000,4.466661,XCHG
,Q9569539,SR111775319021,19990801,00095700,13.000000,14.516661,XCHG
,Q9711631,HR111774416465,19990801,00090500,65.000000,72.583333,MCHG
,Q1550236,SR111775234663,19990801,00035500,96.000000,107.200000,MCHG
,Q9570162,SR111772707035,19990801,00053800,48.000000,45.783333,MCHG
,Q9426805,NR111775271242,19990801,00061800,4.000000,4.466661,XCHG
,Q9805575,NR111776596332,19990801,00065700,4.000000,4.466661,XCHG
,Q9549535,NR111777281665,19990801,00065600,202.000000,225.566661,XCHG
,Q9906289,SR111774194272,19990801,00094700,34.000000,37.966661,XCHG
,Q9575903,KR111773022744,19990801,00045000,2.000000,2.233333,MCHG
,Q9721222,SR111773557766,19990801,00033800,126.000000,140.700000,MCHG

Merci infiniment

[Maljuna Kris]

Saluton,
Peut-être que les lignes se terminent par '\n' ou '\r\n' et non '\r', ce qui expliquerait la perte de la dernière colonne.
Pour le zéro en colonne 5 je sèche.

[maestro1303]

bonjour ced , bonjour cris bonjour à tous

J'ai fait ce qu'à dit cris et qui me paraît logique ,mais j'ai toujours le même résultat .

Rien n'a changé.

Merci tout de même!

[ced]

Le problème se produit sur toutes les lignes de ton dernier exemple ?

ced

[maestro1303]

bonjour,
tout à fait Ced: sur toutes les lignes.



Merci

[ced]

Rien à faire... Ca fonctionne parfaitement quand je teste l'import avec ces mêmes données.
Tu es sûr que ta colonne 4 est bien un varchar(8) et pas 7 (j'imagine que oui...) ?
Autre possibilité d'écart avec mon test, le format du fichier. Je l'ai transformé en format Mac pour que les fins de lignes soient bien \r... Mais même comme ça, l'import se passe correctement...

ced

[Maljuna Kris]

Saluton,
J'ai recréé en local sous WAMP5 les conditions de cet import :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
<?php
/*
CREATE TABLE `table1` (
        `col1` VARCHAR( 10 ) NULL ,
        `col2` VARCHAR( 16 ) NULL ,
        `col3` VARCHAR( 8 ) NULL ,
        `col4` VARCHAR( 8 ) NULL ,
        `col5` FLOAT NULL ,
        `col6` FLOAT NULL ,
        `col7` VARCHAR( 20 ) NULL
        ) ENGINE = MYISAM ;
*/
$sql="LOAD DATA INFILE 'C:/wamp/www/PHPDeb/premier.txt' 
      INTO TABLE mintec.table1
      FIELDS TERMINATED BY ','
      LINES STARTING BY ',' TERMINATED BY '\n'";
$base='mintec';
require 'connexion.inc.php';
mysql_query($sql) or die(mysql_error());
?>

et je n'observe pas ces dysfonctionnements avec la table MyISAM telle que décrite.