Chargement de données dans table mysql

**patsak** · 05/06/2008, 14h58

Bonjour,

j'ai un petit souci: je charge dans une table des valeurs toutes les trentes minutes à partir d'un fichier txt.J'utilise donc la fonction suivante:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
LOAD DATA INFILE 'C:\\wamp\\mysql\\data\\stage\\data\\capteurs.txt' 
INTO TABLE testtable_captor(id_captor,name,present);

Mon problème est qu'au bout d'une demi heure,lorsque je veut recharger le fichier txt avec des nouvelles valeurs supplémentaires, il me met en double les valeurs du premier chargement.. Et je n'arrive pas à enlever ce problème de doublons..J'ai bien pensé à IGNORE, mais je ne suis pas sur qu'il fonctionne dans mon cas, où alors je n'arrive pas à l'utiliser. Et je ne veux pas faire un DROP testtable_captor. Il est nécessaire que je n'ajoute que les valeurs qui n'ont pas été au préalable chargées.. Merci pour voitre aide

**ced** · 05/06/2008, 15h02

Envoyé par patsak

J'ai bien pensé à IGNORE, mais je ne suis pas sur qu'il fonctionne dans mon cas, où alors je n'arrive pas à l'utiliser.

Bonjour,

Comme ça peut-être :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
LOAD DATA INFILE 'C:\\wamp\\mysql\\data\\stage\\data\\capteurs.txt' 
IGNORE INTO TABLE testtable_captor(id_captor,name,present);

ced

**patsak** · 05/06/2008, 15h08

Merci pour ta réponse ultra rapide!!lol

C'est exactement ce que j'avais testé avec ignore, mais ça ne fonctionne pas. Ca serrait tellement plus simple!!

**ced** · 05/06/2008, 15h10

Comment est définie la table testtable_captor ?
Quelle est sa clef primaire et le type de cette colonne ?

ced

**patsak** · 05/06/2008, 15h16

j'avais hésité à donner la structure dès le premier message..je la donne alors!!

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
CREATE TABLE IF NOT EXISTS testtable_captor (
	id_captor TINYINT UNSIGNED NOT NULL PRIMARY KEY,	/*Autofill ID*/		/*256*/
	name VARCHAR(10) NOT NULL,
	present BOOLEAN
	) ENGINE = innodb COMMENT = 'Table des n° de tous les capteurs';

En réalité j'ai le problème pour plusieurs tables, mais je pense que ça sera le même principe pour toutes:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
CREATE TABLE IF NOT EXISTS testtable_data_temperature (
	id_time MEDIUMINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,	/* 0 à 16 777 215*/
	datetime DATETIME NOT NULL,
	temperature1 TINYINT UNSIGNED ,	/*0 to 255*/
	temperature2 TINYINT UNSIGNED)

**ced** · 05/06/2008, 15h34

Mis à part qu'il me refuse la syntaxe en laissant le nom des colonnes (il faut juste laisser le nom de la table) derrière le nom de la table dans le LOAD DATA INFILE, ça marche chez moi...
Quelle est la structure du fichier texte (séparateur entre champs, séparateur entre lignes) ?

Pour les autres tables, attention tout de même aux champs clé auto-incrémentés...

ced

**patsak** · 05/06/2008, 15h40

Avec exactement ça ça marche chez toi??

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
CREATE TABLE IF NOT EXISTS testtable_captor (
	id_captor TINYINT UNSIGNED NOT NULL PRIMARY KEY,	/*Autofill ID*/		/*256*/
	name VARCHAR(10) NOT NULL,
	present BOOLEAN
	) ENGINE = innodb COMMENT = 'Table des n° de tous les capteurs';
 
 
LOAD DATA INFILE 'C:\\wamp\\mysql\\data\\stage\\data\\capteurs.txt' 
IGNORE INTO TABLE testtable_captor(id_captor,name,present);
 
 
 
SELECT * FROM testtable_captor;	/*affichage table*/

Pour ce qui est des séparateurs, pour la table captor les champs sont séparés par des tabulations, retour à la ligne ensuite entre les différentes lignes.
Pour les autres tables c'est un peu plus compliqué..
date suivi de tabulation puis time puis que des espaces entre les valeurs.. Mais pour le moment j'aimerais trouvé comment faire fonctionner la table captor.. Je ne vois pas pourquoi ça ne marche pas chez moi, mais chez toi si!!

**ced** · 05/06/2008, 15h48

En version MySQL 5.0.41, oui ça marche. Il ne m'ajoute aucun doublon.
J'ai créé un fichier .txt avec la tabulation comme séparateur et j'ai repris ta syntaxe de création de table.

Je n'ai pas de problème de doublons...

ced

**patsak** · 05/06/2008, 15h48

Attend excuse moi en fait ça à l'air de marcher pour la table_captor mais pas les suivantes..je regarde je te redis..que tu cherches pas dans le vent!!Merci

**patsak** · 05/06/2008, 15h58

Ok donc ça marche bien pour la table_captor, mais pas pour les deux autres. Elles ont la même structure et le même code, donc je ne t'envois qu'une:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
CREATE TABLE IF NOT EXISTS testtable_data_temperature (
	id_time MEDIUMINT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,	/* 0 à 16 777 215*/
	datetime DATETIME NOT NULL,
	temperature1 TINYINT UNSIGNED ,	/*0 to 255*/
	temperature2 TINYINT UNSIGNED,
             ....)
 
LOAD DATA INFILE 'C:\\wamp\\mysql\\data\\stage\\data\\creation_data_temperature' 
IGNORE
INTO TABLE testtable_data_temperature
FIELDS TERMINATED BY ' '
ENCLOSED BY ''
(datetime,temperature1,temperature2,...);

Donc comme je te disais les champs sont tous séparés par des espaces (il y a juste une tabulation entre la date et le temps pour la valeur datetime). Encore désolé pour le problème de doublon qui n'était pas sur la bonne table..

**patsak** · 05/06/2008, 16h03

Ok je vois le problème..avec le auto increment... Mais j'ai besoin de cet id pour lier les deux tables..COmment faire?

**patsak** · 05/06/2008, 16h50

J'ai pensé à quelque chose: récupérer la valeur de l'auto incrément puis ignorer ensuite les lignes inférieures à cette valeur..mais je n'arrive pas à le programmer

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
LOAD DATA INFILE 'C:\\wamp\\mysql\\data\\stage\\data\\creation_data_temperature' 
INTO TABLE testtable_data_temperature
FIELDS TERMINATED BY ' '
ENCLOSED BY ''
(datetime,temperature1,temperature2,temperature3,temperature4,...)
IGNORE LINES< 'a';
 
SELECT COUNT(*) FROM testtable_data_temperature;
a=fetch_row(COUNT(*) FROM testtable_data_temperature);

Bon je sais bien que ça ne marche pas, que la je fais même un peu de la merde!!lol . Mais ici c'est la fin de la journée et j'ai plus du tout les idées claires!! Si quelqu'un peut m'aider pour que je boucle ça rapidos.Merci beaucoup!!

**ced** · 05/06/2008, 16h51

Tu veux une seule ligne par date, c'est ça ?

Pourquoi ne pas mettre un index UNIQUE sur datetime (au passage, c'est pas très bien de nommer un champ avec un mot-clef, surtout qui correspond à un type de colonne).
Si datetime est unique, MySQL va ignorer les insertions dessus... Enfin, je pense (j'ai jamais testé

).

ced

**patsak** · 05/06/2008, 16h59

OUi je veux une ligne par date.. C'est vrai que j'ai pas fait gaf pour le datetime.. Tu voudrais que je supprime en gros mon id_time? Je m'en servais pour savoir combien d'enregistrements je faisais, et pour faire mes liens entre table, c'est parait plus évident qu'un datetime, même si maintenant je comprends que c'est le même principe. Désolé je débute en fait en sql donc je galère un peu.. Mais ça vient..

**ced** · 05/06/2008, 17h05

Envoyé par patsak

Tu voudrais que je supprime en gros mon id_time?

Non pas forcément, mais il faut à MySQL une contrainte d'unicité pour détecter si il y a un doublon ou pas. Or, avec l'auto incrément, tu le laisses, à chaque insertion, créer un identifiant unique (et donc tu as des doublons)...
Mais tu peux, dans une table, définir une contrainte d'unicité sur un autre champ (ajoute une contrainte UNIQUE sur le champ en question, pour empêcher les doublons dessus).
Donc, si tu mets une contraintes UNIQUE sur datetime, tu peux garder l'id auto-incrémenté, mais il n'y aura pas 2 enregistrements avec le même datetime (bref, tu gardes le beurre et l'argent du beurre

).

Envoyé par patsak

Désolé je débute en fait en sql donc je galère un peu.. Mais ça vient..

On est là pour ça : t'aider à progresser

.

ced

**patsak** · 05/06/2008, 20h09

Suivant tes conseils j'ai mis UNIQUE pour chacun des datetime des deux tables, mais le problème c'est que je ne te l'ai pas dit les mesures sont faites exactement en même temps, ce qui fait que pour la deuxieme table on a une valeur en moins..logique mais pas terrible..

Mais le pire c'est qu'ensuite je réunis ces deux tables dans une plus grande, en les reliant avec les id_time..et là ça me mets des NULL partout (même si je n'ai pas mis de UNIQUE pour cette table là)..

Donc la solution du UNIQUE marcherait bien si les dates étaient différentes mais là ça me parait compliqué.. Comment faire? Mon idée de récupérer le nombre de id dans la table pour supprimer ensuite les valeurs déjà présentes ne pourrait elle pas marcher??

**ced** · 05/06/2008, 20h44

Ouh là... Je ne comprends plus rien

.
Si les 2 tables ont toutes les deux des champs datetime (avec éventuellement la même date dans les données), je ne vois pas comment le fait de mettre UNIQUE sur l'une bloque l'autre... Comment fais-tu l'import de données, avec 1 ou 2 LOAD DATA INFILE ?

Bref, je suis un peu perdu...

Un petit exemple ?

ced

**patsak** · 05/06/2008, 22h23

Autant pour moi en regardant mes fichiers de données, je me suis rendu compte que j'avais une ligne en plus dans un des fichiers.. Maintenant je dois retrouver laquelle!!lol

Je te retiens au courant si ça marche.. Merci et désolé de te poser des problèmes qu'en il n'y en a pas!!lol

**patsak** · 05/06/2008, 23h37

Bon ça avance.. ça à l'air de marcher pour les trois tables, reste la table où je récupère les id_time poour joindre les tables.. Là j'ai toujours le problème de doublon... j'ai essayé de placer un UNIQUE comme auparavant mais dans ce cas là je n'ai plus rien dans ma table! Ma structure de table est la suivante, avec la methode de chargement:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
CREATE TABLE IF NOT EXISTS testtable_data (
	id_time INTEGER REFERENCES test_table_captor(id_time),
	datetime DATETIME NOT NULL,
	id_captor INTEGER REFERENCES test_table_captor(id_captor),
	name VARCHAR(10) NOT NULL,
	present BOOLEAN,
	temperature TINYINT UNSIGNED,
	voltage SMALLINT
	) ENGINE = innodb COMMENT = 'Table with all temperature';
 
 
INSERT INTO testtable_data(id_time,datetime,id_captor,name,present)
SELECT DISTINCT id_time,datetime,id_captor,name,present
FROM testtable_captor, testtable_data_temperature
ORDER BY id_time,id_captor;
 
UPDATE testtable_data
SET temperature = (SELECT temperature1 FROM testtable_data_temperature WHERE testtable_data.datetime=testtable_data_temperature.datetime),
voltage = (SELECT voltage1 FROM testtable_data_voltage WHERE testtable_data.datetime=testtable_data_voltage.datetime)
WHERE id_captor=1
AND datetime=(SELECT datetime FROM testtable_data_temperature WHERE testtable_data.datetime=testtable_data_temperature.datetime);

Je continue de chercher...

**patsak** · 06/06/2008, 00h03

En postant le message précédent j'ai remarqué que j'avais fait une erreur, que je n'avais pas remarqué car mysql ne me disait pas d'erreur je ne sais pas pourquoi! Il n'y a pas de champ datetime dans testtable_captor. J'ai donc changé et mis :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
id_time INTEGER REFERENCES test_table_temperature(id_time),
datetime DATETIME UNIQUE NOT NULL,

Mais j'ai toujours le même problème..

Chargement de données dans table mysql

Requêtes MySQL

Discussions similaires

Partager

Partager