Importation fichier texte

**wonderboutin123** · 10/02/2018, 19h22

Bonjour a tous.

J'ai un beau projet et j'ai besoin d'aide pour démarrer.

J'ai un logiciel qui accumule les données de traitement de mon usine(traitement d'eau potable). Les données sont des fichier .dat propriétaire mais j'ai un utilitaire pour les convertir en .txt ce que j'ai fais. J'ai fais un petit programme en vba excel pour faire la conversion.

J'ai donc environ 65000 fichiers .txt dont le format est le suivant.

25/06/2012 00:00:01 0.000 1.000 0.000 0.000 0.000 1.241 1.400
25/06/2012 00:00:06 0.000 1.000 0.000 0.000 0.000 1.241 1.400
25/06/2012 00:00:11 0.000 1.000 0.000 0.000 0.000 1.241 1.400
...
...

donc, 65000 fichier .txt d'environ 17000 lignes et entre 20 et 50 champs

Je veux tout transférer dans mon serveur MySQL.

-Je ne peut pas le faire manuellement car j'en ai 65000 a faire
-Les fichiers non pas d'entête avec le nom des champs.
-Je doit fusionner les 2 premiers champs (date et heure dans un champ DateAndTime)

J'aimerais avoir vos opinions.
-Avec quel logiciel
-Quelle procedure
-.....

Merci à l'avance

**Artemus24** · 11/02/2018, 19h41

Salut wonderboutin123.

Il nous faudrait un exemple type de fichier (un extrait représentatif) que vous désirez charger dans votre table MySql.

Est-ce que tous les fichiers ont la même structure ?

@+

**wonderboutin123** · 11/02/2018, 22h09

Oui, les fichier on trous la même structure.

Nom du fichier 01180101.txt = tdaammjj.txt(td=#de secteur de mon usine, aammjj = date)

Donnée séparé de TAB avec entre 10 et 50 champs selaon la bd

25/06/2012 00:00:01 0.000 1.000 0.000 0.000 0.000 1.241 1.400
25/06/2012 00:00:06 0.000 1.000 0.000 0.000 0.000 1.241 1.400
25/06/2012 00:00:11 0.000 1.000 0.000 0.000 0.000 1.241 1.400

Je dois transférer chaque secteur dans des tables différentes.

**Artemus24** · 11/02/2018, 22h47

Salut wonderboutin123.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
--------------
SET AUTOCOMMIT = 0
--------------
 
--------------
START TRANSACTION
--------------
 
--------------
DROP DATABASE IF EXISTS `base`
--------------
 
--------------
CREATE DATABASE IF NOT EXISTS `base`
        DEFAULT CHARACTER SET `latin1`
        DEFAULT COLLATE       `latin1_general_ci`
--------------
 
--------------
DROP TABLE IF EXISTS `test`
--------------
 
--------------
CREATE TABLE `test`
(  `id`           integer unsigned not null auto_increment primary key,
   `dateandtime`  datetime         not null,
   `val1`         decimal(5,2)     not null,
   `val2`         decimal(5,2)     not null,
   `val3`         decimal(5,2)     not null,
   `val4`         decimal(5,2)     not null,
   `val5`         decimal(5,2)     not null,
   `val6`         decimal(5,2)     not null,
   `val7`         decimal(5,2)     not null
) ENGINE=InnoDB
  DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
  ROW_FORMAT=COMPRESSED
--------------
 
--------------
LOAD DATA LOCAL INFILE 'fichier.txt'
     INTO TABLE `test`
     CHARACTER SET latin1
     FIELDS TERMINATED            BY ' '
            OPTIONALLY ENCLOSED   BY '\"'
            ESCAPED               BY '\\'
     LINES  TERMINATED            BY '\r\n'
     IGNORE 0 LINES
     (@F1,@F2,`val1`,`val2`,`val3`,`val4`,`val5`,`val6`,`val7`)
     set `dateandtime` = str_to_date(concat(trim(@F1), ' ', trim(@F2)), '%d/%c/%Y %H:%i:%s')
--------------
 
--------------
select * from `test`
--------------
 
+----+---------------------+------+------+------+------+------+------+------+
| id | dateandtime         | val1 | val2 | val3 | val4 | val5 | val6 | val7 |
+----+---------------------+------+------+------+------+------+------+------+
|  1 | 2012-06-25 00:00:01 | 0.00 | 1.00 | 0.00 | 0.00 | 0.00 | 1.24 | 1.40 |
|  2 | 2012-06-25 00:00:06 | 0.00 | 1.00 | 0.00 | 0.00 | 0.00 | 1.24 | 1.40 |
|  3 | 2012-06-25 00:00:11 | 0.00 | 1.00 | 0.00 | 0.00 | 0.00 | 1.24 | 1.40 |
+----+---------------------+------+------+------+------+------+------+------+
--------------
COMMIT
--------------
 
--------------
SET AUTOCOMMIT = 0
--------------
 
Appuyez sur une touche pour continuer...

@+

**wonderboutin123** · 11/02/2018, 22h53

C'est en quoi ce script ? Requete MySQL ?

**Artemus24** · 11/02/2018, 22h54

Salut wonderboutin123.

C'est un script mysql, que j'ai déclenché à partir d'un batch windows.

@+

**wonderboutin123** · 11/02/2018, 22h55

Merci. J'essaye çà a l'instant.

**Artemus24** · 11/02/2018, 22h59

Salut wonderboutin123.

Vous devez reprendre que la requête "load data local infile" dans votre script php.
Vous devez faire varier le nom de votre fichier, ainsi que le nom de la table, en admettant que toutes vos tables ont la même structure.

Ne pas oublier que vous ne pouvez pas le faire sur un fichier Excel, mais sur un fichier de type ".csv".

@+

**wonderboutin123** · 11/02/2018, 23h13

Mes fichier sont dans le repertoire D:\Mysql\fichier.txt

Est-ce que je dois déplacer mon fichier ou ecrit LOAD DATA LOCAL INFILE 'D:\Mysql\fichier.txt' ?

**wonderboutin123** · 11/02/2018, 23h17

J'ai répondu a ma question.

Je ne l'avais pas écrit de la bonne façon.

LOAD DATA LOCAL INFILE 'D:/Mysql/ichier.txt' et ça fonctionne avec un petit fichier démo. Je vais faire des testes demain au travail avec les vrais fichiers.

Merci beaucoup.

**wonderboutin123** · 12/02/2018, 19h08

Le tout fonctionne de façon manuel. Est-il possible de scaner tout mes fichiers du répertoire du genre FOR EACH FILE....

**SQLpro** · 13/02/2018, 09h22

Pour cela il faudrait un ETL, ce que MySQL ne propose pas en standard contrairement par exemple a SQL Server (SSIS).

A +

**wonderboutin123** · 13/02/2018, 14h02

Avez-vous un ETL à me proposer ? Quelque chose de gratuit, facile d'utilisation car je ne suis pas un pro.

**SQLpro** · 13/02/2018, 14h34

Talend, il existe une version gratuite limitée...

A +

**Artemus24** · 13/02/2018, 19h29

Salut wonderboutin123.

Pourquoi ne pas le faire en php ?

@+

**wonderboutin123** · 13/02/2018, 21h43

Je n'ai jamais travaillé en php. Avez-vous un ETL php a me proposer sous Windows?

**Artemus24** · 14/02/2018, 04h23

Salut wonderboutin123.

Vous n'avez pas précisé les points suivants :
Dans quel système d'exploitation travaillez vous ? Debian ? Windows ? MacOs ?
Et dans quel langage faites-vous vos traitements ?

@+

**wonderboutin123** · 15/02/2018, 17h27

Je suis sons Windows et pour le langage, je suis limité mais j'aime bien aprendre.

J'ai déjà utilisé vba, vbscript, windev

**Artemus24** · 15/02/2018, 19h01

Salut wonderboutin123.

Désolé, mais je n'utilise pas ces langages.

@+

Importation fichier texte

MySQL

Discussions similaires

Partager

Partager