Fusion de fichiers : récupérer les données communes et celles modifiées dans 1 seul fichier

**Christophe P.** · 23/06/2016, 18h02

Bonjour,

je dois récupérer dans MySQL les données communes de 2 à 5 fichiers ainsi que celles modifiées uniquement dans un seul fichier, et stocker à part les autres.
Une douzaine de tables (tab1, tab2, etc.) sont concernées et toutes ont le champ "NRSS" en commun. Certaines tables ne contiennent que des données modifiées, d'autres toutes les données.
Par exemple, si chaque fichier contient les mêmes données pour un RSS donné, je dois stocker ces données (une seule ligne par table). Si pour un RSS, il y des modifications que dans un seul fichier, je dois conserver les données de ce fichier.

Actuellement je stocke toutes les données dans des tables similaires aux tables originales, dont le nom est suffixé par "_fu", pour fusion (tab1_fu, tab2_fu, etc.). J'ai ajouté un champ "numFichier" dans les tables *_fu afin de savoir d'où viennent les données.

Exemples de données dans les tables avec 3 fichiers : ("..." indique qu'il y a plusieurs champs propres à chaque table et dont les données peuvent varier à chaque ligne)
tab1_fu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
NRSS ... numFichier
 1             1
 1             2
 1             3
 2             1
 2             2
 3             2
 3             3
 4             1

tab2_fu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
NRSS ... numFichier
 1             1
 1             2
 1             3
 2             1
 2             2
 2             3
 3             1
 3             2
 3             3
 4             1
 4             2
 4             3

tab3_fu :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
 
NRSS ... numFichier
 1             1
 1             1
 1             3
 2             3
 2             3
 2             3
 2             3
 2             3
 3             1

J'ai pensé faire une table temporaire contenant le NRSS et le nom de chaque table dans laquelle je noterai le numéro du fichier (par fichier) et à partir de là comparer les données si besoin. (si vous avez une meilleure idée je suis preneur)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
NRSS tab1 tab2 tab3
 1    1     1    1
 1    2     2    -
 1    3     3    3
 2    1     1    -
 2    2     2    -
 2    -     3    3
 3    -     1    1
 3    2     2    -
 3    3     3    -
 4    -     1    -
 4    -     2    -
 4    -     3    -

Je n'arrive pas à trouver la requête permettant de remplir cette table.

**Artemus24** · 24/06/2016, 20h38

Salut Christophe P.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
--------------
SET AUTOCOMMIT = 0
--------------
 
--------------
START TRANSACTION
--------------
 
--------------
DROP DATABASE IF EXISTS `base`
--------------
 
--------------
CREATE DATABASE `base`
        DEFAULT CHARACTER SET `latin1`
        DEFAULT COLLATE       `latin1_general_ci`
--------------
 
--------------
DROP TABLE IF EXISTS `tab1_fu`
--------------
 
--------------
CREATE TABLE `tab1_fu`
(
  `id`          integer unsigned NOT NULL auto_increment primary key,
  `nrss`        integer unsigned NOT NULL,
  `numfichier`  integer unsigned NOT NULL
) ENGINE=InnoDB
  DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
  ROW_FORMAT=COMPRESSED
--------------
 
--------------
insert into `tab1_fu` (`nrss`,`numfichier`) values
  (1,1),(1,2),(1,3),(2,1),(2,2),(3,2),(3,3),(4,1)
--------------
 
--------------
select * from tab1_fu
--------------
 
+----+------+------------+
| id | nrss | numfichier |
+----+------+------------+
|  1 |    1 |          1 |
|  2 |    1 |          2 |
|  3 |    1 |          3 |
|  4 |    2 |          1 |
|  5 |    2 |          2 |
|  6 |    3 |          2 |
|  7 |    3 |          3 |
|  8 |    4 |          1 |
+----+------+------------+
--------------
DROP TABLE IF EXISTS `tab2_fu`
--------------
 
--------------
CREATE TABLE `tab2_fu`
(
  `id`          integer unsigned NOT NULL auto_increment primary key,
  `nrss`        integer unsigned NOT NULL,
  `numfichier`  integer unsigned NOT NULL
) ENGINE=InnoDB
  DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
  ROW_FORMAT=COMPRESSED
--------------
 
--------------
insert into `tab2_fu` (`nrss`,`numfichier`) values
  (1,1),(1,2),(1,3),(2,1),(2,2),(2,3),(3,1),(3,2),(3,3),(4,1),(4,2),(4,3)
--------------
 
--------------
select * from tab2_fu
--------------
 
+----+------+------------+
| id | nrss | numfichier |
+----+------+------------+
|  1 |    1 |          1 |
|  2 |    1 |          2 |
|  3 |    1 |          3 |
|  4 |    2 |          1 |
|  5 |    2 |          2 |
|  6 |    2 |          3 |
|  7 |    3 |          1 |
|  8 |    3 |          2 |
|  9 |    3 |          3 |
| 10 |    4 |          1 |
| 11 |    4 |          2 |
| 12 |    4 |          3 |
+----+------+------------+
--------------
DROP TABLE IF EXISTS `tab3_fu`
--------------
 
--------------
CREATE TABLE `tab3_fu`
(
  `id`          integer unsigned NOT NULL auto_increment primary key,
  `nrss`        integer unsigned NOT NULL,
  `numfichier`  integer unsigned NOT NULL
) ENGINE=InnoDB
  DEFAULT CHARSET=`latin1` COLLATE=`latin1_general_ci`
  ROW_FORMAT=COMPRESSED
--------------
 
--------------
insert into `tab3_fu` (`nrss`,`numfichier`) values
  (1,1),(1,1),(1,3),(2,3),(2,3),(2,3),(2,3),(2,3),(3,1)
--------------
 
--------------
select * from tab3_fu
--------------
 
+----+------+------------+
| id | nrss | numfichier |
+----+------+------------+
|  1 |    1 |          1 |
|  2 |    1 |          1 |
|  3 |    1 |          3 |
|  4 |    2 |          3 |
|  5 |    2 |          3 |
|  6 |    2 |          3 |
|  7 |    2 |          3 |
|  8 |    2 |          3 |
|  9 |    3 |          1 |
+----+------+------------+
--------------
create table sample
select nrss, numfichier as fic, numfichier as tab1, null       as tab2, null       as tab3  from tab1_fu  union
select nrss, numfichier as fic, null       as tab1, numfichier as tab2, null       as tab3  from tab2_fu  union
select nrss, numfichier as fic, null       as tab1, null       as tab2, numfichier as tab3  from tab3_fu
order by nrss, fic
--------------
 
--------------
select * from sample
--------------
 
+------+-----+------+------+------+
| nrss | fic | tab1 | tab2 | tab3 |
+------+-----+------+------+------+
|    1 |   1 | NULL |    1 | NULL |
|    1 |   1 | NULL | NULL |    1 |
|    1 |   1 |    1 | NULL | NULL |
|    1 |   2 | NULL |    2 | NULL |
|    1 |   2 |    2 | NULL | NULL |
|    1 |   3 | NULL |    3 | NULL |
|    1 |   3 | NULL | NULL |    3 |
|    1 |   3 |    3 | NULL | NULL |
|    2 |   1 | NULL |    1 | NULL |
|    2 |   1 |    1 | NULL | NULL |
|    2 |   2 | NULL |    2 | NULL |
|    2 |   2 |    2 | NULL | NULL |
|    2 |   3 | NULL | NULL |    3 |
|    2 |   3 | NULL |    3 | NULL |
|    3 |   1 | NULL | NULL |    1 |
|    3 |   1 | NULL |    1 | NULL |
|    3 |   2 | NULL |    2 | NULL |
|    3 |   2 |    2 | NULL | NULL |
|    3 |   3 | NULL |    3 | NULL |
|    3 |   3 |    3 | NULL | NULL |
|    4 |   1 |    1 | NULL | NULL |
|    4 |   1 | NULL |    1 | NULL |
|    4 |   2 | NULL |    2 | NULL |
|    4 |   3 | NULL |    3 | NULL |
+------+-----+------+------+------+
--------------
select nrss, tab1, tab2, tab3
from (
 
    select nrss, fic, max(tab1) as tab1, max(tab2) as tab2, max(tab3) as tab3  from sample  where fic=1  group by nrss  union
    select nrss, fic, max(tab1) as tab1, max(tab2) as tab2, max(tab3) as tab3  from sample  where fic=2  group by nrss  union
    select nrss, fic, max(tab1) as tab1, max(tab2) as tab2, max(tab3) as tab3  from sample  where fic=3  group by nrss
 
) as x
order by nrss, fic
--------------
 
+------+------+------+------+
| nrss | tab1 | tab2 | tab3 |
+------+------+------+------+
|    1 |    1 |    1 |    1 |
|    1 |    2 |    2 | NULL |
|    1 |    3 |    3 |    3 |
|    2 |    1 |    1 | NULL |
|    2 |    2 |    2 | NULL |
|    2 | NULL |    3 |    3 |
|    3 | NULL |    1 |    1 |
|    3 |    2 |    2 | NULL |
|    3 |    3 |    3 | NULL |
|    4 |    1 |    1 | NULL |
|    4 | NULL |    2 | NULL |
|    4 | NULL |    3 | NULL |
+------+------+------+------+
--------------
commit
--------------
 
--------------
SET AUTOCOMMIT = 1
--------------
 
Appuyez sur une touche pour continuer...

Si la table "sample" devient importante en terme de volumétrie, il faudra songer à mettre un index sur le couple (nrss ; fic).

@+

**Michel Rotta** · 25/06/2016, 12h05

@Christophe

J'ai un peu de mal à comprendre l'intérêt de la structure de la dernière table. J'aurais plutôt vu une structure dans le genre

NRSS
NomFichier ou NumFichier
Valeur

Avec la création d'une clef primaire sur NRSS et NomFichier.

Ceci permettant d'étendre le nombre de fichiers remontés sans impacte sur la structure des données. Mais comme je ne vois pas trop la finalité de ce que tu veux réaliser je te laisse voir.

**Christophe P.** · 27/06/2016, 09h53

@Artemus24 merci, j'essaie dans la journée.

Envoyé par Michel Rotta

@Christophe

J'ai un peu de mal à comprendre l'intérêt de la structure de la dernière table. J'aurais plutôt vu une structure dans le genre

NRSS
NomFichier ou NumFichier
Valeur

Avec la création d'une clef primaire sur NRSS et NomFichier.

Ceci permettant d'étendre le nombre de fichiers remontés sans impacte sur la structure des données. Mais comme je ne vois pas trop la finalité de ce que tu veux réaliser je te laisse voir.

Chaque table possède au moins une dizaine de valeurs à comparer. Cette nouvelle table me permet de faire une synthèse des modifications effectuées afin de pouvoir en comparer les valeurs.

**Christophe P.** · 27/06/2016, 18h18

Merci à tous.
J'utilise la requête dans l'autre sens pour mon PHP :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
select nrss, nomtable, fic1, fic2, fic3
from (
  select f1.nrss, 'tab1' as nomtable, max(f1.tab1) as fic1,  max(f2.tab1) as fic2,  max(f3.tab1) as fic3
    from sample f1, sample f2, sample f3
    where f1.fic = 1 and f1.nrss = 1 and f2.fic = 2 and f2.nrss = 1 and f3.fic = 3 and f3.nrss = 1
    group by f1.nrss  
  union
  select f1.nrss, 'tab2' as nomtable, max(f1.tab2) as fic1,  max(f2.tab2) as fic2,  max(f3.tab2) as fic3
    from sample f1, sample f2, sample f3
    where f1.fic = 1 and f1.nrss = 1 and f2.fic = 2 and f2.nrss = 1 and f3.fic = 3 and f3.nrss = 1
    group by f1.nrss  
  union
  select f1.nrss,'tab3' as nomtable,  max(f1.tab3) as fic1,  max(f2.tab3) as fic2,  max(f3.tab3) as fic3
    from sample f1, sample f2, sample f3
    where f1.fic = 1 and f1.nrss = 1 and f2.fic = 2 and f2.nrss = 1 and f3.fic = 3 and f3.nrss = 1
    group by f1.nrss  
) as x
order by nrss

**Artemus24** · 28/06/2016, 10h16

Salut Christophe P.

Tes explications n'ont pas été claires depuis le début.
Je me suis conformé au résultat que tu voulais obtenir, à savoir une présentation verticale.
Autrement dit, mettre la table tab1_fu dans la première colonne, la table tab2_fu dans la deuxième colonne, et la table tab3_fu dans la troisième colonne.
Et faire des regroupements pour supprimer les éventuels doublons.
Le résultat que je t'ai donné est conforme à ta demande !

Envoyé par Christophe P.

J'utilise la requête dans l'autre sens pour mon PHP :

Ce n'est pas une erreur de ma part, si tu changes le sens de la présentation de tes résultats.

Voici maintenant la présentation horizontale de tes résultats :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
--------------
drop table if exists `sample`
--------------
 
--------------
create table sample
select nrss, 1 as tab, case numfichier when 1 then numfichier end as fic1,
                       case numfichier when 2 then numfichier end as fic2,
                       case numfichier when 3 then numfichier end as fic3  from tab1_fu  union
select nrss, 2 as tab, case numfichier when 1 then numfichier end as fic1,
                       case numfichier when 2 then numfichier end as fic2,
                       case numfichier when 3 then numfichier end as fic3  from tab2_fu  union
select nrss, 3 as tab, case numfichier when 1 then numfichier end as fic1,
                       case numfichier when 2 then numfichier end as fic2,
                       case numfichier when 3 then numfichier end as fic3  from tab3_fu
order by nrss, tab
--------------
 
--------------
select * from sample
--------------
 
+------+-----+------+------+------+
| nrss | tab | fic1 | fic2 | fic3 |
+------+-----+------+------+------+
|    1 |   1 |    1 | NULL | NULL |
|    1 |   1 | NULL |    2 | NULL |
|    1 |   1 | NULL | NULL |    3 |
|    1 |   2 |    1 | NULL | NULL |
|    1 |   2 | NULL |    2 | NULL |
|    1 |   2 | NULL | NULL |    3 |
|    1 |   3 |    1 | NULL | NULL |
|    1 |   3 | NULL | NULL |    3 |
|    2 |   1 |    1 | NULL | NULL |
|    2 |   1 | NULL |    2 | NULL |
|    2 |   2 |    1 | NULL | NULL |
|    2 |   2 | NULL |    2 | NULL |
|    2 |   2 | NULL | NULL |    3 |
|    2 |   3 | NULL | NULL |    3 |
|    3 |   1 | NULL |    2 | NULL |
|    3 |   1 | NULL | NULL |    3 |
|    3 |   2 |    1 | NULL | NULL |
|    3 |   2 | NULL |    2 | NULL |
|    3 |   2 | NULL | NULL |    3 |
|    3 |   3 |    1 | NULL | NULL |
|    4 |   1 |    1 | NULL | NULL |
|    4 |   2 | NULL |    2 | NULL |
|    4 |   2 | NULL | NULL |    3 |
|    4 |   2 |    1 | NULL | NULL |
+------+-----+------+------+------+
--------------
select nrss, fic1, fic2, fic3
from (
    select nrss, tab, max(fic1) as fic1, max(fic2) as fic2, max(fic3) as fic3  from sample  where tab=1  group by nrss  union
    select nrss, tab, max(fic1) as fic1, max(fic2) as fic2, max(fic3) as fic3  from sample  where tab=2  group by nrss  union
    select nrss, tab, max(fic1) as fic1, max(fic2) as fic2, max(fic3) as fic3  from sample  where tab=3  group by nrss
 
) as x
order by nrss, tab
--------------
 
+------+------+------+------+
| nrss | fic1 | fic2 | fic3 |
+------+------+------+------+
|    1 |    1 |    2 |    3 |
|    1 |    1 |    2 |    3 |
|    1 |    1 | NULL |    3 |
|    2 |    1 |    2 | NULL |
|    2 |    1 |    2 |    3 |
|    2 | NULL | NULL |    3 |
|    3 | NULL |    2 |    3 |
|    3 |    1 |    2 |    3 |
|    3 |    1 | NULL | NULL |
|    4 |    1 | NULL | NULL |
|    4 |    1 |    2 |    3 |
+------+------+------+------+

Je ne t'ai pas redonné la totalité du script car la première partie ne change pas.

J'ai changé le nom des colonnes afin d'être en conformité avec leur signification.
"tab" désigne le numéro de la table. "fic" désigne le contenu de la table.

Tu remarqueras que la seconde requête ne change pas dans sa structure par rapport à mon précédent exemple.

@+

**Christophe P.** · 28/06/2016, 11h34

Envoyé par Artemus24

Je me suis conformé au résultat que tu voulais obtenir, à savoir une présentation verticale.

Désolé si tu as pris ça comme un reproche, ce n'en était pas un. Au départ je voulais principalement le tableau comme présenté mais ensuite pour mon code PHP l'autre présentation s'est révélée plus pratique, mais la création de la table regroupant tout sert toujours.
J'ai mis ma requête car je donne les infos sur ce que je fais (je râle suffisamment quand sur un forum je trouve une réponse se limitant à "j'ai fait autrement, bye").

**Michel Rotta** · 29/06/2016, 09h20

Envoyé par Christophe P.

@Artemus24 merci, j'essaie dans la journée.
Chaque table possède au moins une dizaine de valeurs à comparer. Cette nouvelle table me permet de faire une synthèse des modifications effectuées afin de pouvoir en comparer les valeurs.

C'est plutôt sur la pertinence du modèle multi table que je me pose des questions. Je sais par contre que cela ne répond pas directement à ta demande, mais clarifier un modèle est parfois plus simple, au début d'un projet, que de faire de super requêtes de la mort qui tue

**Christophe P.** · 29/06/2016, 09h48

Le modèle multi-tables fait parti de l'existant, et ce n'est malheureusement pas le pire dans l'application. Les évolutions techniques passent toujours à la fin car cela ne change rien pour le client et qu'il n'a pas le budget pour toutes les évolutions fonctionnelles qu'il voudrait.

**Artemus24** · 29/06/2016, 10h23

Salut Michel Rotta.

Envoyé par Michel Rotta

C'est plutôt sur la pertinence du modèle multi table que je me pose des questions.

Qu'est-ce que tu proposes ?

Tu peux te poser des question, mais nous ne sommes pas là pour faire une refonte de ce qui te semble mal foutu.
J'ai répondu à la demande de Christophe P. et c'est le but de ce forum.
Ne connaissant pas le fond du problème, il est difficile d'y répondre et ce n'est pas sa demande !

Envoyé par Michel Rotta

Je sais par contre que cela ne répond pas directement à ta demande, ...

Sa demande est de faire une fusion de plusieurs tables en une seule. En quoi un modèle multi-critère serait inadapté à sa demande ?

Envoyé par Michel Rotta

... mais clarifier un modèle est parfois plus simple, au début d'un projet, que de faire de super requêtes de la mort qui tue

Clarifier quoi ?

Imagine que ces fichiers fusions proviennent de différents utilisateurs. Qu'est-ce que tu veux clarifier ?
C'est une contrainte qui est imposée par la façon dont il travaille.
En gros, le travail de Christophe P. est de faire une synthèse sur les fichiers. Qu'est-ce que tu veux améliorer ?

Pour Christophe P., il doit trouver une solution pour exploiter correctement toutes ces données.
Il est nécessaire de passer par une table de travail, juste pour organiser ces données.

Ce n'est pas une super requêtes de la mort, comme tu dis Michel Rotta., mais la façon de faire une CTE sous MySql.
Si tu proposes mieux, je suis preneur.

@+