Elimination des doublons

**hichamus13** · 25/10/2018, 11h24

Bonjour tout le monde.
Je développe en PHP Mysql une application pour la gestion des présences des employés.
Les employés pointent avec leurs badges à l'arrivée et à la sortie.
Ces informations sont transmises ensuite vers un fihier Execl qui regroupe Nom Prénom Date et les heures.
Des fois par manque d'attention, les employés pointent 2 fois l'arrivée
ou la sortie avec un intervalle de quelques secondes.
J'a pu importer les données du fichier Excel sur ma base de données.
Mais je souhaiterais éliminer les doublons.
PS :Un doublon c'est quand il s'agit de la même personne mais la différence des heures est inférieure à 15 secondes.

La structure de ma table est
Nom Prénom, Date et Heure.

Donc en Gros, pour chaque Nom je souhaiterais comparer les heures et éliminer ensuite l'heure la plus récente.

Merci de votre aide

**xdelatour** · 25/10/2018, 13h43

Bonjour,

Il y a sur le site un tuto sur les fonctions de dates/heures avec MySQL.

Plutôt que de chercher à supprimer les doublons, il faudrait mieux ne pas en créer en vérifiant juste avant l'insertion qu'il n'existe pas déjà un enregistrement pour le même utilisateur créé dans les 15 dernières secondes.

**hichamus13** · 25/10/2018, 13h58

Merci pour la réponse, le fichier que je reçois et celui de toute la journée.
Donc il y aura forcément des données en doubles.
Ce que je souhaiterais déjà c'est seulement pouvoir afficher ces données en double et je les supprimerai manuellement.
Y'a t'il une requête qui fait ça ?

**badaze** · 25/10/2018, 19h42

Une question.

Si Pierre Martin pointe à 7:00:00 puis à 7:00:15 puis à 7:00:30 tu dois enregistrer 7:00:00 et 7:00:30 ou bien seulement 7:00:00 car il y a moins de 18 secondes entre le second et le troisième pointage ?

**hichamus13** · 25/10/2018, 19h50

Je prendrai concideration seulement le premier pointage dans ce cas.
L'intervalle de temps je peux le changer. C'est la façon avec laquelle je dois coder ça qui me fais planter

**badaze** · 25/10/2018, 20h47

Est-ce que tu aurais un fichier exemple ?

**hichamus13** · 25/10/2018, 21h02

Pas maintenant mais je reçois un fichier Excel avec
Id du pointage, porte, date qui regroupe la date du jour+ heure, et nom de la personne regroupant nom et prénom

**badaze** · 25/10/2018, 22h45

L'idée est de déverser les données du fichier Excel dans une table "temporaire" qui est vidée avant l'insertion.
Puis de faire l'insertion dans la table définitive à partir de la requête suivante.

Avec le peu de données que j'ai ça à l'air de fonctionner.

Code SQL :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
 
SELECT `nom`,`prenom`,`date`, `heure` FROM
(
 SELECT T1.`nom`,T1.`prenom`,T1.`date`, T1.`heure`, 
 CASE WHEN T2.`heure` IS NULL THEN T1.`heure` ELSE T2.`heure` END AS `heure2`,
 T1.`heure` - (CASE WHEN T2.`heure` IS NULL THEN T1.`heure` ELSE T2.`heure` END ) AS `delta`
 FROM
 (
 SELECT `nom`,`prenom`,`date`, `heure`, @rank:=@rank+1 as rang
 FROM `horaires_tmp`
 inner join (SELECT @rank:=0) RANK
 ) T1
 LEFT JOIN
 (
 SELECT `nom`,`prenom`,`date`, `heure`, @rank2:=@rank2+1 as rang
 FROM `horaires_tmp`
 inner join (SELECT @rank2:=0) RANK
 ) T2
 ON T1.nom = T2.nom AND T1.prenom = T2.prenom AND T1.`date` = T2.`date` AND T1.`rang` = T2.`rang`+1
) AS RESULTAT
WHERE `delta` NOT BETWEEN 1 AND 18

Les données : les heures surlignées doivent disparaître du résulat.

Nom : Capture20181025001.JPG
Affichages : 161
Taille : 31,4 Ko

donne

Nom : Capture20181025002.JPG
Affichages : 172
Taille : 21,5 Ko

Le fichier SQL joint contient la structure de la table et les données.

**hichamus13** · 25/10/2018, 22h55

Merci pour ta réponse.
Je resterai ça demain et je te tiendrai au courant

**hichamus13** · 26/10/2018, 10h27

Bonjour Badaze,
Je viens de tester ta requête et en essayant de l'adapter avec ma table ça me sort une erreur.
Le tableau que je reçois est sous cette forme :
N° Pointage : 12345
Date : 25/10/2018 08:00:23
event : Accès permis
Door : Pointage
desc : DUPONT, Pierre

Le champs date regroupe alors la date et l'heure
J'importe les champs date et desc sur une base de données et ma table "tbl_excel" devient de cette forme :

date
26/10/2018 08:00:15
description Dupont, Pierre

J'ai appliqué donc ta requête comme suit :

Code Sql:

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
SELECT `description`,`substr(date, 1, 10)`, `substr(date, 12, 19)` FROM
(   
 SELECT T1.`description`,T1.`substr(date, 1, 10)`, T1.`substr(date, 12, 19)`, 
 CASE WHEN T2.`substr(date, 12, 19)` IS NULL THEN T1.`substr(date, 12, 19)` ELSE T2.`substr(date, 12, 19)` END AS `heure2`,
 T1.`substr(date, 12, 19)` - (CASE WHEN T2.`substr(date, 12, 19)` IS NULL THEN T1.`substr(date, 12, 19)` ELSE T2.`substr(date, 12, 19)` END ) AS `delta`
 FROM
 (
 SELECT `description`,`substr(date, 1, 10)`, `substr(date, 12, 19)`, @rank:=@rank+1 as rang
 FROM `tbl_excel`
 inner join (SELECT @rank:=0) RANK
 ) T1
 LEFT JOIN
 (
 SELECT `description`,`substr(date, 1, 10)`, `substr(date, 12, 19)`, @rank2:=@rank2+1 as rang
 FROM `tbl_excel`
 inner join (SELECT @rank2:=0) RANK
 ) T2
 ON T1.description = T2.description AND T1.`substr(date, 1, 10)` = T2.`substr(date, 1, 10)` AND T1.`rang` = T2.`rang`+1
) AS RESULTAT
WHERE `delta` NOT BETWEEN 1 AND 18

L'erreur que j'ai est la suivante :

Unknown column 'substr(date, 12, 19)' in 'field list'

Merci encore

**badaze** · 26/10/2018, 11h28

Il ne faut pas mettre de ´ autour de substr(....) mais autour de date.

**hichamus13** · 26/10/2018, 11h51

Maintenant c'est :

ERROR 1064 (42000): You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '(substr('date', 12, 19)) END ) AS `delta`
FROM
(
SELECT `description`,substr(' at line 5

Merci

**badaze** · 26/10/2018, 12h33

C’est pas le même guillemet autour de date qu’autour des autres champs.
Je ne vais pas débogguer ta requête.

**hichamus13** · 26/10/2018, 13h08

Bonjour,

J'ai fait comme ce que tu m'as dit, j'ai créé une autre table pour extraire les champs Date et heure, et j'ai exécuté ta requête.
ça a marché. Un grand merci pour ton aide.

**badaze** · 26/10/2018, 17h18

Dans ce cas marque la discussion comme

et n’hésite pas

les réponses qui t’ont aidées.

**hichamus13** · 26/10/2018, 18h00

En fait c'est pas résolu tant que ça.
Quand j'ai fait le test sur un tableau avec beaucoup de données, ça n'élimine pas du tout les doublons.
ça me ré-affiche la table d'origine

**badaze** · 26/10/2018, 19h47

Poste le source de la table ainsi que son contenu et la requête bien sûr.

**hichamus13** · 27/10/2018, 22h05

Je l'enverrai lundi. Merci beaucoup

**hichamus13** · 29/10/2018, 17h10

Bonjour,
Voici ma table.
La requete est la suivante :

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
SELECT `description`,`substr(date, 1, 10)`, `substr(date, 12, 19)` FROM
(   
 SELECT T1.`description`,T1.`substr(date, 1, 10)`, T1.`substr(date, 12, 19)`, 
 CASE WHEN T2.`substr(date, 12, 19)` IS NULL THEN T1.`substr(date, 12, 19)` ELSE T2.`substr(date, 12, 19)` END AS `heure2`,
 T1.`substr(date, 12, 19)` - (CASE WHEN T2.`substr(date, 12, 19)` IS NULL THEN T1.`substr(date, 12, 19)` ELSE T2.`substr(date, 12, 19)` END ) AS `delta`
 FROM
 (
 SELECT `description`,`substr(date, 1, 10)`, `substr(date, 12, 19)`, @rank:=@rank+1 as rang
 FROM `tbl_excel`
 inner join (SELECT @rank:=0) RANK
 ) T1
 LEFT JOIN
 (
 SELECT `description`,`substr(date, 1, 10)`, `substr(date, 12, 19)`, @rank2:=@rank2+1 as rang
 FROM `tbl_excel`
 inner join (SELECT @rank2:=0) RANK
 ) T2
 ON T1.description = T2.description AND T1.`substr(date, 1, 10)` = T2.`substr(date, 1, 10)` AND T1.`rang` = T2.`rang`+1
) AS RESULTAT
WHERE `delta` NOT BETWEEN 1 AND 18

**badaze** · 29/10/2018, 20h26

Ta requête SQL n'a rien à voir avec ce que j'ai posté....

tu mets :
1 - `substr(date, 1, 10)` alors que les ` entourent un champ => substr(date`,1, 10) d'où une erreur indiquant un champ inconnu.
2 - T1.`substr(date, 1, 10)`alors que l'alias d'une table préfixe le champ => substr(T1.`date`, 1, 10)
3 - Ta date/heure est mise dans un champ VARCHAR donc impossible de faire des calculs de date dessus sans conversion.

Là ça n'a pas l'air trop déconnant. A toi de contrôler.

Code sql :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
 
SELECT `description`, `datex`, `heure`,`heure2`, `delta` FROM
(   
 SELECT T1.`description`, T1.`datex`, T1.`heure`, 
 CASE WHEN T2.`datex` IS NULL THEN T1.`heure` ELSE T2.`heure` END AS `heure2`,
 TIME_TO_SEC(T1.`heure`) - (CASE WHEN T2.`heure` IS NULL THEN TIME_TO_SEC(T1.`heure`) ELSE TIME_TO_SEC(T2.`heure`) END ) AS `delta`
 FROM
 (
 SELECT `description`,date(STR_TO_DATE(substr(`date`, 1, 10),'%d/%m/%Y')) as `datex`, 
 (substr(`date`, 12, 8)) as `heure`, @rank:=@rank+1 as rang
 FROM `tbl_excel`
 inner join (SELECT @rank:=0) RANK
 order by 1, 2, 3
 ) T1
 LEFT JOIN
 (
 SELECT `description`,date(STR_TO_DATE(substr(`date`, 1, 10),'%d/%m/%Y')) as `datex`, 
 (substr(`date`, 12, 8)) as `heure`, @rank2:=@rank2+1 as rang
 FROM `tbl_excel`
 inner join (SELECT @rank2:=0) RANK
 order by 1, 2, 3
 ) T2
 ON T1.description = T2.description AND T1.`datex` = T2.`datex` AND T1.`rang` = T2.`rang`+1
) AS RESULTAT
WHERE `delta` NOT BETWEEN 1 AND 18
order by `description`, `datex`, `heure`

Elimination des doublons

Contribuez / Téléchargez Sources et Outils PHP

Discussions similaires

Partager

Partager