Détecter les suppression dans un fichier qui sert à alimenter une BDD

Bonjour à tous,

Un serveur maître exporte des données dans un fichier qu'il envoi à mon serveur WEB pour que je les mette à jour.

Ma première question consiste à savoir quelle est la terminaison du verbe mettre quand je le conjugue au présent subjonctif à la première personne (que je les met... à jour)

Ma deuxième question concerne la détection des entrées supprimées du fichier.

Je vois pour ma part deux approches :

1. Ajouter une colonne supplémentaire dans ma table qui contiendra un drapeau de suppression.
   en parcourant le fichier, si je trouve l'entreprise dans ma table je baisse le drapeau et je fais les traitements nécessaires pour la détection d'un ajout ou d'une mise à jour. Je fais ensuite une deuxième passe sur ma table et je supprime toutes les entreprises qui ont le drapeau levé.
   
   
   Code:

   ---

   DELETE FROM Table WHERE Suppression = 1

   ---

   Il y a un truc qui me gêne dans cette approche c'est que je rajoute une colonne dans ma table qui n'a rien à voir avec mes données donc mon modèle est pourri.
   
   
   
2. Autre solution, passer par une table de mouvement. Ça consiste à avoir une 2 table identique à ma table originel sauf qu'elle a la fameuse colonne en plus. Cette fois je m'en fou parce que cette table n'est pas une table de données et elle ne fait pas partie de mon modèle. Elle sert juste au traitement. Bref, à chaque fois que je reçois le fichier, je supprime et recrée (ou tronque et rempli) la table mouvement à partir de la table originelle, je décide que la 3 ième colonne a le drapeau levé par défaut, et puis même histoire que la solution 1.
   
   Ce qui me gêne dans cette solution c'est de devoir écraser la table à chaque fois. Je ne sais pas si MySQL fait ça rapidement ou pas. D'ailleurs, qu'est-ce qui est préférable : supprimer et copier ou tronquer et remplir ?

Merci pour vous avis éclairés.

3. créer une table pour modéliser le contenu du fichier, et jouer avec les JOIN pour trouver les valeurs en plus/en moins/communes entre la table de réference et la table du fichier.

Sans oublier que pour la solution 2 il faut ensuite faire l'opération inverse : supprimer la table originelle et la recréer depuis la table des mouvements (sans prendre la 3ième colonne)

et pour a)

"Patientez.. Je met à jour votre Base de Données" ;)

et en général dans les BDD c'est la solution 1 qui est implantée...

(modifiée, car il faut garder l'original, tenir compte des modifs et les garder, plus éventuellement la suppression).

Bonjour à tous et merci pour vos réponses.

Je ne penses pas que je vais pouvoir m'en sortir avec des joins car je n'ai pas de clé primaire. Les Id ne sont pas uniques car le fichier que je reçois alimente une table de liens entre deux autres tables.

Sinon ce document de Jeff Attwood explique visuellement comment ça pourrait marcher avec des join si les clés étaient uniques
http://www.codinghorror.com/blog/archives/000976.html

Ok j'ai pas assez réfléchis avant de poster, en fait il y a bien un moyen de détecter une suppression :

Code:

---

1 2 3 4 5

SELECT T1.ID1, FROM T1 LEFT JOIN T2 ON T1.Id1 = T2.Id1 WHERE T2.id1 IS NULL

---

Trouvera les entrées de T1 qui ne sont pas dans T2.

La notion de mise à jour n'est peut être pas pertinente dans mon cas (c'est une table de lien), donc en fait soit il y a une nouvelle entrée soit il n'y en a pas. Et inversement, soit une entrée existante a disparu soit elle n'a pas disparu. Je suis donc amené à faire de toute façon deux passes : une passe avec le premier bout de code, et une deuxième passe avec le même bout de code mais en intervertissant T1 et T2.

Si quelqu'un a une meilleur idée je suis bien sure preneur.

Ok je dis que des bêtises là parce que ça ne sert à rien de détecter les suppressions sur un seul ID... Je vais d'abord bien réfléchir et faire quelques tests avant de reposter :p

Voici l'algo :

* Détecter les nouvelles entrées (soit de nouvelles entreprises soit de nouveaux liens)
* Supprimer les anciennes entrées (idem)

Pour détecter une nouvelle entrée dans la table FICHIERFORMATION non présente dans la table GESTIONFORMATION

Code:

---

1 2 3 4 5 6 7 8 9

SELECT FF.ID1, FF.ID2 FROM FICHIERFORMATION FF WHERE NOT EXISTS ( SELECT * FROM GESTIONFORMATION GF WHERE GF.ID1 = FF.ID1 AND GF.ID2 = FF.ID2 )

---

Pour détecter une entrée dans la table GESTIONFORMATION qui n'est plus présente dans le fichier FICHIERFORMATION

Code:

---

1 2 3 4 5 6 7 8 9

SELECT GF.ID1, GF.ID2 FROM GESTIONFORMATION GF WHERE NOT EXISTS (   SELECT * FROM FICHIERFORMATION FF WHERE FF.ID1 = GF.ID1 AND GF.ID2 = GF.ID2

---

Par contre je n'ai aucune idée des performances de cette solution (correct, peut mieux faire ou carrément à éviter ?), mais peut être que cette question n'a pas vraiment sa place dans un forum d'algorithmique.

Pourquoi ca ne marcherait pas avec un "OUTER JOIN" ?

Un outer join me sortirai celles qui sont dans T1 et pas dans T2 pour un seul ID.
Or, j'ai besoin de savoir si les DEUX ID sont on ne sont pas et dans T1 et dans T2.

A moins que je fasses un outer join sur ID1 et que je rajoute une clause WHERE sur ID2, mais dans ce cas il pourrait y avoir des doublons...

Voici ce que j'ai essayé

Code:

---

1 2 3 4 5

SELECT FICHIER.ID1, FICHIER.ID2 FROM FICHIER JOIN FORMATION ON FORMATION.ID1 = FICHIER.ID1 WHERE FICHIER.ID2 != FORMATION.ID2

---

Ce code fait bien ce qu'on lui demande mais affiche quelques entrées en plusieurs fois donc j'ai ajouté un distinct juste après le select

Code:

---

1 2 3 4 5

SELECT DISTINCT FICHIER.ID1, FICHIER.ID2 FROM FICHIER JOIN FORMATION ON FORMATION.ID1 = FICHIER.ID1 WHERE FICHIER.ID2 != FORMATION.ID2

---

Cette fois les entrées sont uniques, par contre il ne détecte pas les entrées existant uniquement dans le fichier et pas dans la table. Je me suis dit je vais faire un left join

Code:

---

1 2 3 4 5

SELECT DISTINCT FICHIER.ID1, FICHIER.ID2 FROM FICHIER LEFT JOIN FORMATION ON FORMATION.ID1 = FICHIER.ID1 WHERE FICHIER.ID2 != FORMATION.ID2

---

Mais ça ne trouve toujours pas les nouvelles entrées du fichier.

Donc je ne vois pas trop comment l'écrire avec un outer join...

Citation:

---

Envoyé par yacinechaouche

Un outer join me sortirai celles qui sont dans T1 et pas dans T2 pour un seul ID.
Or, j'ai besoin de savoir si les DEUX ID sont on ne sont pas et dans T1 et dans T2.

---

Tu as un ID composite, c'est ca ? :koi:

Je pense que ce que tu veux faire est faisable avec des JOIN. Tu devrais aller voir sur le forum "Langage SQL". ;)

Citation:

---

Tu as un ID composite, c'est ca ?

---

Je ne sais pas trop. Je n'ai pas d'ID en fait. C'est une table de "liens" qui contient deux colonnes avec deux ID. Cette table est sensée représenter les relations entre les entreprises pour dire qui gère qui. donc si j'ai 102,130 dans la table cela voudrait dire que 130 gère 102 (oui l'ordre est inversé dans la table).

Donc il faut que je détecte : les nouvelles entreprises, les entreprises supprimées, les nouveaux liens, et les liens supprimés.

Citation:

---

Je pense que ce que tu veux faire est faisable avec des JOIN. Tu devrais aller voir sur le forum "Langage SQL".

---

Comme on dit chez nous : "okaidi, bonne aidi." :p

Citation:

---

Envoyé par yacinechaouche

Je ne sais pas trop. Je n'ai pas d'ID en fait. C'est une table de "liens" qui contient deux colonnes avec deux ID. Cette table est sensée représenter les relations entre les entreprises pour dire qui gère qui. donc si j'ai 102,130 dans la table cela voudrait dire que 130 gère 102 (oui l'ordre est inversé dans la table).

---

Bah, c'est justement ça un ID composite: un identifiant unique fabriqué a partir de plusieurs champs. ;)

L'ID d'une entreprise c'est le champ: ID1
L'ID d'un lien c'est la composition des 2 champs: (ID1,ID2)

Donc en faisant des "JOIN ON (A.ID1=B.ID1 AND A.ID2=B.ID2)" tu devrais récupérer les les liens qui ont changés entre les tables A et B.

Citation:

---

Donc en faisant des "JOIN ON (A.ID1=B.ID1 AND A.ID2=B.ID2)" tu devrais récupérer les les liens qui ont changés entre les tables A et B.

---

Je viens d'essayer : ça me récupère ceux qui n'ont pas changé uniquement. C'est logique puisque je demande que les 2 ids soient trouvées et là et là.

Citation:

---

Envoyé par yacinechaouche

Je viens d'essayer : ça me récupère ceux qui n'ont pas changé uniquement. C'est logique puisque je demande que les 2 ids soient trouvées et là et là.

---

Bah après il faut utiliser un OUTER et tester si A.* ou B.* est NULL

Résolu dans le forum des requêtes MySQL.

Merci à tous pour votre aide.