Discussion :

[JustineJ]

Bonjour à tous,

J'ai une application qui utilise une BDD Hyperfile qui doit être alimentée par des imports successifs de fichier csv.

Pour les imports, tout est ok, j'en profite pour ajouter des données et faire des calculs.

Mon soucis arrive au moment ou je veux vérifier la présence ou non de doublons dans la BDD et les supprimer si il y en a.
En fait il n'y a pas de clé unique dans les imports.
De nombreuses valeurs peuvent se trouver en communs de différentes lignes.

Je voudrais donc supprimer les lignes TOTALEMENT identiques (sur 164 colonnes).

Que me conseillez vous afin de perdre le moins de temps possible et évidement d'obtenir un fichier propre ?

Voilà ce que j'ai tenté sans succès :

//On copie toutes les valeurs trouver dans la requête - la requête copie toutes les valeurs mais supprime les doublons
HExécuteRequête(REQ_BaseSansDoublons)

// On efface toute la BDD "BaseCopie" et on y intègre la requête sans doublons pour effacer les doublons si il y a eu plusieurs imports des mêmes données
HCréation(BaseCopie)

//Maintenant on ajoute les données dans le fichier "BaseCopie"
HLitPremier (REQ_BaseSansDoublons) // Charge en mémoire les données du premier enregistrement du fichier

TANTQUE PAS HEnDehors(REQ_BaseSansDoublons)

//Il faut copier toutes les valeurs !!! ICI LA COPIE fonctionne mais je n'obtiens que des 0 et seulement pourcertaines colonnes ...
HCopieEnreg(BaseCopie,REQ_BaseSansDoublons,hValDéfaut)

HRAZ(BaseCopie)
HAjoute(BaseCopie)

HLitSuivant (REQ_BaseSansDoublons)
TableAffiche(TABLE_BaseCopie,taInit)

FIN

//On efface la BDD de Base
HCréation(Base)

//Maintenant on ajoute les données
HLitPremier (BaseCopie) // Charge en mémoire les données du premier enregistrement du fichier

TANTQUE PAS HEnDehors(BaseCopie)

HCopieEnreg(Base,BaseCopie)

HRAZ(Base)
HAjoute(Base)

HLitSuivant (BaseCopie)

TableAffiche(TABLE_Base,taInit)

FIN

Merci d'avance pour votre aide qui est toujours très précieuse.

Justine.

[PaulNero]

Bonsoir,
si j'étais vous je créerai une procédure qui s'appellerait doublonTraitement qui parcourirait l'ensemble des "fichiers" de la base avec chaque rubrique , et ce grace à la fonction HGEREDOUBLON.
Cela peut prendre du temps, mais une fois la procédure est lancée, vous êtes sur qu'après son exécution, vous viendrez à bout des doublons.


cordialement++

[NetLandGim]

Tes doublons portent sur quoi
Dans une base relationnelle, un doublon portent sur des colonnes ou des couples de colonnes.
N'oublie pas de fixer des contraintes d'unicités sur la BDD.

[JustineJ]

Bonjour,

Merci pour vos réponses.

En fait si j'ai tenté de faire cette manipulation qui n'est pas très "propre c'est que j'ai tenté de créer une clé composée (sur 22 colonnes).

Je n'arrive ni :
à la voir (lorsque je fais l'intgration de mon fichier csv toutes la colonne cléComp est vide)
à la faire fonctionner (les doublons sont tous intégrés si la clé composée et clé avec doublon et 1 seule ligne est intgrée avant erreur si la clé est clé unique).

Donc j'en conclu que toutes les valeurs de cette clés doivent être nulles ...

PaulNero, je vais intégrer à chaque fois plusieurs milliers de lignes, faire une procédure qui contrôle tout ne va pas vraiment ralentir l'appli ?

Je doit construire un Trigger ?

J'ai aussi essayé en intégrant ce code à la fin de ma boucle :

HGèreDoublon(Base,CleComp,Vrai)
//HAjoute(bASE)
SI HAjoute(Base) = Faux ALORS
SI HErreurDoublon() = Vrai ALORS
sNomRub est une chaîne
sNomRub = HErreurInfo(hErrRubrique)
Erreur("Doublon : cet enregistrement ne peut pas être ajouté", ...
"Rubrique associée à l'erreur : "+ sNomRub, ...
FIN
FIN

Mais si j'intègre 2 fois le même fichier rien ne se passe, je me retrouve avec le fichier en double dans ma base...

Merci pour votre aide.