Discussion :

[magicsam]

Bonjour


Je dispose d’une table avec près de 3 millions de records exportés d’un fichier txt par SSIS.
Chaque enregistrement correspond à 1 case parmi 48 définis.
Ex :

Table1
Date1 clientX MontantMin MontantMax condition1 zone1
Date1 clientY MontantMin MontantMax condition1 zone1
Date1 clientZ MontantMin MontantMax condition1 zone2
Date1 clientA MontantMin MontantMax condition2 zone 8
Date1 clientB MontantMin MontantMax condition3 zone1
(…jusqu’à condition 48) …
Date1 clientC MontantMin MontantMax condition48 zoneN

Et pareil pour les dates

Date2 clientX MontantMin MontantMax condition1 zone1
Date2 clientY MontantMin MontantMax condition1 zone3
Date2 clientZ MontantMin MontantMax condition1 zone7
Date2 clientA MontantMin MontantMax condition2 zone1
Date2 clientB MontantMin MontantMax condition3 zone8
(…jusqu’à condition 48) …
Date2 clientC MontantMin MontantMax condition48 zoneN

Et ainsi de suite.

Je voudrais pouvoir alimenter une autre table TOTAUX avec les totaux Min et Max par date , par condition et par zone
Ex
Date1 Condition1 Zone 1 totalMontantMin totalMontantMax
Date1 Condition1 Zone 2 totalMontantMin totalMontantMax
Date1 Condition1 Zone 3 totalMontantMin totalMontantMax
… zoneN,
Ensuite par condition
Date1 Condition2 Zone 1 totalMontantMin totalMontantMax
Date1 Condition2 Zone 2 totalMontantMin totalMontantMax
Date1 Condition2 Zone 3 totalMontantMin totalMontantMax

…conditionN

Ensuite par date

Date2 Condition1 Zone 1 totalMontantMin totalMontantMax
Date2 Condition1 Zone 2 totalMontantMin totalMontantMax
….

Et ainsi de suite pour toutes les dates.
J’arrive à le faire en passant par coldfusion, en faisant des loop imbriquées mais vu le nombre important de records, c’est bcp trop lent et quasi impossible à faire (server timeout).
Est-il possible de faire les totaux en créant un package SSIS ou mieux intégrer le calcul des totaux à l’insertion des enregistrements dans la table1 ?
D’avance merci à toutes et à tous

[SQLpro]

Le mieux searait d'injecter cela dans une base de données relationnelles. Cela veut dire avec des tables et non des fichiers aux rubriques répétitives.

Une fois ton information éclatée dans les différentes tables, indexer les clefs primaires et étrangères et faire des requêtes.

A +

[magicsam]

Le mieux searait d'injecter cela dans une base de données relationnelles. Cela veut dire avec des tables et non des fichiers aux rubriques répétitives.

Une fois ton information éclatée dans les différentes tables, indexer les clefs primaires et étrangères et faire des requêtes.

A +

Merci Frédéric pour ta réponse.
Cependant, si je comprends bien je devrais spliter la grosse table en 48 tables (au moins), or je dois garder le tout dans une seul table car j'ai un moteur de recherche qui porte sur tous les records en général et ca va être galère sur plusieurs tables. Je dois juste alimenter à part dans une autre table les totaux par jour, pour facilter les stats.
en fait la grosse manip c'est de calculer les totaux pour les enregsitrements actuellement présents (pres de 3 milions). Pour les nouveaux enregistrements insérés, cela prendra fatalement moins de temps car on calculera les totaux au fur à mesure que les nouveaux record seront insérés (au max 350 000 à la fois)

N'y a-til pas moyen de faire en T-SQL des loop imbriquées ou de faire un package pour calculer les différents totaux.

d'avance merci