Calculer un délai entre deux dates

Salut à tous,
je travaille avec des BD SQL Server 2008. Comme le stipule l'énoncé, je voudrais calculer un délai entre deux dates.
Je précise, j'ai une date de début et une date de fin.
Le problème c'est que dans ce délai, je dois supprimer les jours fériés et les dimanches.
Je récupère la liste des jours fériés dans une table d'une autre BD.
En plus, je dois prendre en compte la période de travail (08h - 17h).
Jusque là je savais faire la différence entre deux dates simplement : DATEDIFF (second, date_debut, date_fin) --> délai en secondes.
Je sais pas comment prendre en compte ces nouveaux paramètres.

Le plus simple, c'est je pense de travailler avec une table calendrier.

La table contiendra une ligne par jour.

Et deux colonnes "heure début" et "heure fin".

Ensuite ce sera bien plus facile pour faire tests calculs : les dimanches et jours fériers auront 0:00:00 dans début et fin.
Et pour tous les jours, il suffira de faire un sum(heurefin-heuredebut) des lignes strictement comprises dans l'intervalle + le prorata en heures du premier et du dernier jour.

Après, tu peux passer par une CTE pour simuler la table, mais autant passer par une table physique, bien plus performante.