[StreamInsight] Le moteur Stream Insight

[mahdi26_ca]

Bonjour ,
Je suis en train de mettre en place une solution BI .
En cherchant sur le Net , j ai croisé le nouveau moteur de SQL SERVER " Stream Insight " qui permet de diminuer le temps de manipulation des grandes quantité de données et c'est très pratique pour une solution BI .

J'ai fouillé sur le Net mais je suis pas tombé sur un bon tutoriel pour que je comprenne comment exploiter cette technologie .

Je cherche quelqu'un qui peut me fournir un tutoriel expliquant bien ce moteur avec des exemples .

Merci d'avance .

[FrancoisJehl]

Les samples des développeurs sont très bien foutus: http://blogs.msdn.com/b/streaminsigh.../tags/samples/

StreamInsight pour faire simple c'est un moteur qui va te permettre de te brancher sur des flux de données (cours de bourse, relevés de capteurs...) et de réaliser des requêtes Linq dessus pour créer des KPI, extraire des singularités, aggréger les données...
C'est ce qu'on appelle de la gestion d'évènements complexes (CEP ou Complex Event Processing).

[Jinroh77]

François, tu as pu travailler sur le sujet ? ou simplement parcourir des samples ?

la prise en main, interface est plutôt rapide pour un habitué des outils Microsoft ?
Je suppose que ça n'a rien à voir avec du SSIS ?

[mahdi26_ca]

Bonjour François ,

Merci pour votre réponse .

Pouvez vous me dire si ca vaut la peine de pencher sur ce moteur et l'utiliser dans une solution BI ( la restitution est avec Silverlight , la base de production est SQL SERVER , l'ETL doit être implémenter dynamiquement par un code c# ) ?

Est ce qu'il me mettra d'avoir une valeur ajoutée remarquable concernant les performances ( temps de réponse en manipulant une grande quantité de données issue du data warehouse ) ?

[Jinroh77]

Juste pour être sûr, vous savez comment fonctionne un package SSIS, ce qu'est un entrepôt BI et ses principes de fonctionnement ? Ou vous êtes plutôt en mode découverte totale avec ces pré-requis que vous citez ?

[FrancoisJehl]

François, tu as pu travailler sur le sujet ? ou simplement parcourir des samples ?

J'ai été pas mal en avance de phase sur le truc - j'ai testé pas mal de scénar avant la sortie - et j'ai fait une session dessus aux Tech Days en 2010. Après en termes de missions sur le sujet pas grand chose!

la prise en main, interface est plutôt rapide pour un habitué des outils Microsoft ?
Je suppose que ça n'a rien à voir avec du SSIS ?

Ca dépend de ce que tu appelles "les outils MS": StreamInsight c'est surtout du .NET! A l'utilisation ce sont des classes d'adapteurs en .NET à étendre (ou du ReactiveFramework avec du IObservable) pour créer des adapteurs et des requêtes Linq un peu particulières à effectuer sur les flux des adapteurs. Donc rien à voir avec SSIS dans l'utilisation. Par contre comme IS ça manipule des flux, et il y a donc des convergences. Ping Wang de l'équipe StreamInsight et Wee Hyong Tok de l'équipe SSIS ont écrit récemment ce WhitePaper sur des scénarios d'interopérabilité SSIS / StreamInsight (http://blogs.msdn.com/b/streaminsigh...ite-paper.aspx)

@mahdi26_ca: je plussoie sur la question de Jinroh77... Juste un mot cependant: on a deux grosses différence entre un ETL (SSIS) et un CEP (StreamInsight)
1) En grosse maille l'ETL se fait par batches et le CEP en temps réel sur les sources
2) Le CEP est optimisé pour des requêtes de temps fenêtrées (la date d'un enregistrement est très importante) ce que ne fait pas un ETL (ou alors difficilement: son but est de relacher la donnée de son cache le plus rapidement possible).

SSIS dans notre cas contient beaucoup de transformations complexes utilisables directement alors que StreamInsight est un "framework" ou toutes les transfos complexes sont à faire. L'idée du WhitePaper au dessus est que si les produits ont été conçus dans des approches différentes ils peuvent être complémentaires.

[Jinroh77]

Merci pour ton retour sur le sujet. Je me disais bien que tu y avais déjà mis le nez, beaucoup plus visiblement
En tout cas ça répond bien à ma question. on interroge d'autres type de données, en temps réel (merci pour la précision), avec du pure .NET.

Je lirai avec attention ce WhitePaper pour en apprendre plus sur les interactions avant d'en parler en clientèle

Merci pour les précisions.

[mahdi26_ca]

d'abord merci FrancoisJehl pour vos pertinentes explications .
et merci Jinroh77 pour votre attention .

En fait je suis en stage de fin d'études et je cherche les meilleures façons et les meilleures technologies à utiliser pour garantir une meilleure performance pour mon application .

en fait en croisant StreamInsight , j avais l intention de l'utiliser pour interroger le data warehouse afin d'assurer une réponse quasi en temps réel pour l'utilisateur final du l'application .
c'est exactement mon souci .( j'ai évoqué le SSIS pour juste comprendre de quoi s'agit l'application ).

[FrancoisJehl]

Maintenir un DW "zéro-latence" avec un CEP fait partie des grandes orientations possibles de l'avenir de la BI. Mais le CEP c'est encore assez compliqué (la validation des données, le dev en plus...) donc comme dans toute techno BI, se poser la question: quel type d'analyse intéressante et supplémentaire est ce que ça permet d'effectuer par rapport à un chargement classique en batch avec ETL?

je cherche les meilleures façons et les meilleures technologies à utiliser pour garantir une meilleure performance pour mon application .
....
j avais l intention de l'utiliser pour interroger le data warehouse afin d'assurer une réponse quasi en temps réel pour l'utilisateur final du l'application .

Tu auras compris que ça n'a rien à voir avec les performances, plus avec la latence de mise à disposition des données d'analyse.
Bon courage pour ton stage, en espérant t'avoir donné des pistes, mais je pense qu'il faut que tu précises ton sujet et que tu te documentes encore un peu avant de faire les choix de type de techno, voire de produit.