Discussion :

[GroFlo]

Bonjour à tous,

Je suis grand novice dans le monde des SGBD et encore plus dans celui du SQL. Ce qui explique que je vais sans doute enchainer plusieurs questions sur ce forum La communauté de dvp m'a déjà aidé à me positionner sur MSSQL après analyse de mes besoins, merci encore !

Je travaille à la préfiguration d'une base qui viendrait, de façon schématique, rassembler des données relatives aux collectivités et provenant de nombreuses sources, mais majoritairement de fichiers Excel de l'INSEE.
Par exemple, une table donnant pour chaque commune l'EPCI auquel elle est rattachée, puis une table avec le détail par année de la population de chaque commune, et une table donnant pour chaque commune son niveau de densité de population, etc.

L'idée étant à terme qu'un utilisateur lambda, en sélectionnant une commune, puisse obtenir un grand nombre d'information en un coup d'œil. Par exemple le nom de la commune, un graph de l'évolution de sa population, l'EPCI de rattachement, la population totale de l'EPCI de rattachement, une phrase indiquant que la « commune est de type dense » (ou pas), etc.

Or je me questionne. Une fois ma base modélisée, mes tables créées et remplies, il va falloir me pencher sur une application faisant des rapports d'état (des applis de BI, si j'ai bien compris), le but étant qu'elle affiche des données à partir du filtre d'entrée de l'utilisateur qui sera essentiellement le numéro INSEE de la commune. Est-ce à dire que j'ai intérêt à développer les requêtes que je souhaite à partir de ces applis externes (type QlikView par exemple ou même tout simplement Excel, sachant que je ne peux partir que sur du gratuit car je ne peux pas faire de nouvelles dépenses), ou bien au contraire à multiplier les requêtes et sous requêtes dans mes vues de MSSQL pour ne faire afficher qu'elles par l'appli de restitution ?

Après avoir fait un test à partir de 4 tables et de Qlik Sense Desktop (la version gratuite), je me rends compte que je suis déjà vite limité. Ne serait-ce que parce que je ne peux même pas afficher un graph d'évolution des populations, puisque pour chaque ville, mes différentes populations annuelles sont dans des champs différents. La donnée est donc en ligne du type Ville Pop_n Pop_n+1 Pop_n+2 etc. Le graph Qlikview refuse de me charger plusieurs champs évidemment (j'imagine qu'il aimerait un champs Années et un champs Population).

Du coup, une fois ma table créée, dois-je à partir de MSSQL créer toutes mes requêtes souhaitées ? Ainsi que modifier mes tables directement pour bonne utilisation derrière par une appli tierce (en l'occurrence ici, faire pivoter ma table de population) ? J'avoue être un peu perdu et un avis de premier niveau pourrait certainement m'éclairer.

Merci par avance, en espérant avoir été à peu près clair.

[aserf]

Bonjour,

Même en ayant un peu détaillée votre besoin ce sera difficile d'y répondre.
Les outils de BI ne sont pas magique et si vous essayez de triturer les données pour en faire quelle que chose ce sera difficile, la question est plutôt, quand est ce que ces données sont mise a jour ? et est ce que au moment de la mise a jour vous pouvez modifier les informations pour les rendre facilement exploitable par les outils externe ?

Si vous pouvez faire cela alors plusieurs solution s'offre a vous,
- écrire un script en T-Sql pour mettre les données de la bonne manière dans vos tables (très performants, mais si le traitement demandé est très complexe cela deviendra plus difficile à écrire)
- Prendre un outils de traitement de la donnée (ETL) comme talend (https://fr.talend.com/). (Il peuvent faire beaucoup de chose sans code)
- Développer votre propre application (si sql server je vous conseil c# ou vb.net), aucune limite sinon vos capacité de développement ...

suivant ce que vous avez en entré et ce que vous voulez en sortie vous pourrez vous tourner vers une des 3 solutions.
Personnellement ayant eu souvent ce type de problématique, je me rend compte que de construire des tables qui corresponde a sont besoin dans l'outils de BI est le plus pratique ensuite pour l'utilisation.
dans ce cadre la j'ai utilisé un peut T-SQL, un peu Talend, et surtout la 3ieme solution ... c'est celle qui m'a toujours permis de tout faire, aujourd'hui je n'utilise plus que Visual Studio et ensuite pour affiché mes donné j'utilise ensuite Telerik.

Cordialement,

[SQLpro]

Une fois ma base modélisée, mes tables créées et remplies, il va falloir me pencher sur une application faisant des rapports d'état (des applis de BI, si j'ai bien compris), le but étant qu'elle affiche des données à partir du filtre d'entrée de l'utilisateur qui sera essentiellement le numéro INSEE de la commune. Est-ce à dire que j'ai intérêt à développer les requêtes que je souhaite à partir de ces applis externes (type QlikView par exemple ou même tout simplement Excel, sachant que je ne peux partir que sur du gratuit car je ne peux pas faire de nouvelles dépenses), ou bien au contraire à multiplier les requêtes et sous requêtes dans mes vues de MSSQL pour ne faire afficher qu'elles par l'appli de restitution ?

ATtention, ni l'un ni l'autre ne sont réellement gratuit. Pour QlikView, la version gratuite est inexploitable de manière professionnelle tandis que Excel nécessite une licence office. Cependant avec PowerPivot vous avez l'équivalent de QlikView en BI Desktop qui lui est gratuit, mais se branche sur Excel.

Après avoir fait un test à partir de 4 tables et de Qlik Sense Desktop (la version gratuite), je me rends compte que je suis déjà vite limité. Ne serait-ce que parce que je ne peux même pas afficher un graph d'évolution des populations, puisque pour chaque ville, mes différentes populations annuelles sont dans des champs différents. La donnée est donc en ligne du type Ville Pop_n Pop_n+1 Pop_n+2 etc. Le graph Qlikview refuse de me charger plusieurs champs évidemment (j'imagine qu'il aimerait un champs Années et un champs Population).

Donc PowerPivot... Et n'oubliez pas que dans MS SQL Server vous avez une suite complète d'outil de BI avec SSIS (ETL) SSAS (bases OLAP et data mining) et enfin SSRS (reporting)...

Du coup, une fois ma table créée, dois-je à partir de MSSQL créer toutes mes requêtes souhaitées ? Ainsi que modifier mes tables directement pour bonne utilisation derrière par une appli tierce (en l'occurrence ici, faire pivoter ma table de population) ? J'avoue être un peu perdu et un avis de premier niveau pourrait certainement m'éclairer.

Merci par avance, en espérant avoir été à peu près clair.

Apprenez en plus sur la suite BI de MS qui est livrée dans les versions Standard et Enterprise de SQL Server :
http://fablain.developpez.com/tutoriel/ssis/
http://fablain.developpez.com/tutori...ting-services/
https://msdn.microsoft.com/fr-fr/lib...ql.120%29.aspx

A +

[GroFlo]

Bonjour,

Même en ayant un peu détaillée votre besoin ce sera difficile d'y répondre.
Les outils de BI ne sont pas magique et si vous essayez de triturer les données pour en faire quelle que chose ce sera difficile, la question est plutôt, quand est ce que ces données sont mise a jour ? et est ce que au moment de la mise a jour vous pouvez modifier les informations pour les rendre facilement exploitable par les outils externe ?

Ces données seront mise à jour à des pas de temps divers, mais pour l'ensemble, assez peu fréquemment, au plus 1 fois par an.

Si vous pouvez faire cela alors plusieurs solution s'offre a vous,
- écrire un script en T-Sql pour mettre les données de la bonne manière dans vos tables (très performants, mais si le traitement demandé est très complexe cela deviendra plus difficile à écrire)
- Prendre un outils de traitement de la donnée (ETL) comme talend (https://fr.talend.com/). (Il peuvent faire beaucoup de chose sans code)
- Développer votre propre application (si sql server je vous conseil c# ou vb.net), aucune limite sinon vos capacité de développement ...

Côté programmation, que ce soit en SQL*ou en dev d'appli, je pars à peu près de 0, ou presque. Le script T-sql ou l'appli maison me semblent hors de portée, c'est pour cela que je me penchais sur des outils de BI.*Dans l'idéal, un formulaire Access aurait été idéal (car j'ai déjà travaillé avec cet outil) mais je n'ai pas de licence. J'irai jeter un œil à Talend du coup, merci.

ATtention, ni l'un ni l'autre ne sont réellement gratuit. Pour QlikView, la version gratuite est inexploitable de manière professionnelle tandis que Excel nécessite une licence office. Cependant avec PowerPivot vous avez l'équivalent de QlikView en BI Desktop qui lui est gratuit, mais se branche sur Excel.Donc PowerPivot... Et n'oubliez pas que dans MS SQL Server vous avez une suite complète d'outil de BI avec SSIS (ETL) SSAS (bases OLAP et data mining) et enfin SSRS (reporting)...

J'ai déjà la licence pour la suite office, donc je la considère dans le cas comme un outil « gratuit » (du moins acquis). Et il me semblait bien que la version gratuite de Qlik était assez peu pertinente.
En revanche, j'avais déjà récupérer Powerpivot, peut-être me sera-t-il utile, mais j'avoue avoir du mal pour l'instant à voir son utilité/fonctionnement, je vais creuser ça.
Le problème est que je travaille avec MS SQL Express, pas standard ou entreprises, donc sans ces outils là de BI. Je crois que j'ai seulement accès au générateur de rapport de base (est-ce SSRS ?) je vais creuser également de ce côté.

Merci encore.

[SQLpro]

Le problème est que je travaille avec MS SQL Express, pas standard ou entreprises, donc sans ces outils là de BI. Je crois que j'ai seulement accès au générateur de rapport de base (est-ce SSRS ?) je vais creuser également de ce côté.

Oui SSRS c'est reporting services....

A +

[GroFlo]

Je dois avouer que ça me questionne du coup sur un point central : comment avoir une interface de rapport d'état (que ce soit avec le report buider de SQL*Express ou bien autre chose) qui puisse appliquer un filtre à la demande de l'utilisateur ?
Par exemple, le générateur de rapport d'état (Report builder) semble surtout être utile pour un affichage statique (c'est à là création du rapport qu'on précise un filtre sur une table, par exemple) même s'il semble être possible dans une certaine mesure que l'utilisateur du rapport puisse préciser des critères ou faire des recherches particulières (quelqu'un peut-il confirmer/infirmer ?).

Or j'aimerai une interface de rapport dans laquelle on saisisse un ID qui dès lors s'applique soit à mes requêtes SQL server et les affiche, soit s'applique aux tableaux/graph préconstruits dans mon interface (j'espère être à peu près clair).
Mais visiblement, ça n'est pas faisable avec des solutions gratuites ou sans construire d'appli maison. Ça me parait tout de même assez surprenant !
Ou alors, ce qu'il me manque c'est la construction préalables de cubes (je ne connaissais pas ce terme il y a seulement quelques jours, c'est dire mon niveau).

[julien94320]

Pour cela dans Office 2013 Pro plus (il y a la suite "Power BI") qui est décomposer en 3 outils :

Power Query ( ETL => "equivalent" a SSIS en moins puissant qui permet d'importer des données dans un model )
Power Pivot ( permet de réaliser un modele tabulaire sur lequel on ajoutera les opérations de calculs nécessaire a l'agrégation de certaines données => équivalent a OLAP )
Power View ( permet de réaliser des rapports ergnomiques qui reagisse en direct au clic )

c'est la suite concurrente a QlikView ...

Sinon si vous voulez mieux il y a (toujours gratuit ou presque pour la version on premise : Quelques euros par mois ) :

- Power BI Desktop et On premise :

Cet outil qui est l'équivalent des 3 outils précité en mieux fini permettant de creer les rapport et de les mettre a dispo sur le site On prem ...

A votre dispo

[StringBuilder]

Bonjour,

J'en reviens à la question initiale.

Je pense que vos "requêtes", c'est avant tout pour mettre en forme un modèle des données qui n'est pas correctement modélisé.

Pour en revenir à l'exemple de l'évolution de la population d'une commune, vous indiquez qu'actuellement, vous avez n colonnes, correspondant à chaque année.

D'un point de vue modélisation, c'est mal, et Qlikview vous le fait savoir (mais si vous tentez de faire un graph avec Excel, vous aurez le même problème).

C'est en amont, lorsque vous collectez les données, que vous devez les décortiquer pour les faire entrer dans des tables correctement modélisées.

Donc une table fille de commune, avec une colonne "année" et une colonne "population", avec une contrainte unique sur le couple "commune/année".

Ainsi, aussi bien dans QV que dans n'importe quel outil de BI, vous aurez plus de facilité à faire vos rapports.

Pour en revenir à QV, vous ne fais pas de requêtes à proprement parler dans QV : vous vous contentez de charger vos données dans des tables de travail dans une base en étoile.

Les filtres, c'est ensuite QV qui va les faire à la volée en fonction de votre utilisation.

Pour PowerPivot, apparement, c'est la même chose, au détail près que les données brutes sont piochées dans un fichier Excel plutôt que dans des QVD ou QVW.

Pour un outils plus classique, genre BO ou Reporting Services, là, vous allez générer des documents statiques, donc un lot de requête pour chaque commune demandée.

[GroFlo]

Bonjour,

J'en reviens à la question initiale.

Je pense que vos "requêtes", c'est avant tout pour mettre en forme un modèle des données qui n'est pas correctement modélisé.

C'est effectivement un peu le cas. J'en conclue qu'en réalité, j'ai vraiment besoin de mettre à plat les données dont j'ai besoin et de modéliser complètement ma BDD pour qu'elle puisse proprement par la suite être utilisée en simple reporting ou sur du BI un peu plus poussé.
Cela suppose donc, si j'ai bien compris, de retravailler en amont mes fichiers sources (dont beaucoup de fichier Excel conséquent) pour les séparer et pour les organiser (à l'image de la table fille avec colonne Année et colonne population) pour ensuite les importer dans mes tables en conséquence ?
Vu la masse de travail que cela implique (et à refaire à chaque actualisation des sources, qui individuellement ne s'actualisent que rarement mais qui au regard de la diversité pourraient nécessiter de faire régulièrement une MAJ de certaines tables), j'étais parti sur la simple transcription des différentes sources dans des tables telles quelles puis un travail de « piocher » les infos par des requêtes ou outils BI.
Visiblement, c'était une mauvaise idée et je paye là mon incompétence en matière de SGBD et de modélisation.

Merci pour ce retour.

[StringBuilder]

Excel peut vous permettre assez simplement d'effectuer certaines opérations de dédoublonnage des informations.

Sinon, au niveau de SQL Server, avec un peu de développement, vous pouvez mettre en place des vues qui ont le format du fichier, et avec quelques triggers, vous pouvez stocker proprement l'information dans les tables correctement modélisées.

Voir mon article sur le sujet.

(Bon, attention, on ne peut pas "tout" faire avec cette solution, qui s'avère est assez moyenne niveau performances si le volume de données importées doit être important).

http://www.developpez.net/forums/blo...-base-donnees/

[aserf]

Bonjour,

Est ce que vous avez quelle exemple des fichiers/traitements que vous voulez faire ?

si cela n'est pas trop complexe je peu essayer de vous faire un petit programme qui vous importe les fichiers et vous les mets en bases comme vous le souhaité. vous n'aurez alors plus car utiliser les outils de reporting.

[elsuket]

Pour les états, vous pouvez utiliser l'édition Express With Advanced Services de SQL Server.
Celle-ci est livrée avec le moteur SSRS, ce qui vous permet d'avoir un serveur de rapports, mais pas de planifier leur exécution et de réaliser un envoi automatique par email.
Pour construire les rapports, vous devrez télécharger SQL Server Data Tools pour Visual Studio 2012 ou 2013 Shell.

En ce qui concerne le rapport lui-même, il peut tout à fait prendre des paramètres de quasiment tout types de données.
Vous pouvez par ailleurs peupler les paramètres (i.e. proposer des valeurs dans une liste déroulante) à l'aide de requêtes ou de procédures stockées.
Une liste de valeurs de paramètres peut être récupérée à l'aide des valeurs choisies par une autre auparavant : le moteur détecte ce type d'enchaînements pourvu que le nom des paramètres soit consistant à travers les requêtes ou procédures stockées.

@++

[GroFlo]

Sinon, au niveau de SQL Server, avec un peu de développement, vous pouvez mettre en place des vues qui ont le format du fichier, et avec quelques triggers, vous pouvez stocker proprement l'information dans les tables correctement modélisées.

Voir mon article sur le sujet.

L'article est sans doute très intéressant, mais partant du principe que je ne connais rien en SQL, ça reste pour l'instant un immense charabia (je ne sais même ce qu'est un trigger), mais ça ne me semble pas problématique outre mesure, Excel me permettant effectivement de faire mes modifs à la source.

Bonjour,

Est ce que vous avez quelle exemple des fichiers/traitements que vous voulez faire ?

si cela n'est pas trop complexe je peu essayer de vous faire un petit programme qui vous importe les fichiers et vous les mets en bases comme vous le souhaité. vous n'aurez alors plus car utiliser les outils de reporting.

Merci, c'est une proposition très sympathique. Toutefois, les échanges sur ce fil m'ont fait comprendre qu'avant tout, j'avais un problème de modélisation à la base. Pour être honnête, je ne sais même pas encore quelles sont toutes les données que je peux potentiellement utiliser, ni celles qui vont être pertinentes selon les cas, et je ne sais même pas encore exactement qui pourra être amené à utiliser la base et donc ce qu'elle doit, au total, permettre de sortir. Il ne s'agit que d'un projet que je muris. Pour autant, afin de vous donner une idée, dans l'absolu, toutes les données présentées dans ce tableau des bases de données INSEE issues du recensement pourraient avoir un intérêt à être présentes dans ma base de données à moi.
En terme de traitement/restitution, l'idéal serait qu'en sélectionnant 1 commune, on puisse avoir un choix de thème et l'affichage de certaines données clés, de graph déjà faits, etc. Un peu à l'image des dossiers complets de collectivité de l'INSEE (par exemple ici pour Bordeaux).
Consulter un des fichiers Excel peut te donner l'idée du pourquoi j'ai pensé intégré directement le fichier dans une base, plutôt qu'un travail préliminaire.

En ce qui concerne le rapport lui-même, il peut tout à fait prendre des paramètres de quasiment tout types de données.
Vous pouvez par ailleurs peupler les paramètres (i.e. proposer des valeurs dans une liste déroulante) à l'aide de requêtes ou de procédures stockées.
Une liste de valeurs de paramètres peut être récupérée à l'aide des valeurs choisies par une autre auparavant : le moteur détecte ce type d'enchaînements pourvu que le nom des paramètres soit consistant à travers les requêtes ou procédures stockées.

@++

J'avoue que vous m'avez totalement perdu et que je n'ai pas encore bien compris cette réponse. Mais je vais la relire et je ne perds pas espoir que toutes les remarques et ressources proposées sur ce fil deviennent au fur et à mesure de moins en moins absconses pour moi !

Merci.

[elsuket]

Bonjour,

Si vous êtes anglophone, les tutoriels WiseOwl sont très bien fait, concis et gratuits : c'est par

pour le petit cours sur les paramètres. Le cours complet sur cette fonctionnalité de Stacia Misner est en 3 parties sur PluralSight, et représente plusieurs heures de cours en accès payant.

@++