Discussion :

[Michael Guilloux]

Open data : neuf bases de données de référence mises à la disposition du public
y compris le registre des entreprises et la base adresse nationale

La mission Etalab fait partie de la Direction interministérielle du numérique et du système d’information et de communication de l’État (DINSIC), et c'est elle qui coordonne la politique d’ouverture et de partage des données publiques (open data).

Du 29 septembre au 20 octobre 2016, la mission Etalab a organisé une consultation sur la mise en œuvre du Service public de la donnée. Rappelons-le, ce service a été créé par l’Article 14 de la loi pour une République numérique. Il vise à mettre à la disposition du public, les jeux de données de référence qui présentent le plus fort impact économique et social, en vue de faciliter leur réutilisation.

La consultation organisée l’année dernière a vu la contribution de 160 personnes (secteur public, associations, entreprises et particuliers) et a permis de valider la première liste de données de références à rendre publiques. Il s'agissait notamment :

• du Registre des entreprises (base SIRENE) : un jeu de données qui permet d’accéder aux 9 millions d’entreprises et 10 millions d’établissements actifs du répertoire Sirene de l’Insee ;
  
  
• du répertoire national des associations (RNA) : il contient toutes les associations de France, dont le siège est déclaré en métropole ou dans les départements d’outre-mer, sauf dans les départements de la Moselle, du Bas-Rhin et du Haut-Rhin, qui relèvent du régime du Concordat. Le RNA contient également les associations reconnues d’utilité publique ;
  
  
• du Cadastre (le plan cadastral informatisé) ;
  
  
• du référentiel à grande échelle (RGE) : il est composé de cinq composantes (orthophotographique, topographique, altimétrique, parcellaire et adresse) qui fournissent des informations géographiques cohérentes entre elles ;
  
  
• du registre parcellaire graphique (RPG) : une base de données géographiques servant de référence à l'instruction des aides de la politique agricole commune ;
  
  
• de la base adresse nationale (BAN), qui a pour but de référencer l'intégralité des adresses du territoire français. Elle contient la position géographique de plus de 25 millions d'adresses.

Par un décret signé le 14 mars dernier, cette liste a été complétée par :

• la base de données de l'organisation administrative de l'État, qui comprend toutes les institutions régies par la Constitution de la V^e République et les administrations qui en dépendent, soit environ 6000 organismes ;
  
  
• le répertoire opérationnel des métiers et des emplois (ROME) : construit par Pôle Emploi, il est décrit comme un outil au service de la mobilité professionnelle et du rapprochement entre offres et candidats ;
  
  
• le code officiel géographique (COG), qui rassemble les codes et libellés des communes, des cantons, des arrondissements, des départements, des régions, des collectivités d'outre-mer et des pays et territoires étrangers au 1^er janvier de chaque année.

Le service public de la donnée s'ouvre officiellement avec les neuf bases de données de référence mentionnées. Il faut toutefois noter que les données du plan cadastral informatisé ne sont pas encore disponibles, mais devraient l’être bientôt.

Les données et métadonnées sont disponibles sous différents formats selon le cas : CSV, PDF, XML, HTML, TXT, ZIP, etc. Pour la base adresse nationale, une API de géocodage a également été mise à la disposition du public.

Chaque producteur de données doit publier ses engagements sur les conditions de la mise à disposition (documentation des données, fréquence de mise à jour, performance et disponibilité de la mise à disposition). La mission Etalab publiera sur son site les indicateurs de disponibilité des données, et assurera plus généralement le suivi du respect de ces engagements.

Cette liste n’est qu’un début. Pendant la consultation de la mission Etalab, les répondants ont en effet mentionné un total de 57 bases de données qui devraient passer en open data. Parmi les données les plus demandées, on peut citer celles des réseaux routiers (graphe, points kilométriques, comptage), des réseaux d'énergie, le répertoire national des élus, les données des marchés publics, les données météorologiques et les données de population (ménages, revenus).

Rappelons qu’en janvier, c’est la RATP (Régie autonome des transports parisiens) qui annonçait la disponibilité en open data de ses données de trafic. Ces initiatives permettront certainement aux développeurs de développer des applications et services utiles alimentés par ces données.

Sources : data.gouv.fr, Mission Etalab

Et vous ?

Qu’en pensez-vous ?
Lesquelles de ces bases de données vous semblent utiles pour vos applications ?

Voir aussi :

Paris : la RATP met en open data ses données de trafic en temps réel, une nouvelle opportunité pour les développeurs d'applications

[Invité]

Sympa comme initiative, mais pas de JSON disponible?

C'est pourtant beaucoup plus léger que CSV ou XML à traiter...

[bretus]

C'est pourtant beaucoup plus léger que CSV ou XML à traiter...

Je dirais pas ça pour charger ces données... Faire des lectures ligne par ligne de fichier CSV de plusieurs millions de lignes est généralement (*) plus direct que faire des lectures enregistrement par enregistrement dans des JSON ou XML (approche événementielle type SAX).

En bonus, il existe de nombreux outils (ETL, ogr2ogr, etc.) qui sont plus simples à configurer avec du CSV en entrée que du JSON ou XML où il faut gérer les arborescences.

Du coup, pour des données brutes, je préfère largement traiter du CSV plutôt que du JSON.

C'est généralement au niveau des API où l'on peut paginer/limiter les résultats que l'on trouvera du JSON plus facile à exploiter que du CSV. Ça tombe bien car ces API pullulent quand les données brutes sont disponibles et facilement intégrables (voir liste des réutilisations de la base SIREN ou OpenDataSoft).

(*) Si les vilains CSV n'étaient pas légion, ce serait le cas général. Le problème n'est pas CSV en soit, mais le non respect de la RFC 4180, voire de la tendance à produire des CSV pourris (caractères non échappés)

[Michael Guilloux]

Moins de 10 % des collectivités soumises à l’obligation d’open data ont ouvert leurs données
à l'entrée en vigueur de l'open data par défaut

L'Open Data par défaut est un principe d’ouverture spontanée des données publiques dont l'objectif est de faire de l’ouverture des données la règle et non plus l’exception. En plus de fournir de la transparence, il vise à faciliter l'innovation, notamment pour les développeurs qui peuvent réutiliser les données publiées pour construire des applications utiles pour les populations.

Introduit par la Loi pour une République numérique (en 2016), l'Open Data par défaut est entré en vigueur le 7 octobre 2018. Cela veut dire que depuis hier, les administrations sont tenues de mettre en ligne et mettre régulièrement à jour les bases de données qu'elles produisent ou qu'elles reçoivent, ainsi que les données « dont la publication présente un intérêt économique, social, sanitaire ou environnemental ». Le principe d’ouverture spontanée s’applique à tous les documents administratifs qui existent sous une forme numérique, c’est-à-dire ceux qui n’ont pas besoin d’être passés au scanner ou sortis des archives pour être mis en ligne. La publication des documents peut se faire sur data.gouv.fr ou sur le site de l’administration concernée. Précisons aussi que les documents rendus publics devront l’être gratuitement et dans un format à la fois ouvert et exploitable par une machine.

Au titre de la Loi pour une République numérique, l’ouverture des données par défaut s’imposer à quelque 4411 collectivités locales (de plus de 3500 habitants et uniquement pour les administrations de plus 50 agents ou salariés). L’obligation de publication concerne aussi les organismes privés qui assurent une mission de service public, comme la SNCF dans le domaine du transport.

Ces collectivités ont donc eu deux bonnes années pour se préparer, mais force est de constater que très peu de collectivités ont pu se conformer à l'Open Data par défaut. Selon les sources, on annonce parfois moins 5 % et au plus même pas 10 % de collectivités open data (ayant rendu des données publiques). Si l'on s’en tient aux chiffres de l'association Open Data France, seules 257 collectivités ont à ce jour franchi le pas, ce qui équivaut à 5,8 %.

Précisions qu'Open Data France a mis en place un Observatoire open data des territoires pour mesurer précisément les avancées de ce chantier, avec plus de rigueur méthodologique. Créé avec l’aide d’Etalab, de la Caisse des dépôts et des partenaires tels que Sciences-po ou l’association Villes-Internet, cet observatoire souhaite produire une information normalisée et actualisée sur l’open data : publication et typologie des données, réutilisations, etc.

L'Observatoire montre par exemple que 50 % des collectivités ont publié leurs données sous licence ODbl (un contrat licence de base de données favorisant la libre circulation des données) contre 50 % pour la licence ouverte (la licence libre française créée par la mission Etalab afin d'encadrer l'ouverture des données de l’État français). À ce jour, le nombre de jeux de données publiés s'élève à 21 755 avec 45 % de données d'information géographique. En outre, il y a 346 applications réutilisatrices des données ouvertes, la moitié étant des applications mobiles.

Pour revenir au progrès de l'ouverture des données publiées, le taux annoncé par l'association Open Data France n'est pas un bon signe, et rien ne garantit que cela va s'accélérer. En effet, comme l'explique la mission Etalab, « la date du 7 octobre [2018] n’est pas une date butoir à redouter, mais une étape supplémentaire dans la longue marche vers l’ouverture des données publiques. » Elle va donc tout simplement poursuivre son travail avec les administrations et les collectivités locales ; aucune sanction n'étant prévue pour les administrations qui traînent les pas.

Sources : Site de l’Open Data France, Blog Etalab

Et vous ?

Que pensez-vous de l’évolution du chantier de l’open data par défaut en France ?
Pourquoi selon vous si peu de collectivités ont-elles rendu des données publiques ?
Quels types de données souhaiter voir passer en open data ? Lesquels semblent les plus utiles pour les développeurs ?
Avez-vous déjà exploité des données publiées dans le cadre de l'initiative open data de la France ? Lesquelles et pour quels usages ?

Voir aussi :

La France présente son « plan d'action national » 2018-2020 en matière d'open data et propose davantage de données ouvertes
Le Sénat vote un amendement imposant l'open data pour la publication des comptes de partis politiques pour rétablir la confiance en l'action publique
Open Data : les personnes faisant l'objet de décisions prises sur le fondement d'un traitement algorithmique pourront obtenir des informations
Paris : la RATP met en open data ses données de trafic en temps réel, une nouvelle opportunité pour les développeurs d'applications
Open data : neuf bases de données de référence mises à la disposition du public, y compris le registre des entreprises et la base adresse nationale

[Invité]

Des données publiques ou il n'y a pas de partage ni de cohérence nationale j'ai deux exemples :

* une recensement du trafic routier au niveau nationales avec des Excel ... pour éviter d'alimenter la polémique sur la circulation de certains axes routiers ... c'est politiquement incorrect d'avoir ou d'avancer certains chiffres. Un chiffre pour faire peur politiquement incorrect ... L'autoroute A4/A86 en IDF voit passer 300 000 véhicules par jour ... C'est l'axe autoroutier le plus emprunté d’Europe ! Même les sections du BP parisiens ne voient pas passer autant de voiture ...

* le trafic SNCF par ligne ... forcement faut pas alimenter la concurrence ...

Politiquement avoir ces chiffres peut permettre nuire à la réalisation d'un projet en justifiant qu'il y a trop de ... donc il ne faut pas faire.

En résumé la non diffusion ou la non harmonisation est une histoire de couleur politique ... On aussi dire de même pour des chiffres diffusées par la CAF qui ont subitement changé sous la mandature Hollande en 2012 ...