Récupérer des données d'un base de données sur le Web dans des arrays/tableaux en Java

Bonjour,


Est-il possible de récupérer des informations d'une base de données sur le Web et alimenter des tableaux (arrays) en Java avec ces données? J'imagine qu'il faut interroger la base avec des requêtes SQL, ça pas de problème. Mais au niveau algorithmique, quelle serait une façon appropriée de procéder?

Le but est de pouvoir sélectionner les tables que l'on souhaite récupérer de la base de données, les charger dans des tableaux pour pouvoir faire des affichages personnalisés et analyser les données.

Hmm. Avant toute chose il faudrait déterminer ce que c'est, une "base de données sur le web". Où est-elle, cette base de données ? On a besoin de la connaître pour savoir comment elle fonctionne.

La plupart du temps, non, on ne fait pas du tout ce SQL. Ça c'est pour les bases de données qui sont sous ton contrôle direct, pas sur le web.

Ok. Alors j'explique un peu plus le contexte, mais je suis désolé je ne peux donner plus de détails sur l'utilisation finale que je compte en faire car c'est un projet qui pourrait aboutit à la création d'un service payant sous forme de site Web,Gratuit au départ avec des options payantes..

Tout ce que je peux vous dire c'est que ce serait un service très utile pour les développeurs informatiques, et pour ceux qui souhaitent le devenir.

Donc , j'aimerais faire un peu comme de programmeur back-end qui a récupéré une base de données téléchargebale par tous (public) auprès de Stack Exchange network, site très connu (Stack Exchange). Ensuite il a codé pour extraire, formater, transofrmer et sélectionner les livres de programmation dans le commerce les plus efficaces selon le langage de programmation choisi (ou par technologie/usage final).

Son site: [U]http://www.dev-books.com/[/U]

Ya un article en anglais qui explique en détail comment il a fait, mais je ne retrouve plus lien, il est dans ma favoris au PC de mon travail .(je vous le posterai).

Bref, j'aimerais faire quelque chose d'équivalent, mais pour un but bien différent, et en Java si possible.

Pour résumer: je récupère directement (ou indirectement) des informations de type base de données que je charge dans les tableaux ou Arrays Java.

J'ai pensé aux tableaux en Java car on peut les manipuler , effectuer des calculs dessus, et les formater.Si vous voyez une autre solution pour le faire, merci de me le dire (je suis initié en Java, mais pas plus).

Si je dois récupérer indirectement des données/informations des sites Web visés, ce serait des statistiques publiées sur les sites en question en dur, des commentaires sur des forums des sites Web en question selon des règles de filtrage par mot-clés (conditions de type "If" en Java j'imagine et boucles pour parcourir les données, encore faut-il que je sache comment les récupérer pour pouvoir effectuer des conditions/sélections dessus en Java en local..)

Le but pour moi est de proposer une application Web sur mon site qui permette de sélectionner le meilleur résultat possible selon le besoin précis de l'Internaute.

Des questions seront posées à l'Internaute,et ses résultats serviront à "personnaliser" la réponse de l'affichage des solutions proposées(sur mon site Web). Donc un algorithme se chargera de sélectionner les données pertinentes dans ma base de données (qui sera alimentée au préalable par les données récupérées via différentes sources Web, données indicatives).

Ensuite c'est du formatage et affichage purement orienté front-end/Web. J'imagine que Java peut très bien s'en charger (sinon Javascript que je connais?)

Oui voilà désolé de ne pouvoir vous donner plus de détails sur mon projet précisément, car une fois on m'a piqué une idée géniale de service à la communauté des développeurs que j'avais eu et voilà...

Mais dans un premier temps, il faut que je sacher comment récupérer les données/info dont j'ai besoin des sites que je vise J'imagine que légalement j'ai le droit de récupérer des données affichées publiquement sur ces sites Web et de les analyser, transformer, afficher ailleurs puisqu'il s'agit de données non nominatives et de chiffres et technologies existantes grand public.Dois-je tout de même avertir ou demander l'autorisation aux propriétaires des sites visés que je compte effectuer des analyses et extraction sur les info affichées sur leurs sites Web??

Tout conseil sera le bienvenu.

Citation:

---

Envoyé par Theoask

Mais dans un premier temps, il faut que je sacher comment récupérer les données/info dont j'ai besoin des sites que je vise

---

Oui ben, http://www.dev-books.com a pu faire ça en se basant sur un dump anonymisé des bases de données que plusieurs sites ont choisi de réaliser et publier, comme ça, sans vraiment donner de raison autre que la beauté du geste.

Est-ce que les sites que tu vises, toi, ont généré et publié un dump de leurs bases de données ou bien ont annoncé qu'ils allaient bientôt le faire ?

Non ? Ben donc tu ne peux pas faire la même chose. Eux ils l'avaient, leur dump. Toi tu l'as pas.

Citation:

---

Envoyé par Theoask

J'imagine que légalement j'ai le droit

---

Légalement on n'imagine jamais rien. On prend un avocat spécialisé et on lui explique très exactement comment on intéragit avec les autres et ce qu'on fournit soi-même, basé sur quoi. C'est le boulot de l'avocat de te renseigner sur tes risques et ce sur quoi tu n'as aucune chance.

"À l'œil," ce que tu prévois ressemble à un moteur de recherche, et donc effectivement ça a pas l'air bien risqué puisque les moteurs de recherche se sont bien établis comme un concept parfaitement légal. Mais, ce que tu veux faire n'est pas exactement un moteur de recherche, et toi seul sait quelles sont les différences précises. Il faut que ton avocat les connaisse aussi.

Note que http://www.dev-books.com a utilisé un dump publié très clairement sous une licence Creative Commons très permissive. Ils n'avaient donc pas à se poser de question bien compliquée concernant la légalité d'utiliser ce dump et d'en publier des parties de leur propre côté. Toi, tu n'as probablement pas de données publiées sous une licence explicitement permissive.

J'ai retrouvé l'article qui décrit comment il a fait pour Stack Overflow et pour son site Web..

https://medium.freecodecamp.com/73-o...370#.9lyk9vbni

En fait j'ai l'impression que je veux faire du webscraping..Il y a comme un flou juridique en loi française pour ça. Une jurisprudence existe, mais selon ce que j'ai lu sur un forum juridique très connu sur le Web, ce n'est pas très clair et il y a rarement de recours en justice pour ça...


Mais en fait c'est comme si vous notiez sur un papier des informations recueillies sur un site Web, non nominatives...Est-ce que vous devez demander l'autorisation à chaque fois au propriétaire du site Web? Bien sûr que non, puisqu'il s'agit de données générales, comme les noms communs en langue française (vous ne demandez pas l'autorisation à votre interlocuteur qui vous a cité le nom d'un château de France si vous avez le droit de réutiliser ce terme, car ça n'appartient à personne (enfin le chateau oui!)...)Enfin vus voyez ce que je veux dire je pense.

Par contre pour les données nominatives, la loi Informatique et Libertés est claire, ça je sais.pOur les données non nominatives (chiffres, statistiques, ce genre de truc non lié à une personne/organisation), c'est autre chose...

Le principe n'est-il pas que tout se ce qui est publié PUBLIQUEMENT (sur Internet ou autre) sans protection d'une licence restrictive des droits d'auteurs, est à la disponiblité de tous? Si l'auteur avait voulu protéger les données, il aurait cité le copyright, copyleft, ou licencre Creative Commons, ou autre,non?

Comme je ne peux empêcher quelqu'un de recopier des phrases en français de mes sites Web, car aucune donnée nominative (ya le plagiat, mais je ne parle pas de cela).