IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Java Discussion :

Java Crawling / Scraping


Sujet :

Java

  1. #1
    Futur Membre du Club
    Homme Profil pro
    Analyse système
    Inscrit en
    mai 2020
    Messages
    4
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 41
    Localisation : France, Savoie (Rhône Alpes)

    Informations professionnelles :
    Activité : Analyse système
    Secteur : High Tech - Matériel informatique

    Informations forums :
    Inscription : mai 2020
    Messages : 4
    Points : 5
    Points
    5
    Par défaut Java Crawling / Scraping
    Hello,

    je réfléchis à une app Java / Spring qui permettrait de rechercher des offres d'emplois par mots-clés.

    Pour ça j'ai vu qu'il existait, entre autres, Apache Nutch, mais Nutch a l'air de fonctionner plus par ligne de commande que par code intégré dans une app (même si c'est possible).

    Si vous avez un crawler / scraper à me conseiller et qui collerait bien avec ce que je recherche, je suis preneur.

    Thanks !

  2. #2
    Modérateur

    Profil pro
    Inscrit en
    septembre 2004
    Messages
    12 248
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : septembre 2004
    Messages : 12 248
    Points : 20 729
    Points
    20 729
    Par défaut
    Hello,

    je crains fort que ce que tu nous demandes soit en contradiction avec les termes d'utilisation des différents services que tu chercherais à indexer. En d'autres termes, assez souvent personne n'aime bien trop être la cible de scraping. (Il y a bien le contenu ouvert, mais c'est une autre histoire).

    Tu nous cites Apache Nutch, tentative de moteur de recherche libre, oui mais :
    - Un moteur de recherche ne s'intéresse pas spécialement aux offres d'emplois. Il indexe tout et ne fait concurrence à rien (enfin, il fait concurrence aux autres moteurs de recherche).
    - Un moteur de recherche n'utilise pas de compte utilisateur pour indexer les sites. (Peut-être que toi non plus, auquel cas, pas dit que les conditions d'utilisation te concernent. S'adresser à un avocat.)

    Ça m'a pas l'air bien dans les clous tout ça.

    Soyons réalistes : si les sites que tu veux indexer voulaient que tu les indexes, ils t'aideraient à le faire avec une API. Tu n'aurais aucun besoin de faire du scraping.
    Et peut-être qu'ils offrent bel et bien des APIs et donc que tu n'as pas besoin de ce que tu viens de demander, il faut voir.

    Si tu veux faire des trucs qu'ils n'ont pas envie que tu fasses, t'as pas forcément le droit.
    Après, ça peut peut-être se négocier, à voir avec eux et un avocat.
    N'oubliez pas de consulter les FAQ Java et les cours et tutoriels Java

Discussions similaires

  1. scraping java (Ex donwload video streaming)
    Par deli2025 dans le forum Développement Web en Java
    Réponses: 0
    Dernier message: 31/12/2018, 17h00
  2. le Java est la continuité du C++ ???
    Par Vincent PETIT dans le forum Débats sur le développement - Le Best Of
    Réponses: 33
    Dernier message: 25/08/2005, 20h17
  3. directx et java?? possible??
    Par jiraiya dans le forum DirectX
    Réponses: 3
    Dernier message: 09/07/2002, 19h55
  4. webcam : lire sur un port usb en c/c++ ou java. sous win. ?
    Par flo007 dans le forum Choisir un environnement de développement
    Réponses: 2
    Dernier message: 24/05/2002, 23h24
  5. Service de nommage java C++
    Par Anonymous dans le forum CORBA
    Réponses: 3
    Dernier message: 15/04/2002, 12h48

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo