Discussion :

[spywolf]

Bonjour,

j'ai créé un petit bout de code java destiné à parcourir les sites sur le web afin de trouver/telecharger des documents [images, videos, pdf] associé à un theme particulier [recherche par mots cles].

Son principe: il regarde le contenu d'un site [via le source html] et va sur les differents liens présents sur le site pour acceder ensuite aux liens presents dans ces nouveaux sites...... jusqu'a trouver les docs cherchés.

Sachant qu'il n'accède qu'à un site à la fois, est-il possible que mon application sature ma connexion reseau, ou pire les serveurs de mon fournisseur d'accès internet ??

Pour limiter les risques [inutilement ?], pour le moment, il patiente 20 secondes [Thread.sleep] avant de visiter un autre site.

En vous remerciant des réponses

PS: si la question n'est pas au bon endroit prevenez-moi

[millie]

Saturer ton réseau. Peut être un peu, mais si tu te limites à un site par un site, en général, il n'y a pas trop de problème. Le temps d'attendre les connexions, les allés et retour, ça laisse de la marge.


Saturer les serveurs de ton FAI, surement pas.

[spywolf]

Merci beaucoup pour la reponse

J'ai commencé à m'inquiéter lorsque au cours d'une recherche par mon appli de vidéos sur les pandas [mon amie est fan de ces grosses bête ] en parcourant le site Yahoo Vidéo, je me suis retrouvé avec des messages d'erreur du type "erreur 999.... possibilité de saturation...", enfin un truc du style. N'ayant jamais eu de message de ce type lorsque je cherchais les vidéos à la main, j'ai tout de suite fais le lien avec mon appli [paranoia ? ]

en tout cas merci pour ta reponse

[millie]

Par contre, lancer 1000 connexions sur un site peut saturer le site s'il est mal configuré. Mais a priori, tu lances tes connexions une par une et par simultanément.

[spywolf]

Mon appli procède de la manière suivante:

1/ ouverture de la connexion: [BufferedReader in = new BufferedReader(new InputStreamReader(urlSource.openStream()));]

2/ lecture du contenu >> variable String

3/ fermeture de la connexion [in.close]

4/ traitement du String pour recuperer les liens et les mettre dans une liste d'url

5/ pause de 20 secondes

6/ recup de la prochaine url presente dans la liste et retour au [1] sauf si l'appli a deja parcouru un nombre seuil de site



ma question: la pause est-elle indispensable ?

Encore merci de ta reponse

[millie]

Les aspirateurs de site ne font pas de pause et lance des téléchargements simultanées (une dizaine souvent).

En fait, ceci correspond un peu à un parcours d'arbre (EDIT : Même un parcours de graphe), qui pourrait se faire de manière multithreadé en utilisant une pile d'élément à visiter et une pile d'élément visité (partagé par tous les threads)

Donc, ce que je te dis, comme tu as déjà tout fait : C'est d'enlever la limite de temps et de voir ce que ça donne. Mais il y a des sites qui bloquent volontairement les tentatives d'aspiration de site.