Discussion :

[anubis55]

Bonsoir à tous.
Je m'adresse à vous car je n'ai pas trouver de solutions à mon problème et je suis à court de temps.
En effet, j'implémente une approche que j'ai moi-même proposé dans mon projet de fin d'études. Je travaille sur la recherche d'information personnalisée sur Internet et l'approche que j'ai proposée ce base exclusivement sur les résultats de recherche retournés par Google.
Dans mon application, j'analyse l'Html des résultats de Google à l'aide de la librairie "HtmlAgilityPack" afin de récupérer les Urls des pages web que Google a trouvé suite à la requête que je lui ai passé. Après récupération de toutes les Urls, je dois récupérer l'Html de chaque page.

Le problème c'est que j'ai un grand nombre de pages à récupérer (entre 100 et 1000 pages) et faire ça en local c'est vraiment galère. J'ai testé ça en local en divisant la récupération des pages sur des threads, ça m'a pris 17 minutes et 11 secondes pour télécharger 400 pages et mon encadreur m'a dit que c'est inacceptable. Ce processus de recherche et de récupération peut se répéter autant de fois que le désire l'utilisateur, alors vous imaginez si l'utilisateur doit attendre 20 minutes à chaque recherche.

Donc un ami m'a conseillé d'écrire un code C# pour récupérer l'Html des pages web qu'il me faut et de mettre ce code dans une page ASP.NET (vu que je travaille sous C#.NET) et mon application fera appel à cette page qui exécutera ce code et retournera une liste d'objets contenant les résultats à mon application. Ceci afin de profiter de la puissance des serveurs qui hébergent les pages ASP.NET et pallier au problème de temps d'exécution qui me fait défaut.

Malheureusement, il n'y connait pas grand chose à l'ASP.NET et mes connaissances dans ce langage sont nulles.
Je vous demande donc à vous, de m'aider sur ce problème, me donner une solution de page ASP.NET qui correspondrait à la suggestion de mon ami, car là il ne me reste vraiment plus de temps pour trouver une autre solution ou changer mon approche puisque mon application est presque terminée et le seul truc qui me fait défaut c'est la récupération des pages web dans un temps minime.

N'importe quelle solution faisable qui me ferait gagner du temps est la bienvenue.

Je vous remercie d'avance.

[Nathanael Marchand]

Le mettre sur un serveur ou il y'a ASP.Net ne changera strictement rien du tout... Je vois d'ailleurs pas le rapport.

[anubis55]

Ben la vitesse d'exécution des serveurs d'hébergement est plus puissante que la vitesse d'exécution d'un simple PC.

[Nathanael Marchand]

Bof... Pas tellement... Tout dépend des machines et avec la puissance des machines actuelles la différence n'est pas si marquée...
Si jprend mon PC de bureau, j'ai un Core2 Quad Q9400 alors que mes deux serveurs dédiés sont un Intel Atom et un Core 2 Duo. Victoire mon pc de bureau!
Et puis, qu'est ce qui te dis que c'est ton CPU qui est limitant? Un scooter 50cm^3, t'as beau le mettre sur une autoroute, c'est pas pour ca que t'iras à 130km/h
Bref, c'est pas si simple que ca! En plus, même chose pour la parallèlisation, as tu identifié les goulots d'étranglement?

[anubis55]

Bon je t'explique le principe de mon approche de parallélisation :
J'ai 20 requêtes Google à exécuter, j'ai affecté chaque requête à un Thread qui est sensé récupérer 20 pages. Je les lance tous en même temps et je les laisse chacun récupérer les 20 pages. J'ai testé ça et j'ai obtenu 400 pages en 17 minutes et 11 secondes.

Que veux-tu dire par les goulots d'étranglement???

[hegros]

Je pense que lorsqu'il parle de goulots d'étranglements il veut dire=>Si tu n'as qu'un seul thread qui exécute le 20 requêtes qu'est-ce qui consomme le plus de temps ? Parce que si google prends 90% du temps pour répondre à ta requête alors le goulot d'étranglement se situe à ce niveau sinon si 90% du temps est consommé dans une classe à toi pour décoder la requête c'est encore autre chose.

Cependant quelque chose me semble pas clair, est-ce que les 20 requêtes sont les mêmes pour tes 20 threads ? Car j'ai du mal à comprendre pourquoi envoyer 20 fois 20 requêtes identiques ou alors ce n'est pas des requêtes identiques et dans ce cas on peut se poser la question de quelles requêtes consomment le plus de temps (dans la mesure où le goulot d'étranglement est là)?