Discussion :

[LucienVA]

Salut à la communauté,
Je fais actuellement du web scraping sur R. Je collecte des milliers d'informations sur plusieurs pages web (avec le package rvest) et surtout des informations précises dont j'ai besoin pour faire de l'analyse économique, statistique et économétrique. Cependant, je me heurte à un problème de rapidité dans la collecte. Malgré la rapidité du pc (pc gamer), et le fait que j'ai réparti le travaille sur plusieurs sections de R, depuis près de 12h de temps, mon code n'a pas encore atteint 5% de la collecte de données.

Cherchant un moyen pour aller vite, je décidé de passer sur R Studio server, à priori plus rapide. Cependant, je ne sais pas si c'est possible de le faire sur Windows. Je vois une version gratuite de R studio server mais je pense que c'est sur les autres systèmes (linux, Ubuntu ...).

Mes questions :
Peux t-on l'installer sur Windows ?
Comment et sur quel serveur ?
Est-ce que c'est gratuit de disposer d'une tel serveur pour l'installer et l'utiliser ? quand je fais des recherches je tombe sur des serveurs pays (google compute engineer, Microsoft...)

Merci d'avance!

[dourouc05]

Apparemment, ce produit est vraiment limité à Linux (https://docs.rstudio.com/rsp/requirements/). Sinon, ce n'est pas une distribution plus rapide de R, plutôt une édition prévue pour fonctionner sur un serveur (à destination de plusieurs utilisateurs). Si ton code est déjà écrit en parallèle, tu ne devrais pas avoir trop de mal à l'exécuter sur des plateformes infonuagiques, avec un gain de performance probablement important.

Est-il envisageable de réécrire une partie de ton code dans un autre langage ? Ça pourrait vraiment aider, selon le genre d'opérations que tu effectues : avec des expressions régulières sur des pages Web de grande taille, n'aie pas trop d'espoirs…

Autre solution : les sites en question ne proposent pas des API prévues justement pour être accédées depuis du code, relativement rapidement ?

[LucienVA]

Salut dourouc05,
Merci pour la réponse et tes propositions, ça m'a aussi aidé.

"Est-il envisageable de réécrire une partie de ton code dans un autre langage ?"
Oui ! on me conseille python, sauf que le délai pour ce travail ne me permet pas d'apprendre ce langage. J'ai peu de notions en python (à approfondir après). Par contre RStudio je l'utilise plus souvent en raison de mes collaborateurs.


"Autre solution : les sites en question ne proposent pas des API prévues justement pour être accédées depuis du code, relativement rapidement ?"
Je pense que tu as raison en ce qui concerne les API. Je n'avais pas connaissance de cela jusqu'à très récemment lors des échanges sur mes problèmes d'extraction de données. Je vais me pencher sur cette option pour la suite de l'extraction des données. Peut-être que cela me serait plus utile et efficace.

Pour le cloud, je vais faire des recherches dessus, et voir en quoi cela pourrait m'aider.
Grand Merci pour la réponse et tes propositions intéressantes!