Extraire les données selon la méthode du web scraping

Bonjour tout le monde, je suis une étudiante à la faculté des sciences économiques et de gestion de Tunis, et je fais un mastère de recherche en finance. Mon mémoire se porte sur les déterminants du crowdfunding et ses perspectives de développement en Tunisie. En absence de réponse de la part la plateforme tunisienne Cofundy, j'ai besoin pour formuler la base de données de mon sujet, d'extraire les données selon la méthode du web scraping grâce à un programme codé en python et le logiciel scrapy.org. je vous prie svp de m'aider, je n'ai aucune connaissance en informatique. Merci D'avance.

Ci-joint les URL des projets dont je dois extraire les données
1. https://www.cofundy.com/index.php?r=...Fdetail&id=254
2. https://www.cofundy.com/index.php?r=...Fdetail&id=113
3. https://www.cofundy.com/index.php?r=.../detail&id=257
4. https://www.cofundy.com/index.php?r=...Fdetail&id=151
5. https://www.cofundy.com/index.php?r=.../detail&id=465
6. https://www.cofundy.com/index.php?r=.../detail&id=338
7. https://www.cofundy.com/index.php?r=.../detail&id=318
8. https://www.cofundy.com/index.php?r=.../detail&id=330
9. https://www.cofundy.com/index.php?r=.../detail&id=318
10. https://www.cofundy.com/index.php?r=.../detail&id=151
11. https://www.cofundy.com/index.php?r=projet/detail&id=90
12. https://www.cofundy.com/index.php?r=.../detail&id=296
13. https://www.cofundy.com/index.php?r=.../detail&id=224
14. https://www.cofundy.com/index.php?r=.../detail&id=209
15. https://www.cofundy.com/index.php?r=.../detail&id=258
16. https://www.cofundy.com/index.php?r=.../detail&id=142
17. https://www.cofundy.com/index.php?r=.../detail&id=143
18. https://www.cofundy.com/projects/6fd...lidarite-maroc
19. https://www.cofundy.com/index.php?r=...Fdetail&id=108
20. https://www.cofundy.com/projects/565...497e89ca/jwebi
21. https://www.cofundy.com/index.php?r=...2Fdetail&id=91

Bonjour

La majeure partie de tes URL sont invalides. J'en ai toutefois trouvé deux https://www.cofundy.com/projects/565...497e89ca/jwebi et https://www.cofundy.com/projects/6fd...lidarite-maroc mais elles mênent sur une description je ne vois pas, dans ces pages, quelles données tu veux extraire.

Citation:

---

Envoyé par sarra216

je n'ai aucune connaissance en informatique.

---

Ah ben c'est pas gagné alors. Parce que quoi qu'il arrive, "aider" ne veut pas dire "faire le boulot à ta place".

Bonjour,
le prb qui se pose c'est que je dois extraire les données depuis les URL invalides, car Cofundy cache les projets échoués. je les ai trouvé sur leur page fb officiel au moment de la collecte de fonds. Concernant les URL qui fonctionnent, le début de la collecte n'est pas mentionné, je ne peux donc pas calculer la durée de la compagne de collecte et aussi je dois savoir si un individus à contribuer dans le palier le plus élevé et rien n'est publié. En fait après des recherches j'ai pu extraire certaines données de 8 projets mais je ne suis pas sure quant à la exactitude de certaines variables. C'est la raison pour la quelle j'ai demandé votre aide. J'ai consulté plusieurs ingénieurs en informatique mais aucun n'as pu m'aider.

En gros tu nous demandes de l'aide pour hacker une base de données à laquelle seule la plateforme à accès et qui contiendrait des informations sur les contributeurs :weird: . C'est illégal. Tu dois demander l'accord à la plateforme pour avoir accès à la base de données anonymisée. Normal que tu n'aies pas trouver d'aide. Je pense que tu n'en auras pas non plus ici.

Je ne pensais pas que c'étais illégale, les données ont été publié au moment de la collecte, mais une fois la date passé la plateforme change les URL et publie les données souhaité et masque aux internautes les projets échoués. De plus, j'ai trouvé cette méthode dans un mémoire d'un étudiant français https://dumas.ccsd.cnrs.fr/dumas-01092302/document ( page 32). les ingénieurs que j'ai consulté ne sont pas experts dans le langage python personne ne m'as prévenu que c'est illégale. En tout cas merci de m'avoir répondu et informé de cela.

Il vous faut séparer les taches et les problèmes. Faire du webscrapping pour récupérer des infos sur un site à une url données est une chose, et c'est légale. Faire une liste d'URL toutes valides pour votre projet en est une autre. Que le site donnent accès à des infos et coupe cette accès suite à un évènement (comme l'échec du projet par exemple) alors ca s'en est encore un autre. Et soit le site laisse les infos mais les changent d'adresse (donc là, à vous de trouvez ces adresses, et dans ce cas ce n'est pas que le site coupe l'info, mais il l'archive en changeant l'url), soit le site coupe vraiment l'info et à part leur demander l'autorisation ou l'accès à ces infos effectivement vous n'aurez rien (et tout moyen détourné qui vous donnerais qqch en effet est illégal).

Après rien ne vous empêche de lancer votre script régulièrement (quotidiennement?) sur les projets disponibles du moment. Comme ca quand un projet ferme, et bien vous l'avez gardez vous en mémoire de votre côté. C'est ce qui semble avoir été fait dans le stage du le lien que vous donné.

Merci à lg_53 qui clarifie mon message.

Concernant le webscrapping, il faut aussi vérifier les conditions. Par exemple o'reilly accepte la pratique si un délai de 30 secondes est respecté entre deux url testées. Dans certains cas, ne pas rester cette condition peut être considérer comme illégal.

salut,

Citation:

---

Envoyé par sarra216

Je ne pensais pas que c'étais illégale

---

comme indiqué par la suite, ça n'est absolument pas illégal

en revanche il est toujours de bon ton d'aller lire les conditions générales d'utilisation ("CGU" ou "ToS" en anglais) pour voir s'il n'est pas explicitement précisé que les robots et/ou traitements automatisés sont interdits
par ailleurs le site peut parfois fournir une API pour accéder facilement à ses données (et cette API imposer un timeout pour éviter de se faire inonder de requêtes)

en l'occurrence sur CoFundy il n'y a rien qui met en garde contre l'utilisation d'un robot ou le fait de scraper tout ou partie du site

en analysant rapidement la page discover où sont listés tous les projets, déjà on remarque que des projets il y en a 17, pas un de plus, donc au pire et dans ce cas très précis ça peut éventuellement se récupérer directement à la main, ça prend 5 min max.
mais en admettant que l'on veuille automatiser tout ça, on se rend compte que le bouton "charger plus de projets" réclame au serveur une URL du style :

Code:

---

https://www.cofundy.com/project/load-more/SUCCEEDED/4/4

---

et là ça devient plus simple; les deux derniers numéros dans l'url correspondent respectivement au numéro du projet et au nombre de résultats à renvoyer, ainsi la requête https://www.cofundy.com/project/load-more/SUCCEEDED/8/4 va récupérer les 4 prochains projets (la deuxième page), et si on l'on réclame directement https://www.cofundy.com/project/load-more/SUCCEEDED/0/100 on récupère d'un seul coup les 100 premiers projets, ce qui ici est largement suffisant

ce que l'on récupère (donc avec curl, wget ou autre script python) c'est du HTML, dans lequel on remarque une structure récurrente du style :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26

<div class="col-sm-3 margin-bottom30"> <div class="project-item small-project"> <div class="project-thumbnail small-thumbnail"> <a href='/projects/7694ac5d-b900-4e9d-a6b4-c382541f2a14/le-lemon-tour--se-deplacer-autrement-pour-visiter-differemment--'> <img src="https://api.particeep.com/document/b5f5490b-7b58-4f71-ac26-e9fe40419233" alt="Le Lemon tour, se déplacer autrement pour visiter différemment !"> <div class="project-image-hover"> <div class=project-image-hover_content> <span>Voir le projet</span> </div> </div> </a> </div> <div class="project-content"> <h5 class="project-title"><a href='/projects/7694ac5d-b900-4e9d-a6b4-c382541f2a14/le-lemon-tour--se-deplacer-autrement-pour-visiter-differemment--'>Le Lemon tour, se déplacer autrement pour visiter différemment !</a></h5> <p class="project-description">Participez au Lemon Tour, visite de découverte à vélo du patrimoine tunisien d&#x27;hier et d&#x27;aujourd&#x27;hui!</p> </div> <div class="project-footer"> <div class="project-infos"> <!-- If is RUNNING --> <div class="text-center"> <p class="nomargin-bottom"><b>Projet financé avec succès</b></p> <p>Montant levé : 6*085 €</p> </div> </div> </div> </div>

---

reste à isoler dans ce code HTML les données qui nous intéressent, le module BeautifulSoup est un candidat de choix, un bref exemple :

Code:

---

1 2

>>> [i.text for i in soup.find_all(attrs={'class': 'project-title'})] ['Le Lemon tour, se déplacer autrement pour visiter différemment !', 'Festival des Arts Urbains "JAM Session #4"', 'Cimetière pour les migrants', 'Exclusive Tunisia', 'Maternelle Afoulki', "Sourires d'enfants", 'Codesol Artisanat Kabyle', 'C.A.T.S', 'Darna', 'La révolution en laine', 'Espoir de vacances', 'Dembe', 'Tous pour la Rachidia', 'Ecole Chafaï', 'Les roses de la thyroïde', 'Solidarité Maroc', 'Jwebi']

---