Discussion :

[Nixeus]

Bonjour à tous,

Je suis développeur de métier, mais développeur applicatif et non web.
J'ai besoin pour un projet perso de développer un genre de "bot", de "script" qui irait rechercher sur une liste de sites pré-définies ( 4 ou 5 environ) des URL directes vers des vidéos.

Le but de ce script serait d'itérer sur ces 4 ou 5 sites et de récupérer les URL des vidéos disponibles, les keywords associés, les descriptions et éventuellement les vignettes, puis, tout stocker dans une Db (probablement mySQL).

Attention, je ne souhaite pas "grabber" ( télécharger) les vidéos, je veux juste récupérer le liens direct et les mots clé, descriptions et les stocker dans ma db.
Ce script serait a exécuter périodiquement, peux etre 3 à 4 fois par semaine environ afin de mettre à jour la base.

Ce qui est important de noter est que les "sources" à aller voir seraient au nombre de 4 ou 5, ainsi je pourrais coder "manuellement" la méthode à suivre pour aller chercher les URLS de ces sites. Je ne cherche pas à construire un bot "universel" capable de trouver des liens de vidéos automatiquement. Non, je cherche a automatiser cette tache.

Le but serait qu'ensuite un site web derrière traite et présente ces infos, c'est donc un développement web.

Au début je pensais a faire ce script en php ou js, seulement, je suis vraiment à la ramasse sur les technos web. Je cherche le moyen le plus simple pour faire cela...je suis développeur donc pourrait m'en tirer avec toutes les technos, mais je tiens à éviter de perdre bcp de temps.

Que conseillez vous entre php ou javascript ? Une librairie particulière et simple pour analyse de l'http ( je pense que je vais devoir coder un genre de client http non ?).

Grossièrement, je pensais regarder comment mes sites "construisent" leurs URL vers leurs vidéos...Les générer automatiquement par programmation et vérifier si l'url était valide...quelque chose comme cela.

Avec quoi pourrait-je simplement faire cela ?

Sinon, il reste la méthode de bucheron du développeur applicatif...coder ça en C#, en faire un EXE et lancer depuis mon PC via une tâche planifiée afin de mettre à jour la Db, mais ce n'est pas très smart...

Voila, messieurs les web devs, j'aurai bien aimé vos avis la dessus

Qu'en pensez vous ?

Je vous remercie par avance :=

[mathieu]

En PHP, il y a une fonction client HTTP très simple pour faire une requête GET : http://php.net/file_get_contents
Et en PHP, la récupération et l'analyse des pages pourra se faire automatiquement côté serveur alors qu'en JavaScript, vous devrez ouvrir votre navigateur à chaque fois.

Le choix de la technologie peut aussi dépendre de ce que vous voulez faire avec les données récupérées. Cela sera une simple page avec la liste des données ? Ou alors ça sera intégré à un site plus complet avec différentes pages, une espace protégé par mot de passe, un formulaire de contact par exemple ?

[Nixeus]

Salut et merci de ta réponse,

Ma partie consiste juste à faire un script déclenchable qui pourrat alimenter la DB.
Pour le reste du JOB, la partie présentation c'est mon binome qui fera le reste ( qui lui, est développeur web).

Je vais partir sur PHP alors, au moins il y aura une communauté ! J'aime vraiment pas cette techno mais bon, si je veux me mettre au web, j'aurai pas le choix

Merci !

[mathieu]

Le langage serveur que vous allez utiliser dépend du type de serveur que vous aurez de disponible.
Si par exemple, vous prévoyez de travailler principalement sur des serveurs qui ont un serveur HTTP en Ruby, il sera plus intéressant pour vous d'étudier ce langage pour ce script d'analyse des vidéos.

Pour le moment le PHP est utilisé par beaucoup de développeurs et donc beaucoup d'hébergeur propose du PHP même parfois avec des offres à 0 € (mais avec publicités). Cela rend ce langage plus intéressant pour les débutants => augmentation des utilisateurs de ce langage => augmentation de la demande d'hébergement, etc.
Il y a encore quelques années, le gros point négatif était les mauvaises performances de PHP - MySQL qui faisait que les gros projets se tournait vers Java. Mais depuis des optimisations ont été faites et des gros sites, comme par exemple le numéro 1 du covoiturage, utilisent PHP.

[Spartacusply]

Salut,

déjà ce que tu veux faire n'est pas nouveau, ça s'appelle du scraping (fait gaffe, c'est toujours tendancieux et limite au niveau de la légalité mais bon passons...)

Si on parle uniquement du script qui te servira à scraper les données, je suis tenter de te dire d'utiliser le langage qui te fait plaisir. Tout ce qu'il te faut c'est un langage qui te permet de lancer des requêtes HTTP, de parser du XML et d'interagir avec une base de données et à vrai dire... tous les langages proposent ces fonctionnalités basiques. Donc, si tu te sens à l'aise en C# et que tout ça ne te pose pas de problème... ben fonce. Tu seras beaucoup plus efficace en terme de temps de développement tout simplement.

[Nixeus]

Salut,

Oui, j'avais pensé à le faire en C# mais ca voudrait dire de déclencher l'exe ponctuellement depuis soit un VPS ou un PC. Ce qui n'est pas très smart.
Un bon parseur et ca irait en effet...a voir !

Après si on peut déclencher un code C# / EXE depuis un hébergeur php ce serait top mais....pas sur qu'on puisse sans passer via un VPS.
Ou alors, faire dans un premier temps un exe c# et ensuite éventuellement le porter en ASP.NET ?

[Spartacusply]

Que tu exécutes du PHP ou un exe via ta tâche planifiée ne change au final pas grand chose.

Par contre en effet, l'avantage que je vois à développer en PHP, c'est qu'il est probablement plus simple de mettre en place un environnement permettant d'exécuter du php que un .exe, mais le travail qui sera effectué par le code derrière sera le même, peut importe le language.

[Nixeus]

Oui le job est le même à l'avantage pour moi de bien plus maitriser C#.
Allez, je vais partir la dessus et la communautée sera la pour m'aider si des galères...
Et une fois fonctionnel je verrai pour le porter vers un code ASP.net au pire...pour l'automatiser via l'hébergeur.

Merci

Y'a pu qu'a trouver les bons composants qui me feront gagner du temps

Merco

[Nixeus]

Bonsoir,

Une petite question...

Imaginons un site web sous la forme :

https://www.MonSiteWeb/

Les liens vers les pages de vidéos sont sous la forme :

https://www.MonSiteWeb/video/Voici_u..._Video_A_Voir/
https://www.MonSiteWeb/video/Voici_une_autre_ superbe_Video_A_Voir/
https://www.MonSiteWeb/video/Voici_u..._Video_A_Voir/

Existe il un moyen de ""trouver"" ces adresses par programmation ? Si je comprends bien, le webscraper est plus un "parseur" intelligent et orienté web non ? Moi dans mon cas je voudrais plus arriver à trouver les URLS disponible pour le moment...

Je ne sais pas si je me fais bien comprendre...

Cela a-il un nom ? Existe il un moyen de trouver ces adresses ? Une librairie existe elle pour ca ?

Merci à tous

[Spartacusply]

3 possibilités :

- Les liens se suivent et/ou ils peuvent être deviné : dans ce cas là c'est plutôt facile
- Soit il existe une manière d'indexer et de faire une liste de ces vidéos, le cas typique étant un champ de recherche. Dans ce cas là, pas de soucis, tu lances ta recherche avec ton programme et tu récupères les liens qui vont bien au sein de la page de résultat
- Soit... ben non, c'est pas possible ou en tout cas ça devient très compliqué....

[Nixeus]

Les serveurs webs sont donc bien protéger pour éviter qu'on scanne leurs racine ?
DOmmage.

Et bien, non les liens se devinent pas donc je peux pas les deviner.

Ya un moteur de recherche sur le site donc je pense que je vais devoir passer par la, mais quoi mettre dans le moteur...a moi de trouver les termes mais pas sur de pouvoir tout récupérer par contre !

[ABCIWEB]

Salut,

Dans ton exemple tu indique des vidéos locales mais cela pourrait être également des vidéos youtube intégrées dans le site, donc tout dépend de ta cible et de ce que tu veux récupérer.

En parsant le dom sur une collection des balises "video" tu devrais pouvoir récupérer les vidéos locales (dans l'attribut "src" de la balise "source" inclue dans la balise vidéo) et pour les vidéos youtube on peut faire une collection des balises "iframes" et regarder si l'attribut "scr" contient une url youtube.

Perso j'utiliserais php parce que c'est simple et que dans ce cas il n'y a besoin que d'apprendre à utiliser DomDocument pour parser une page web et savoir manipuler un peu les tableaux (mais bon pour un développeur...). Avec getElementsByTagName tu peux cibler directement les balises voulues, bref cela devrait être assez rapide. Et ton script serait fonctionnel directement dans un environnement web standard, même un mutualisé pour peu qu'il propose des tâches cron pour automatiser tes requêtes (les premiers prix ovh à 1.5€/mois le permettent déjà).

[Spartacusply]

Les serveurs webs sont donc bien protéger pour éviter qu'on scanne leurs racine ?

Oui ! Et heureusement ! Sinon c'est une faille de sécurité !

Tu peux tester à tout hasard d'accéder au sitemap.xml qui est censé répertorier l'ensemble des pages du site, mais ça me paraît improbable