Discussion :

[fl013]

Bonjour,

Je suis actuellement en train de réaliser un projet dans lequel j'aimerais crawler les textes de certains sites web (articles de presse, etc..), ainsi que de récupérer certaines données grâce à des requêtes et mots clés. Pour ce faire j'aimerais utiliser le logiciel Open Search Server mais j'ai pour l'instant du mal à l'utiliser.. J'aimerais savoir si ce logiciel est adapté à mon projet et si je peux parvenir à mes fins.

Merci d'avance !

[Alexandre.T]

Bonjour,

OpenSearchServer est totalement adapté au crawl de sites web, c'est même pour ce besoin qu'il est né
Avez-vous lu le tutorial présent ici ? http://www.opensearchserver.com/docu...g_a_website.md Est-ce qu'il ne répond pas à toutes vos questions ?

N'hésitez pas à me faire part de vos besoins exacts afin que je puisse vous renseigner au mieux.

Cordialement,
Alexandre
Chef de projet technique - OpenSearchServer

[fl013]

Bonjour Alexandre T,
Je vous remercie tout d'abord pour votre aide. Je désirerai crawler un site web (news: article de presse...) et extraire les données suivantes : Titre , URL, Langue( OSS le fait déjà) mais également la date de parution de l'article et éventuellement la thématique. Pour la date de parution je n'arrive pas à trouver d'Analyzers spécifique qui pourrait déterminer une date. Donc si vous avez une solution à m'apporter par rapport à ce problème celà m'aiderait beaucoup dans l'avancée de mon projet. De plus je voudrais savoir s'il était possible d'indexer juste le contenu texte de l'article afin de pouvoir faire mon analyse sémantique dessus.
Merci d'avance

[Alexandre.T]

Bonjour,

Avez-vous étudié cette page ? http://www.opensearchserver.com/docu...m_web_pages.md

Cela devrait vous permettre de cibler précisément les données à extraire.

Il faudra effectivement probablement retraiter la date avec un analyzer afin de la transformer en format AAAAMMJJ. Voici un exemple d'analyzer pouvant faire ce travail, il vous suffit de l'appliquer au champ qui reçoit la date extraite de la page.



Cet analyzer transforme une date au format JJ/MM/AAAA en format AAAAMMJJ. La regexp est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

([0-9]{2})/([0-9]{2})/([0-9]{4})

Merci,
Alexandre

[fl013]

Bonjour Alexandre, nous nous demandions si nous pouvions récupérer la date de publication de l'article du monde (cf pj jointe) par un autre moyen : en utilisant un htlm parser. Voici comment nous l'avons écrit mais nous n'arrivons toujours pas à le faire bien que nous ayons regardé le tuto (http://www.opensearchserver.com/docu...m_web_pages.md). Auriez-vous des suggestions?

[Alexandre.T]

Bonjour,

Je ne vois pas bien quelle information vous souhaitez extraire du code source. Pouvez-vous me préciser cela ? Je ne vois pas de date dans le screenshot du code source.

Votre Regexp me semble erronée car elle s'attend à trouver un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

</time>

juste après un double guillemet.

Essayez par exemple avec :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
(?s)datetime="(.*?)".*?</time>

Alexandre

[fl013]

Bonjour Alexandre,
Merci pour cette réponse.
Nous voulons récupérer la date, dans cet exemple (à savoir 2015-03-30) et nous n'arrivons toujours pas à trouver une expression régulière pour cela.

Nous avons également tester l'expression que vous nous avez suggérer mais sans succès.

[Alexandre.T]

Bonjour,

Voici deux screenshot montrant l'extraction de dates pour la page de test http://www.lemonde.fr/actualite-medi...1850_3236.html





Le test correspond à ce qu'affiche un Manual Crawl pour le crawl de cette page. J'ai créé un champ "test_date" dans le schéma et j'y ai mappé la valeur extraite par la regexp dans le HTML parser.

La regexp utilisée est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

(?s)datetime="([0-9]{4}-[0-9]{2}-[0-9]{2}).*?".*?</time>

Ici deux éléments dans la page correspondent à cette regexp.


Alexandre

[fl013]

Merci beaucoup, ca nous aide vraiment

[fl013]

Maintenant nous voulons récupérer les dates des différents sites web, que nous avons enregistrer dans la patern list grâce à un Query . Pour cela nous avons ajouté dans returned fields et searched field le paramètre date. Mais nous n'arrivons pas à récupérer la date pour autant

Auriez-vous une solution?
Nous sommes désolé de vous en demander tant.

[Alexandre.T]

Bonjour,

Pourriez-vous m'envoyer une copie d'écran du Schéma de l'index ?

Avez-vous bien ajouté le champ voulu dans l'onglet Returned field de la query ?

Qu'obtenez-vous exactement lors d'une query ? Rien ? Ou alors des résultats mais sans ce champ ? Ou encore ce champ mais sans valeur ?

Pouvez-vous aller dans l'onglet "Runtime / Terms" et choisir le champ de date et vérifier qu'il contient bien des valeurs ? Si le champ en question n'est pas présent dans la liste des champs dans l'onglet "Runtime / Terms" c'est que les données ne sont pas correctement indexées dans le champ.

Merci,
Alexandre

[fl013]

Bonjour, voici une copie d'ecran du schema de l'index

Nous avons ajouté le champ date dans l'onglet

Lors d'une query nous n'avons rien dans le champ date il n' y a aucune valeur dans ce champ.

Dans l'onglet Runtime nous avons ça

[Alexandre.T]

Bonjour,

C'est étrange. Le champ est "Stored" (stocké) vous devriez donc récupérer la valeur donnée au champ avant le traitement par les analyzers. L'onglet Runtime / Terms montre les valeurs en sortie des analyzers, mais cela prouve bien que des valeurs sont reçues par le champ "date-article".
Pouvez-vous m'envoyer une capture d'écran du résultat d'une requête dans l'interface ? Et un screenshot du résultat XML affiché au clic sur "XML/HTTP API Call" ?

Merci,
Alexandre

[fl013]

Bonjour,

[Alexandre.T]

Est-ce que le document visible sur le screenshot est censé posséder une date ? Si vous utilisez la fonctionnalité de Manual Crawl pour crawler son URL, est-ce qu'une valeur est extraite pour le champ "date-article" ?

Tous les documents n'ont peut-être pas de date dans votre index. Il faudrait faire une recherche qui fasse remonter un document dont vous êtes sûr qu'une date a été extraite.

Cordialement,
Alexandre

[fl013]

Effectivement,
tous les documents de l'index n'ont pas de date. De ce fait, certains ne retournent pas ce champ. En tout cas, nous vous remercions pour votre aide.
Cordialement