Python 3: extraction de dates àpd expressions régulières

Version imprimable

11/10/2018, 19h42
roline

Python 3: extraction de dates àpd expressions régulières

Bonjour,
J'aimerais pouvoir extraire des dates (en anglais) d'un texte. Le problème est que les dates sont du genre: September 2014, in 2018, the begin of the Septembrer, etc. Pour extraire des dates telles que 1995, 13.03.98, j'utilise des expressions régulières eta fonctionne mais je ne vois pas comment faire lorsque ce sont des mots.. J'avais pensé à faire une sorte de liste et ensuite de concaténer cette liste avec des expressions régulières mais dans la pratique je vois pas trop comment faire surtout que je dois boucler ça.. Est-ce que quelqu'un aurait une solution? :)
Merci beaucoup!!!
11/10/2018, 20h20
wiztricks

Salut,

Citation:

Envoyé par roline

Le problème est que les dates sont du genre: September 2014, in 2018, the begin of the Septembrer, etc.

Le langage naturel est bien plus compliqué que ce qu'on peut analyser par des expressions régulières.... mais vous avez des bibliothèques comme nltk, qui avec de bons taggers, sauraient faire. Ceci dit, çà va vous demander du temps pour apprendre à utiliser tout çà.

- W
11/10/2018, 20h28
roline

Citation:

Envoyé par wiztricks

Salut,

Le langage naturel est bien plus compliqué que ce qu'on peut analyser par des expressions régulières.... mais vous avez des bibliothèques comme nltk, qui avec de bons taggers, sauraient faire. Ceci dit, çà va vous demander du temps pour apprendre à utiliser tout çà.

- W

J'ai déjà utilisé nltk pour tokenizer donc je comprends un peu ce module. Mais je ne vois pas comment un tagger pourrait solutionner mon problème? :-)
12/10/2018, 13h45
BufferBob
salut,

Citation:

Envoyé par roline

J'ai déjà utilisé nltk pour tokenizer donc je comprends un peu ce module. Mais je ne vois pas comment un tagger pourrait solutionner mon problème? :-)

je crois que c'est au moment de la reconnaissance d'entités nommées (NER) que certaines vont être catégorisées en tant que dates, personnes, lieux etc.

le NER tagging repose en général sur une ou plusieurs techniques, dont les regex (ex: r'dans (\d|quelques|plusieurs|une poignée de) (?:secondes|minutes|heures|jours|mois|années)'), les dictionnaires dans lesquels on check si l'unité lexicale existe ou non, éventuellement en prenant soin de traiter les spécificités comme les contractions ("avant Jésus Christ", "avant JC", "av. JC.", etc.), voire carrément du machine learning en établissant un modèle (statistique donc) sur la base d'un corpus préalablement annoté

pour reprendre tes exemples, "September 2014", "in 2018", "13.03.98" c'est facile de faire des regex qui vont matcher correctement, méfiance quand même concernant "1995", si c'est suivi d'un symbole "€" ce n'est probablement pas une date ;)
à ça on pourra ajouter tous les compléments de temps (en gros tout ce qui suit "at" ou "when" par exemple), qu'on récupère grâce à un étiquetage morphosyntaxique classique (POS tagging)
il est probable qu'on puisse faire la même chose pour le cas de "the begin of the September", quand on a "September" qu'on sait être un mois, on peut vérifier ce qui dans la phrase le référence "the beginning of", le parsing de dépendances pourra aider
- NLTK : Named Entity Recognition
- NLTK : Relation Extraction