Filtrer json sur multiples expressions

Bonjour à tous,
je vais essayer de vous exposer mon problème. J'ai développé une application web qui scrute et "aspire" les contenus FB et IG de plusieurs tatoueurs. Le principe de l'app est de surveiller leurs déplacement et d'informer les internautes... bref. Je récupère toutes ces données en python et les stocke dans un fichier json (chaque enregistrement ayant un ID, une url, un texte ...).

Le problème c'est que je me retrouve avec de plus en plus d'infos à trier / de contenus à lire et analyser. En effet, je récupère TOUTES les publications quel qu’en soit le contenu. Je peux tout aussi bien récupérer quelque chose qui concerne un déplacement qu'une publi sur les vacances d'un tatoueur.... J'aurais donc aimé filtrer ces publis avant de les enregistrer dans mon json.

Globalement je retrouve toujours des expressions types du genre "guest", "retrouvez moi chez", des dates, des noms de ville.... J'envisagez de stocker toutes ces "expressions types" dans un fichier "Dictionnaire " par exemple et d'analyser chaque publi avant de l'enregistrer mais je ne sais pas par où commencer (expressions régulières....).

Il existe peut-être des outils tournant sur serveur permettant de faire cela, des API, des outils de traitement de DATA (comme c'est ce que l'on trouve un peu partout maintenant), peut-être même des outils d'apprentissage (on lui dit cette publi et bien celle-ci l'est moins et au bout d'un moment il se débrouille)...

Bref j'avoue ne pas trop savoir vers quoi m'orienter. Si quelqu'un avait une idée :D

Merci d'avance

En continuant à fouiller, je suis arrivé sur des termes tels que "NLP", "scikit-learn" mais cela est toujours un peu flou...

salut,

Citation:

---

Envoyé par pusse

je suis arrivé sur des termes tels que "NLP", "scikit-learn"

---

c'est des gros morceaux ça, NLP en gros c'est natural language processing (traitement du langage naturel ou TAL(N) en français), scikit-learn c'est une boite à outils pour faire du machine learning, m'est avis que tu n'en es pas là

au plus simple ce que tu peux faire c'est essayer de discriminer tes données en fonction d'un ou plusieurs mots-clés

en Python ça se traduit par de la simple recherche if toto.find(machin) ou encore if machin in toto
jusqu'aux expressions rationnelles (regular expressions ou regex) if re.search("rentre bien (chez toi|au pérou|la poubelle)", toto) etc.

C'es-t ce que je me disais.... je vais surement m'orienter vers ça même si j'ai trouvé un bout de code à cette url :

https://stackoverflow.com/questions/8897593/similarity-between-two-text-documents


Qu'en penses tu ?

Citation:

---

Envoyé par pusse

Qu'en penses tu ?

---

qu'il vaut mieux comprendre ce qu'on fait et le coder soi-même autant que possible (avis perso, c'est ma façon de faire de l'informatique), s'en remettre à un bout de code mal- ou non-maitrisé c'est souvent l'assurance de ne pas trouver ce qu'on veut ou que la solution soit mal adaptée au problème

en l'occurrence ce que tu montres permet d'établir la similarité entre deux documents texte, c'est à dire qu'à la fin ça te retourne une valeur empirique qui représente le coefficient de similarité, c'est adapté quand on fait des stats entre deux documents et qu'on veut vérifier si un texte en plagie un autre par exemple

à voir si c'est vraiment ça ton besoin...

Je suis tout à fait d'accord sur le fait de comprendre le code etc... ça pas de problème sachant que c'est ainsi que j'ai procédé pour mon outil de scrap des réseaux...
L'idée avec ce bout de code c'était de comparer une publication FB ou IG avec un texte "bidon" ne contenant que les mots qui m’intéresse.... de là j'en sors un score et si jamais nous sommes supérieur à une certaine valeur alors je garde l'info.

Je partais sur cette idée car je pense que cela est plus efficace qu'une simple comparaison de mots.. mais peut-être ai-je tort

Citation:

---

Envoyé par pusse

L'idée avec ce bout de code c'était de comparer une publication FB ou IG avec un texte "bidon" ne contenant que les mots qui m’intéresse (...) je pense que cela est plus efficace qu'une simple comparaison de mots

---

possible, la recherche de mots est très naïve -ce qui ne veut pas dire que ce soit plus lent ou inefficace au passage- mais sans savoir précisément de quoi on parle difficile de dire si l'un est plus adapté que l'autre

j'avoue avoir du mal à cerner avec exactitude à quoi ressemblent les données en entrée, les données qui servent de discriminant et le résultat attendu, si tu peux fournir un ou deux exemples simples sur lesquels s'appuyer...

Je suis désolé de ne pas être revenu plus tôt... Je vais essayer de te préciser mon problème.

Prenons par exemple un tatoueur qui ferai un guest/déplacement dans un salon à Paris... Le message idéal publié sur FB ou IG serait par exemple "Je serai en guest chez La Manufacture du Tattoo du 5 au 8 décembre #guest #tattooParis".

En parallèle de ça, je crawl donc les FB et IG de ce tatoueur et récupère tout un tas de publications (je te mets un json de ce que je récupère ici).

Ce que je veux, c'est ne garder de mon json que les publications qui parlent de guests... SI par exemple il publie "Nouveau tattoo du jour, merci mec !!!" ça ne m'intéresse pas. Si il publie en revanche "Du 2 au 5 janvier à Rennes" ça je prend

Est-ce plus clair ?

En discutant avec les personnes qui m'accompagnent sur ce projet (et qui n'y connaissent rien en informatique) on se disait qu'il suffisait peut-être de ne garder que les publication qui :

• contiennent les mots "Guest" / "Chez" / "Déplacement"...
• des chiffres (ce qui couvrerait toutes les dates)
• le nom des mois en toutes lettres (janvier, février...)
• un nom de ville / de pays....

Du coup, peut-être qu'une simple "recherche" de terme suffirait ? Je pourrais stocker tous ces termes "références" dans un fichier dictionnaire et le comparer avec mes publis...

Comprend-tu un peu mieux le problème ?

Qu'en penses tu ?

Merci d'avance de ta réponse