Discussion :

[ssc37]

Bonjour à tous,

Pour différents besoin je recherche un module, ou une solution afin de trouver l'association de mots la répandue dans un texte.

Exemple de données:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
il a fait 5 tours de vélo à travers la ville tout les soirs pendant 10 jours, puis à pied
les tours à vélo c'est bien pendant l'été au bord de l'eau, la marche à pied en ville par contre au bout de 5 km....
en football il n'y a pas meilleur que lui en ville pour exécuter des tours de passe passe avec le pied même après 2h de match

Et en résultat je cherche à avoir quelque chose dans le genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
tours + vélo + ville => 2 fois
tours + pied + ville => 3 fois
etc...

Le but est donc de trouver la plus forte occurrence de mots commun dans une phrase

Avez-vous une piste sur comment je pourrai m'y prendre ? où même quelque chose de ressemblant de déjà existant?

J'ai fais quelques recherches sur l'ami G mais je ne n'ai rien vu se rapprochant de cela (ou le manque de sommeil ne m'a pas aidé à voir )

Merci à vous

[Philou67430]

Quand tu écris :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tours + vélo + ville

Le + implique-t-il un critère de distance entre les mots ?
Si oui, quel est ce critère ?

Par ailleurs, concernant les mots à rechercher, s'agit-il de tous les mots du texte (recherche combinatoire), ou bien de mots proposés par l'utilisateur (comptages d'occurrences prédéterminées) ?

[ssc37]

Merci de ta réponse Philou,
En effet cela aurait put être un peu plus précis ma description

Le + n'implique pas de distance , juste le fait que ces mots soient présent dans une même ligne x fois. Il y aura une multitude de possibilités , sur lesquelles je devrai mettre un filtre pour enlever les mots très courts , et ceux qui ne reviennent pas assez souvent pour ne faire ressortir que les mots importants.

Il n'y a pas de mots précisés par l'utilisateur , la recherche se fait sur l'ensemble du texte.


Merci

[Philou67430]

Ce n'est pas suffisamment précis, encore : qu'entends par "une ligne" ?
Est-ce :
- une phrase ? (une liste de mot se terminant par un point (. ? !)
- une ligne typographique se terminant par un retour à la ligne (\n et/ou \r) ?

Par ailleurs, tu ne précises pas non plus de limite pour la taille du groupe de mots. S'il n'y a pas de taille min/max pour le groupe de mot, les combinaisons de mots, même en éliminant les petits mots, risquent d'êtres assez importantes. Je me demande si ta question ne relèverait pas de la programmation linéaire (dont j'avoue que c'est un lointain souvenir, mais un bon souvenir).

Une méthode pour choisir les bons groupes de mots serait peut-être de commencer par classer les mots par occurrence. Pour cela, et en considérant qu'une ligne est une phrase terminant par un point, quelque soit le nombre de retour à la ligne, on pourrait créer une table contenant, pour chaque "ligne" (phrase), une table de hashage ou chaque mot sera associé à son nombre d'occurrence (en limitant par exemple aux mots de plus de 2 lettres).

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
#!/usr/bin/perl
 
use warnings;
use strict;
 
use Data::Dumper;
use locale;
use POSIX qw(locale_h);
use utf8;
 
setlocale(LC_CTYPE, "fr_FR.ISO8859-1");
binmode(STDOUT, ":utf8");
 
my $text = "";
my $phrase_nb = 0;
my @occurrence = ();
 
# Si l'entrée standard contient un texte, on choisit celle-ci, sinon, on prend le texte après __DATA__ dans ce fichier
my $DATA = !-t STDIN ? *STDIN : *DATA;
 
while (<$DATA>) {
  $text .= $_;
 
  # Supprimer les retours à la ligne (indépendant du système de fichier)
  $text =~ s/[\n\r]+/ /g;
 
  # Traiter les phrases entières
  foreach my $phrase ($text =~ /(.*?(?:\.(?:\.\.)?|\?|!))/gc) {
    $phrase =~ s/^\s*//;
    print "phrase ", $phrase_nb++, ": $phrase\n";
 
    # Compter les occurences de chaque mot
    my %mots;
    $mots{$_}++ foreach $phrase =~ /(\w{3,})/g;
    # Et enregistrer le résultat
    push @occurrence, { %mots };
  }
 
  # Récupérer le résidus qui ne constitue pas une phrase
  ($text) = $text =~ /\G(.*)$/;
  print "Résidu ", $text, "\n";
}
 
print Data::Dumper->Dump([\@occurrence], [qw(*occurrence)]);
 
__DATA__
il a fait 5 tours de vélo à travers la ville tout les soirs pendant 10 jours, puis à pied.
les tours à vélo c'est bien pendant l'été au bord de l'eau, la marche à pied en ville par contre au bout de 5 km...
en football il n'y a pas meilleur que lui en ville pour exécuter des tours de passe passe avec le pied même après 2h de match.

Bien entendu, il est possible de modifier la condition déterminant une phrase. J'ai essayé avec ton texte et avec la bible. Cette partie de script fonctionne.

Pour la suite, ta question reste très vague, car j'ai du mal à interpréter ce qu'est un groupe de mot sans définition une distance entre les mots. Par exemple, dans la phrase qui suit, quels groupes de mots prendre :
Les tours de vélo sont des tours de vélo et ne sont pas des tours à pied, comme des tours à pied.

Le script précédent donne la liste d'occurrence suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
@occurrence = (
                {
                  'comme' => 1,
                  'pied' => 2,
                  'tours' => 4,
                  'Les' => 1,
                  'des' => 3,
                  'sont' => 2,
                  'pas' => 1
                }
              );

On pourrait alors prendre "tours des" comme un groupe apparaissant 3 fois, et "pied sont" comme un groupe apparaissant 2 fois, de même que "pied tours", "pied des", "tours sont", ...
Bref, c'est un peut large comme définition de groupe de mot.

[ssc37]

Quand je parle d'une ligne je parle bien entendu d'une ligne (\r\n) et non d'une phrase

En effet je ne précise pas de limite pour les groupes de mots car je n'en souhaite pas. Pour limiter le nombre de résultats, il est prévu un filtre pour enlever les mots ne m'intéressant pas et ceux trop court.

Merci pour le petit bout de script, mais je n'ai pas de difficultés avec la détection d'occurrences

Après quand je parle de groupe de mots , il est vrai que cela n'est pas très clair, on pourrait appeler ca plus un ensemble de mot.
Le but est juste de trouver les ensemble de mots les plus présent dans ses lignes peu importe la distance.

[Philou67430]

Après quand je parle de groupe de mots , il est vrai que cela n'est pas très clair, on pourrait appeler ca plus un ensemble de mot.
Le but est juste de trouver les ensemble de mots les plus présent dans ses lignes peu importe la distance.

Dans le dernier exemple que j'ai cité, quels sont les groupes que tu voient ?