Comment reconnaitre la langue d'un texte ?

Version imprimable

16/03/2016, 18h42
tuxedo95

Comment reconnaitre la langue d'un texte ?

Bonsoir,

Voilà je cherche à faire un script permettant de reconnaitre la langue d'un texte (français, espagnol allemand ...) et pour l'instant je n'ai aucune idée de ce qu'il faut faire.

J'essaie de penser aux caractère spéciaux de chaque langue mais c'est pas fiable à 100% quand même.

Donc voilà j'aimerais avoir votre aide là dessus, si vous avez quelques idées....

Merci beaucoup
16/03/2016, 18h55
Bktero

Et quelles idées t'as donné Google ?

Ici, nous sommes surtout spécialisés en ~~langage C~~ Python. Les idées que nous te donneront ne seront sans doute pas aussi intéressantes que celles données par des compétents en linguistique. La piste des caractères spéciaux permet d'aiguiller mais je suis d'accord, c'est loin d'être infaillible. Une idée est d'avoir à disposition des dictionnaires de chaque langue et de chercher les mots du texte dedans. C'est brutal certes...
16/03/2016, 18h56
marco056

Je dirais plutôt python...
Je chercherais l'occurrence des lettres, je pense : voir la cryptographie.
16/03/2016, 19h15
f-leb

Bonsoir,

Par un calcul de fréquence d'apparition des lettres : https://fr.wikipedia.org/wiki/Fr%C3%..._fran%C3%A7ais
16/03/2016, 19h17
tuxedo95

Merci d'avoir répondu aussi rapidement, créer un dictionnaire pour chaque langue serait un travail fastidieux car il faut déjà connaitre les mots les plus utilisés de chaque langue, c'est possible comme script mais c'est encore une fois loin d'être fiable ( pour un texte très ancien avec que des mots improbables ça marchera plus).
J'ai fait quelques recherches sur Google et je n'ai trouvé rien d'intéressants. :(
16/03/2016, 19h32
marco056

Je me répète...

http://www.math93.com/index.php/112-...-frequentielle
16/03/2016, 20h31
tuxedo95

Merci beaucoup de m'avoir apporté de précieuse informations, je vais m'y plonger dès que possible :D
Merci !
16/03/2016, 21h07
wiztricks

Salut,

Citation:

Envoyé par tuxedo95

Voilà je cherche à faire un script permettant de reconnaitre la langue d'un texte (français, espagnol allemand ...) et pour l'instant je n'ai aucune idée de ce qu'il faut faire.

J'essaie de penser aux caractère spéciaux de chaque langue mais c'est pas fiable à 100% quand même.

Normalement, c'est le genre de question à poser dans le forum algorithmes et une fois qu'on a arrêté son choix, il est temps de coder çà dans son langage préféré. Posé comme çà, c'est un peu comme si on disait, je n'ai aucune idée de la solution au problème pourvu qu'elle puisse être écrite avec Python...
En fait, il n'y a qu'un moteur de recherche qui puisse "aider" pourvu qu'on arrive à trouver les mots clés intéressants...
Essayez avec "NLTK language detection" (et ne me demander pas comment trouver les mots clés)

- W
16/03/2016, 21h55
Bktero

Question sur l'analyse de la fréquence d'apparition des lettres : cette méthode peut elle est fiable sur un texte court ? Par exemple, quand tu tapes du texte dans Safari, il change assez vite de langue pour son correcteur d'orthographe, donc je ne pense pas que ça soit la technique utilisée. En revanche, sur un texte long, ça semble une piste très intéressante !

Citation:

Envoyé par marco056

Je dirais plutôt python...

J'ai tellement l'habitude de répondre sur le forum C :tops:

Citation:

Envoyé par wiztricks

Essayez avec "NLTK language detection" (et ne me demander pas comment trouver les mots clés)

Je ne sais pas qui vient de monter du plus gros cran dans mon estime : wiztricks ou Python ? :mouarf:
17/03/2016, 13h01
cervo

1 pièce(s) jointe(s)

:salut:
Pour mieux t'aider je te poserai juste une question. " Comment fais tu pour savoir qu'un texte est ecrit en francais ? " .. retranscris juste la reponse a cette question en langage machine ( en python je devrais dire :lol: ) et paf ton systm fontionne. saches avant tout que les programmes que l'on veut realiser sont calques sur notre raisonnement;)
Je te dirais de voir diret sur wikipedia un article parlant de la " Morphologie du Francais " , " Morphologie de la Langue francaise " . Tu auras simplment la logique de reconnaissance du francais, je me ferai un reel plaisir de t'aider a transcrire en python cette logique.
Voila deja un petit PDF pour t'aider :
17/03/2016, 13h38
tuxedo95

Citation:

Envoyé par cervo

:salut:
Pour mieux t'aider je te poserai juste une question. " Comment fais tu pour savoir qu'un texte est ecrit en francais ? " .. retranscris juste la reponse a cette question en langage machine ( en python je devrais dire :lol: ) et paf ton systm fontionne. saches avant tout que les programmes que l'on veut realiser sont calques sur notre raisonnement;)
Je te dirais de voir diret sur wikipedia un article parlant de la " Morphologie du Francais " , " Morphologie de la Langue francaise " . Tu auras simplment la logique de reconnaissance du francais, je me ferai un reel plaisir de t'aider a transcrire en python cette logique.
Voila deja un petit PDF pour t'aider :

Merci infiniment Cervo :)
17/03/2016, 16h10
BufferBob

salut,

+1 pour l'analyse de fréquences, c'est la méthode la plus simple et comme dit précédemment sur un texte suffisament long (et bien écrit) ça marche du tonnerre

+1 pour l'idée d'utiliser plusieurs dictionnaires de plusieurs langues et chercher à identifier les mots au fur et à mesure qu'ils arrivent en établissant un score, c'est précisément comme ça que fonctionne la méthode à base de nltk, c'est pas très compliqué à mettre en oeuvre, par contre il faut télécharger les dictionnaires au préalable/les avoir à disposition, pour un correcteur orthographique ça va de soi

-1 pour la solution proposée par cervo qui n'en est pas une, le pdf en question ne traite d'ailleurs même pas de l'analyse de corpus de textes plutôt de la langue telle qu'elle est parlée, le sujet reste intéressant mais suivre cette piste ne mènera absolument à rien dans le cadre du problème tel qu'il est posé

1 pièce(s) jointe(s)

Un exemple d'analyse fréquentielle. Effectivement, cela fonctionne mieux sur un texte long...

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
import numpy as np
import matplotlib.pyplot as plt
 
alphabet_min="abcdefghijklmnopqrstuvwxyz"
alphabet_maj="ABCDEFGHIJKLMNOPQRSTUVWXYZ"
message1 = "ceciestunpremiermessageatesteryzzzzzzzzy"
 
#for lettre in alphabet_min:
#    print(ord(lettre),end=' ')
#print()
#
#for lettre in alphabet_maj:
#    print(ord(lettre),end=' ')
#print()
 
def lecture(fichier):
    with open(fichier,'r') as source:
        resultat = source.read()
    return resultat
 
freq_francais = [8.40,1.06,3.03,4.18,17.26,1.12,1.27,0.92,7.34,0.31,0.05,\
6.01,2.96,7.13,5.26,3.01,0.99,6.55,8.08,7.07,5.74,1.32,0.04,0.45,0.30,0.12]
 
def freq_lettre(texte):
    # conversion en majuscules
    texte_maj=texte.upper()
    # longueur du texte
    long_texte = len(texte_maj)
    # matrices de zéros
    nb_alphabet=np.zeros(26)
    freq_alphabet=np.zeros(26)
    # on parcourt le texte
    for i in range(long_texte):
        # on parcourt l'alphabet
        for k in range(len(alphabet_maj)):
            # test : lettre_alphabet = lettre _texte ?
            if texte_maj[i] == alphabet_maj[k]:
                # on incrémente nb_alphabet[k]
                nb_alphabet[k] +=1
            # on passe en fréquences
            freq_alphabet[k] = nb_alphabet[k]*100/long_texte
    return freq_alphabet
 
freq_message1 = freq_lettre(message1)
#print(freq_message1)
 
freq_message2 = freq_lettre(lecture("poeme.txt"))
#print(freq_message2)
 
def histo_freq(histo1,histo2=freq_francais,maj_min='maj'):
    largeur=0.4
    plt.figure(figsize=(15,7))
    x = np.array(range(26))
#    plt.bar (x-largeur,freq1, width=largeur,align='center',color='blue')
    plt.bar (x-largeur,histo1, width=largeur,color='red')
    plt.bar (x,histo2, width=largeur,color='green')
    plt.xlim(-1,26)
    if maj_min == 'min':
        plt.xticks(range(26), [chr(97 + z) for z in range(26)])
    else:
        plt.xticks(range(26), [chr(65 + z) for z in range(26)])
#    plt.axes().set_aspect('equal')
    plt.show()
 
histo_freq(freq_message1)
histo_freq(freq_message2)

17/03/2016, 21h26
cervo

@BufferBob,
Voici 2 phrases " I am a farmer who live in england, i love potatoes and eggplants ", " Je suis un fermier vivant au Royaume uni, j'adore les aubergines "...
Avec analyse fréquentielles des lettres on trouve que ces 2 phrases sont du français. Je prefère la seconde methode utilisant les dictionnaires... le hic c'est qu'il faudrait avoir un assez gros dico pour faire des comparaisons...
:roll:

Citation:

Envoyé par cervo

Voici 2 phrases " I am a farmer who live in england, i love potatoes and eggplants ", " Je suis un fermier vivant au Royaume uni, j'adore les aubergines "...
Avec analyse fréquentielles des lettres on trouve que ces 2 phrases sont du français. Je prefère la seconde methode utilisant les dictionnaires... le hic c'est qu'il faudrait avoir un assez gros dico pour faire des comparaisons...

oui c'est ce qu'on disait plus haut dans la discussion, mais ça se fait bien
un exemple de détection du pauvre from scratch avec seulement 2 dictionnaires FR et EN récupérés sur le net (en gros ce que fait nltk, mais en nettement plus simpliste et moins propre :aie:) :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
# -*- coding: utf-8 -*-
 
# dico 10K mots EN (75Ko) : http://www.mit.edu/~ecprice/wordlist.10000
# dico 300K mots FR (3.6Mo) : http://www.pallier.org/ressources/dicofr/liste.de.mots.francais.frgut.txt
 
import codecs
 
dico_fr = codecs.open('dico_fr.txt', mode='r', encoding='latin1').read().split('\n')
dico_en = codecs.open('dico_en.txt', mode='r', encoding='latin1').read().split('\n')
 
def update_score (word, score):
   w = unicode(word, 'latin1')
   if w in dico_fr:
      score['fr'] += 1
   if w in dico_en:
      score['en'] += 1
   if score['fr'] == score['en']:
      return (score, '-')
   else:
      return (score, max(score, key=lambda x:score[x]))
 
def check (phrase):
   score = {'fr': 0, 'en': 0}
   lang = '-'
   for mot in phrase.replace(',', '').split():
      score, lang = update_score(mot.lower(), score)
      print '%-15s: fr=%2d, en=%2d, lang=\'%s\'' % ("'" + mot + "'", score['fr'], score['en'], lang)
 
check('I am a farmer who live in england, i love potatoes and eggplants')
print '---'
check("Je suis un fermier vivant au Royaume uni, j'adore les aubergines")

et le résultat :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
'I'            : fr= 0, en= 1, lang='en'
'am'           : fr= 0, en= 2, lang='en'
'a'            : fr= 1, en= 3, lang='en'
'farmer'       : fr= 1, en= 4, lang='en'
'who'          : fr= 1, en= 5, lang='en'
'live'         : fr= 2, en= 6, lang='en'
'in'           : fr= 3, en= 7, lang='en'
'england'      : fr= 3, en= 8, lang='en'
'i'            : fr= 3, en= 9, lang='en'
'love'         : fr= 4, en=10, lang='en'
'potatoes'     : fr= 4, en=11, lang='en'
'and'          : fr= 4, en=12, lang='en'
'eggplants'    : fr= 4, en=12, lang='en'
---
'Je'           : fr= 1, en= 1, lang='-'
'suis'         : fr= 2, en= 1, lang='fr'
'un'           : fr= 3, en= 2, lang='fr'
'fermier'      : fr= 4, en= 2, lang='fr'
'vivant'       : fr= 5, en= 2, lang='fr'
'au'           : fr= 6, en= 3, lang='fr'
'Royaume'      : fr= 7, en= 3, lang='fr'
'uni'          : fr= 8, en= 4, lang='fr'
'j'adore'      : fr= 8, en= 4, lang='fr'
'les'          : fr= 9, en= 5, lang='fr'
'aubergines'   : fr=10, en= 5, lang='fr'

on voit que la détection est quasi immédiate, au bout du 2e mot (quand même 8O) on est fixé

18/03/2016, 08h29
cervo

@BufferBob
Vu sous cet angle ... pas mal l'option... Compare a ca ma methode est plutot barbare :lol: :lol:
18/03/2016, 15h40
marco056

Merci BufferBob,
Sur le dictionnaire anglais, il y a un souci : Que signifie "Je" en anglais ?
J'ai essayé avec le dictionnaire d'openOffice : beaucoup plus concluant.
18/03/2016, 17h03
BufferBob

Citation:

Envoyé par marco056

Sur le dictionnaire anglais, il y a un souci : Que signifie "Je" en anglais ?

oui je me suis fait la même réflexion, j'ai pris des dico un peu au hasard sur internet juste pour l'exemple et sans vérifier la pertinence réelle de chacun, ça vient peut-être de là

Citation:

J'ai essayé avec le dictionnaire d'openOffice : beaucoup plus concluant.

oui c'est pas idiot j'ai pas pensé à l'utiliser
01/04/2016, 21h51
tuxedo95

Bonjour,
Comment puis-je convertir mon texte en majuscule ou en minuscule ?
Il existe la commande upper (ou lower) mais je ne sais pas l'utiliser pour un fichier .txt

merci