Discussion :

[tuxedo95]

Bonsoir,

Voilà je cherche à faire un script permettant de reconnaitre la langue d'un texte (français, espagnol allemand ...) et pour l'instant je n'ai aucune idée de ce qu'il faut faire.

J'essaie de penser aux caractère spéciaux de chaque langue mais c'est pas fiable à 100% quand même.

Donc voilà j'aimerais avoir votre aide là dessus, si vous avez quelques idées....

Merci beaucoup

[Bktero]

Et quelles idées t'as donné Google ?

Ici, nous sommes surtout spécialisés en langage C Python. Les idées que nous te donneront ne seront sans doute pas aussi intéressantes que celles données par des compétents en linguistique. La piste des caractères spéciaux permet d'aiguiller mais je suis d'accord, c'est loin d'être infaillible. Une idée est d'avoir à disposition des dictionnaires de chaque langue et de chercher les mots du texte dedans. C'est brutal certes...

[marco056]

Je dirais plutôt python...
Je chercherais l'occurrence des lettres, je pense : voir la cryptographie.

[f-leb]

Bonsoir,

Par un calcul de fréquence d'apparition des lettres : https://fr.wikipedia.org/wiki/Fr%C3%..._fran%C3%A7ais

[tuxedo95]

Merci d'avoir répondu aussi rapidement, créer un dictionnaire pour chaque langue serait un travail fastidieux car il faut déjà connaitre les mots les plus utilisés de chaque langue, c'est possible comme script mais c'est encore une fois loin d'être fiable ( pour un texte très ancien avec que des mots improbables ça marchera plus).
J'ai fait quelques recherches sur Google et je n'ai trouvé rien d'intéressants.

[marco056]

Je me répète...

http://www.math93.com/index.php/112-...-frequentielle

[tuxedo95]

Merci beaucoup de m'avoir apporté de précieuse informations, je vais m'y plonger dès que possible
Merci !

[wiztricks]

Salut,

Voilà je cherche à faire un script permettant de reconnaitre la langue d'un texte (français, espagnol allemand ...) et pour l'instant je n'ai aucune idée de ce qu'il faut faire.

J'essaie de penser aux caractère spéciaux de chaque langue mais c'est pas fiable à 100% quand même.

Normalement, c'est le genre de question à poser dans le forum algorithmes et une fois qu'on a arrêté son choix, il est temps de coder çà dans son langage préféré. Posé comme çà, c'est un peu comme si on disait, je n'ai aucune idée de la solution au problème pourvu qu'elle puisse être écrite avec Python...
En fait, il n'y a qu'un moteur de recherche qui puisse "aider" pourvu qu'on arrive à trouver les mots clés intéressants...
Essayez avec "NLTK language detection" (et ne me demander pas comment trouver les mots clés)

- W

[Bktero]

Question sur l'analyse de la fréquence d'apparition des lettres : cette méthode peut elle est fiable sur un texte court ? Par exemple, quand tu tapes du texte dans Safari, il change assez vite de langue pour son correcteur d'orthographe, donc je ne pense pas que ça soit la technique utilisée. En revanche, sur un texte long, ça semble une piste très intéressante !

Je dirais plutôt python...

J'ai tellement l'habitude de répondre sur le forum C :tops:

Essayez avec "NLTK language detection" (et ne me demander pas comment trouver les mots clés)

Je ne sais pas qui vient de monter du plus gros cran dans mon estime : wiztricks ou Python ?

[cervo]

Pour mieux t'aider je te poserai juste une question. " Comment fais tu pour savoir qu'un texte est ecrit en francais ? " .. retranscris juste la reponse a cette question en langage machine ( en python je devrais dire ) et paf ton systm fontionne. saches avant tout que les programmes que l'on veut realiser sont calques sur notre raisonnement
Je te dirais de voir diret sur wikipedia un article parlant de la " Morphologie du Francais " , " Morphologie de la Langue francaise " . Tu auras simplment la logique de reconnaissance du francais, je me ferai un reel plaisir de t'aider a transcrire en python cette logique.
Voila deja un petit PDF pour t'aider :

[tuxedo95]

Pour mieux t'aider je te poserai juste une question. " Comment fais tu pour savoir qu'un texte est ecrit en francais ? " .. retranscris juste la reponse a cette question en langage machine ( en python je devrais dire ) et paf ton systm fontionne. saches avant tout que les programmes que l'on veut realiser sont calques sur notre raisonnement
Je te dirais de voir diret sur wikipedia un article parlant de la " Morphologie du Francais " , " Morphologie de la Langue francaise " . Tu auras simplment la logique de reconnaissance du francais, je me ferai un reel plaisir de t'aider a transcrire en python cette logique.
Voila deja un petit PDF pour t'aider :

Merci infiniment Cervo

[BufferBob]

salut,

+1 pour l'analyse de fréquences, c'est la méthode la plus simple et comme dit précédemment sur un texte suffisament long (et bien écrit) ça marche du tonnerre

+1 pour l'idée d'utiliser plusieurs dictionnaires de plusieurs langues et chercher à identifier les mots au fur et à mesure qu'ils arrivent en établissant un score, c'est précisément comme ça que fonctionne la méthode à base de nltk, c'est pas très compliqué à mettre en oeuvre, par contre il faut télécharger les dictionnaires au préalable/les avoir à disposition, pour un correcteur orthographique ça va de soi

-1 pour la solution proposée par cervo qui n'en est pas une, le pdf en question ne traite d'ailleurs même pas de l'analyse de corpus de textes plutôt de la langue telle qu'elle est parlée, le sujet reste intéressant mais suivre cette piste ne mènera absolument à rien dans le cadre du problème tel qu'il est posé