Discussion :

[Hercule78]

Bonsoir à tous,
Je suis vraisemblablement un Nième à vouloir concevoir un programme qui comprend le langage naturel, en représente les connaissances, et répond en langage naturel.

J’ai les bases mais ça date de 15 ans (ingénieur en informatique, spécialité I.A., et mineur en sciences cognitives) à l’époque en 2-3h on pouvait faire des trucs très puissants grâce à Prolog (voire Lisp). J’avais par ailleurs codé en C le Bescherelle de conjugaison…

Ma question : quel langage utiliser pour ce projet ?

Pas uniquement un langage récursif comme Prolog, mais qui soit aussi itératif (ou qui s’interface avec le C++ par exemple) et qui permette aussi de gérer une base de données.

J’ai vu des noms de nouveaux langages comme Scheme, Caml, Haskell, Erlang, Oz, Anubis…est-ce qu’ils conviendraient pour çà, et mieux que Prolog ? Tout en ayant aussi la puissance de Prolog pour représenter le langage naturel ?

Merci beaucoup pour votre aide afin de m’éviter un ‘faux départ’…
Hercule.

[Garulfo]

Bonsoir à tous,
[...]
J’ai vu des noms de nouveaux langages comme Scheme, Caml, Haskell, Erlang, Oz, Anubis…est-ce qu’ils conviendraient pour çà, et mieux que Prolog ? Tout en ayant aussi la puissance de Prolog pour représenter le langage naturel ?

Merci beaucoup pour votre aide afin de m’éviter un ‘faux départ’…
Hercule.

hummm Scheme date de 1975; Caml de 1985, mais est héritier de ML (donc dans les 70); Haskell 90 je crois, mais c'est la suite de Miranda et donc mi 80. C'est de la nouveauté pas très récente.

Scheme c'est Lisp. Mais de toute façon ils sont tous appropriés. Moi j'aurais une préférence pour Scheme/Lisp... mais d'autres trouveront probablement qu'un tel ou un tel est plus approprié.

Si tu cherches des choses existantes, probablement que Scheme est le plus pertinent. Il y a déjà eu beaucoup de travail à partir de lui (ou de Lisp vu que c'est kiff kiff)

[SpiceGuid]

Commence par quelque chose que tu connais.
Et pourquoi pas Prolog, ça serait tellement has been ?
Commence en Prolog et donnes-toi le temps de voir là où la pente naturelle te conduis.
Renseignes-toi sur l'état de l'art du domaine, qu'est-ce qu'on fait, comment on fait, avec quel langage on le fait.

[alex_pi]

J'ai un projet à faire en traitement automatique du langage, et j'ai décidé de le faire en OCaml, pour voir :-) Je vous dirai ce que ça donne

[Steki-kun]

J'avais fait le mien en Ocaml y'a deux ans et ça c'était très bien passé ^^ Disons que j'avais trouvé que ce qui rend Ocaml plaisant pour le traitement des langages de programmation s'appliquait tout aussi bien au LN (manipulation facile des arbres de syntaxe, etc).

[InOCamlWeTrust]

Si ce que tu veux c'est implanter un compilateur, LE langage phare, mis à part le C, c'est OCaml. Haskell aussi est très bien, mais ce sera un poil plus laborieux pour la partie concernant l'analyse syntaxique et lexicale.

[Jedai]

Si ce que tu veux c'est implanter un compilateur, LE langage phare, mis à part le C, c'est OCaml. Haskell aussi est très bien, mais ce sera un poil plus laborieux pour la partie concernant l'analyse syntaxique et lexicale.

Qu'est-ce qui te permet de dire ça ? Tu as étudié les solution de lexing et parsing côté Haskell ? Je ne pense pas qu'elles soient moins bonnes que OCamllex et OCamlyacc qui sont après tout très classiques dans leurs approches. Ce qui leur donne leur pouvoir c'est le fait d'utiliser un langage particulièrement sympathique (OCaml) comme sortie.
Haskell dispose de tout une batterie d'outils, certains sont tout à fait classique comme Happy (Parser à la Yacc) et Alex (Lexer à la lex) tandis que d'autre propose une approche monadique entièrement en Haskell comme Parsec, ou une approche par combinateur non complètement monadique pour créer par exemple des parser partiellement paresseux...

--
Jedaï

[Hercule78]

Merci pour vos avis, mais si vous me conseillez Scheme, et Prolog, et Ocaml, et voire Haskell, c'est que j'ai mal décrit mon projet:

L'objectif est de pouvoir converser avec le programme, d'age mental peu élevé (de 3 à 5 ans).

La difficulté n'est pas dans l'analyse syntaxique/lexicale comme la génération de phrases ou la 'traduction' de phrases, par exemple "le chat mange la souris" donne phrase(groupe_nominal(article('le'), nom('chat'), verbe('mange'...) qui correspond à une simple grammaire qui doit pouvoir être gérée dans presque tous les langages.

La difficulté est plutôt dans la représentation des connaissances, c-a-d le 'plaquage' de phrase(...article...nom('chat')...) par rapport à la représentation des connaissances très orientée objet: le chat est un animal, qui a 4 pattes...etc, qui roupille à longueur de journée, les chats mangent des souris, etc. Avec une représentation des probabilités d'occurence en logique floue.
Avec la représentation du temps, des intentions (bonne, mauvaise, etc), etc.
Et tout cela change en dynamique bien sûr...

J'ai peur que le Prolog soit limité pour tout cela, ou alors j'ai mal compris la puissance des prédicats ?

Finalement, donc, quel langage vous parait le plus approprié ?
Merci !

[Garulfo]

Merci pour vos avis, mais si vous me conseillez Scheme, et Prolog, et Ocaml, et voire Haskell, c'est que j'ai mal décrit mon projet: [...]

J'ai peur que le Prolog soit limité pour tout cela, ou alors j'ai mal compris la puissance des prédicats ?

Je suppose que tout ceux qui t'ont répondu ont très bien compris ce que tu voulais.

Alors d'une part, je pense que tu as mal compris la puissance des prédicats, et d'autre part, Scheme, comme je te l'ai dit, à déjà été utilisé pour ce genre de chose : les premiers programmes du genre ont été fait en Lisp (i.e. Scheme, peu ou prou). Je pense bien sûr à Eliza particulièrement (en SLIP qui est un LISP), et à PARRY (en LISP) qui sont les deux plus anciens et célèbres Chatterbot... mais tu en verras d'autres probablement si tu cherches parmi les Chatterbot existants.

Le fait que ta représentation externes puissent sembler « objet » ou n'importe quoi d'autres, ne veut pas forcément dire que la représentation interne la suit. Au final, n'importe quel langage fera l'affaire, de toute façon.

[SpiceGuid]

Pour moi c'est clair, tu n'as pas compris toute la puissance des prédicats.
Et par conséquent attends-toi à travailler dur, car quel que soit le langage tu n'échapperas pas au fait que tu as beaucoup à apprendre.

Cette remarque vaut d'ailleurs pour n'importe quel débutant avec n'importe quel projet à l'aide de n'importe quel langage: ce sera peut être plus facile en fonctionnel (quand vous serez des experts) en attendant ce sera aussi dur (voir plus) qu'avec du Java. Et pour passer de l'effort à la facilité il n'y a pas de miracle, il n'y a pas de recette magique, il n'y a pas de librairie géniale qui encapsulerait toute la difficulté. En fait je ne connais pas d'autre méthode que:

• éviter la dispersion (apprendre les concepts qui resteront plutôt que les technos qui passeront)
• lire et relire les bons tutoriels
• vous inspirer des meilleures sources écrites dans le meilleur style
• dès que vous progressez sur le plan pratique ne vous relâchez pas, passez immédiatement à des choses plus difficiles qui requièrent un meilleur niveau théorique

De cette façon vos progrès sont soutenus et continus, choisissez le plus court chemin vers les choses les plus intéressantes. Aucun des langages qui ont été cités n'est un mauvais choix, choissisez-en un et jetez vous à l'eau.

[Hercule78]

Tout cela est intéressant.

A me remémorer Prolog, je me souviens des N-uplets qui permettent de transcrire une phrase 'langage naturel' en prédicats, et ensuite de faire de la résolution par substitution (c'est çà ?) ce qui permet en fait d'inférer et de faire des déductions logiques...PUISSANT !

MAIS très bien pour de "l'académique" mais ce sera vite trop lourd et contraignant si on veut couvrir un domaine assez large...

En fait j'ai peut-être pris le problème par le mauvais bout (le langage naturel). Car on pense avant de lire ou écrire. C'est donc sur la représentation des connaissances qu'il faut me concentrer:
CONCEPT - RELATION - CONCEPT
Ex: Chat - AppartientAFamille - Carnivores
Carnivores - AppartientAFamille - Animaux
Chat - EstFaitDe [4] - Patte
Etc, etc, etc.

Mon interrogation change: quel est le langage qui me permettra de représenter des milliers de ces liens simples (que je vais allègrement complexifier) puis de les parcourir ?

Ce sont des pointeurs...donc, le C++ ? Le C suffira pour indexer tout ça ?

[Garulfo]

T'es tétu toi...

Qu'est ce que tu n'as pas compris dans : n'importe quel langage en fait.
Je te le répète, LISP a déjà démontré ses capacités dans ce domaine, bien avant que tu t'y intéresses. Il en est de même pour Prolog qui sert à faire des systèmes experts complexes et puissants en industrie.

Maintenant tu peux très bien le faire en C ou en C++ si ça te chante. Ça marchera aussi. Sauf que ce sera plus simple de trouver de la documentation et de trouver des cas existants avec Scheme, ocaml, Haskell ou n'importe quel autre langage fonctionnel.

[Hercule78]

Merci Garulfo.

C'est qu'en demandant quel est le langage le plus approprié pour mon projet 'spécifique', je suis un peu embarassé qu'on me réponde que tous les langages conviennent (Lisp, Prolog, C, Scheme, ocaml, Haskell).

J'ai du mal à comprendre qu'il n'y en ait pas un de plus approprié que les autres.

En attendant, ma conclusion est de partir de Prolog que je connais un brin, et dès que ça coince je l'interface avec le C (même si ce mélange m'inspire peu en fait, peut-être alors que je basculerai totalement sur le C).
__________________________________________________________
Oups, pour représenter mes concepts et liens, voilà maintenant qu'on me parle de RDF, OWL, Protégé, Jena, SPARQL, n3...vous avez raison de me faire boire la tasse, il faut que je me remette à niveau !

[Garulfo]

Merci Garulfo.

C'est qu'en demandant quel est le langage le plus approprié pour mon projet 'spécifique', je suis un peu embarassé qu'on me réponde que tous les langages conviennent (Lisp, Prolog, C, Scheme, ocaml, Haskell).

J'ai du mal à comprendre qu'il n'y en ait pas un de plus approprié que les autres.

Bin ceux qui conviennent le plus en général sont ceux qui sont pensés dans cette optique : prolog et lisp — Scheme ou CommonLisp — donc.

Encore une fois, Eliza ou Parry sont les plus vieux chatterbots et sont en Lisp. As-tu essayé de discuté avec eux ? On les retrouve maintenant souvent dans tous les langages.

Le problème n'est pas le langage, mais les concepts derrières. La force de Prolog c'est que ces concepts sont à la base du langage lui-même.

Je pense que le langage le plus utilisé pour faire des essais sur le langage naturel est Scheme. Je me trompe peut-être car je ne parle que par connaissance empirique.

[alex_pi]

Dire que tout langage de programmation convient pour le traitement des langues naturelles, globalement parce qu'ils sont tous turing complet, c'est quand même assez réducteur :-)
Typiquement, vu les structure à stocker, je pense que le C n'est vraiment pas adapté à ça (bon ok, en même temps, je pense qu'à part pour écrire un OS, le C n'est pas adapté, donc mon avis n'est pas le plus impartiale qui soit:-))
Prolog (et la programmation logique en générale) étant basé sur l'unification, qui est extremement utile en traitement des langues naturelles, je pense qu'il est effectivement assez bien adapté. Il y a d'ailleurs des system comme ALE y aidant fortement.
Ensuite les langage ML (Caml ou Haskell) avec leur capacité d'écrire de nouveaux types et de filtrage sont, je pense, extremement puissant pour ça aussi. Il y a peut être en revanche un petit manque au niveau du parsing (malheureusement, les grammaires du langages naturelles sont loins d'être LR(1))
Pour List et Sceme, je ne sais pas dutout, je n'ai jamais touché à ses langages. Mais il semble qu'ils sont beaucoup utilisé pour l'intelligence artificielle, donc ça pourrait bien être très adapté au traitement de la langue une fois parsé, puis par exemple à la génération d'une réponse dans le cas d'un agent conversationnelle.
Donc en conclusion : oui, beaucoup de langages sont adaptés, oui c'est faisable dans tous (turing complet :-), mais certains le sont plus et apporte des systèmes y aidant fortement

[Garulfo]

Dire que tout langage de programmation convient pour le traitement des langues naturelles, globalement parce qu'ils sont tous turing complet, c'est quand même assez réducteur :-)[...]

Je n'ai pas dit ça
Je pense que tout langage convient, parce que si on est compétent dans le langage, on saura mettre au point les structures de données et abstractions nécessaires pour simplifier le problème. Quelqu'un qui maîtrise mal les subtilités de Scheme, mais qui assure — réellement, pas juste à faire du hack — en C, serait plus malin de le faire en C. Ensuite, je ne pense nullement qu'ocaml soit inférieur — ni haskell, ni un paquet d'autre langage en fait — à prolog ni à Scheme ou CL.

Si je conseille Prolog ou Lisp, c'est juste que ce sont des langages éprouvés pour des projets de tailles dans ce genre de choses (IA, systèmes experts ou interprétation du langage naturel) et que la doc et les articles de recherches sont disponibles et nombreux. Maintenant je suis aussi convaincu qu'Haskell (lazy forever) ferait une excellente job

[InOCamlWeTrust]

Soit dit en passant, ce que veut faire notre ami a déjà été fait en 1970 par Colmerauer et les mecs de PROLOG : c'était la toute première version de PROLOG. Le projet initial était de concevoir un programme avec lequel on pouvait discuter. On lui énonçait des choses vraies (ce qui deviendra par la suite le code PROLOG), et on pouvait le poser des questions (ce qui sera plus tard les requêtes PROLOG). Un article expliquant l'histoire de PROLOG écrit par ses papas traine sur internet...

http://prolog.developpez.com/tutorie...ire-prolog.pdf

Donc faire ce genre de truc en PROLOG n'a absolument rien de magique... par contre, faire un interprète PROLOG (même PROLOG pur), c'est déjà plus chouette !

[Hercule78]

Déjà 4 ans que l'on échangeait sur ce sujet ! Que je viens de relire, et toujours aussi intéressant, malheureusement je n'ai pas eu de temps libre pour réellement progresser ni expérimenter, à part quelques tentatives sous Protégé et son FACT++, un rapide coup d'oeil sur ALE, et quelques retours sur Prolog tellement puissant et pertinent pour ce sujet (trouver les bons langages -ou les moins mauvais- pour s'essayer à représenter la connaissance et raisonner dessus en langage naturel, et en parallèle expérimenter les limites de ces langages pour définir le langage approprié) mais Prolog qui devient vite trop lourd et trop rigide...

Bref, il va me falloir passer en 4/5ème pour libérer une journée par semaine et réellement m'atteler à la tache

[SpiceGuid]

Il faut tordre le coup à cette idée préconçue : non, il n'y a pas de limite à tel ou tel langage qui ferait qu'il est moins préférable que tel ou tel autre pour raisonner sur des connaissances.

Les vraies limites sont d'ordre logique (indécidabilité, incalculabilité, intraitabilité).
Je te recommande chaudement le GBKR book (en anglais) qui fait un tour d'horizon assez complet du raisonnement en KR (Knowlegde Representation).

J'en possède un exemplaire et pour te la faire courte ce dont tu rêves est tout simplement impossible.
Par contre on peut faire des choses déjà assez intéressantes en révisant ses ambitions à la baisse.

[Hercule78]

Hello SpiceGuide,
Oui, j'avais bien compris que ce n'est pas le langage qui fera la 'chose', et que dans le fond théorique tous les langages auront les mêmes limitations.

Ceci dit, certains langages sont beaucoup plus pratiques que d'autres pour certaines choses (je me vois mal faire de la logique des prédicats en Logo des années 1970 ;o). L'idée d'avoir le langage le plus approprié est de formaliser les choses rapidement, et d'arriver plus rapidement à ses limites.

En effet, reproduire l'intelligence humaine paraît ambitieux (le mot est faible), ce n'est pas mon propos, je comptais me limiter à l'intelligence d'un enfant de quelques années, et dans un domaine bien défini (circonscrit). Et ne surtout pas me focaliser sur les exceptions et les complications qui mettent en exergue les limites, mais rester sur le simple et l'essentiel.
Et même si l'entreprise reste gigantesque, et paraît impossible, je la vois tout à fait possible (et pour plusieurs raisons).

En d'autres termes: démarrer avec un outil le plus pratique possible qui puisse rapidement m'amener à me casser les dents sur ces difficultés. Je crois qu'il faut que je tâtonne, reprendre mes vieux travaux en Prolog, creuser Protégé, voir si Cogui/Cogitant apporte un plus, me souvenir de leurs limites puis les contourner.

Bref, mon premier problème n'est pas la difficulté du sujet, c'est le manque de temps... et merci pour tes posts et les autres qui me motivent à aller de l'avant.