Discussion :

[ParseCoder]

Le danger vient de la bêtise, pas de intelligence.

[Matthieu Vergne]

C'est discutable. Je pense qu'on peut se mettre d'accord qu'il n'y a pas intelligence sans contrôle, et quand on controle il est plus facile d'obtenir ce qu'on cherche. La bétise, avec ou sans volonté de nuire, ne génèrerai que des dangers "simples", et donc facile à prévoir et éviter. L'intelligence, si combinée à une volonté de nuire, serait sûrement bien plus dangereuse, car bien plus difficile à prévoir et éviter.

[ParseCoder]

Désolé on s'est mal compris. Ce que je veux dire est que la dangerosité devrait être un des critères qui détermine ou non l'intelligence. L'intelligence (la vrai) ne va pas avec une volonté de nuire. La ruse peut très bien aller avec une volonté de nuire, et peut-être pense t on plus à créer une IA rusée qu'une IA réellement intelligente car l'intelligence est beaucoup plus difficile à définir. La ruse consiste en quelque sorte à trouver une solution simple et efficace pour obtenir un résultat immédiat et mesurable. L'intelligence requiert une pensée plus globale qui nécessite un recul et qui pour moi est contraire à une attitude délibérément hostile.

[ZenZiTone]

Désolé on s'est mal compris. Ce que je veux dire est que la dangerosité devrait être un des critères qui détermine ou non l'intelligence. L'intelligence (la vrai) ne va pas avec une volonté de nuire. La ruse peut très bien aller avec une volonté de nuire, et peut-être pense t on plus à créer une IA rusée qu'une IA réellement intelligente car l'intelligence est beaucoup plus difficile à définir. La ruse consiste en quelque sorte à trouver une solution simple et efficace pour obtenir un résultat immédiat et mesurable. L'intelligence requiert une pensée plus globale qui nécessite un recul et qui pour moi est contraire à une attitude délibérément hostile.

On en reviens toujours au même problème : la définition de l'intelligence. Et qui plus est de l'intelligence artificielle.

De plus tu supposes que la dangerosité est similaire à une volonté de nuire, c'est faux. Exemple "bête", les voitures sont dangereuses mais n'ont à aucun moment été faites pour nuire. J'ai hésité à prendre les armes en exemple, mais tout le monde n'est pas d'accord sur la valeur de "protection" accordées à celles-ci

[Matthieu Vergne]

Ce que je veux dire est que la dangerosité devrait être un des critères qui détermine ou non l'intelligence. L'intelligence (la vrai) ne va pas avec une volonté de nuire.

Comme le dit ZenZiTone, le premier problème est de définir l'intelligence. Et de ce que j'ai pu lire (j'ai un article pour mon blog DVP en préparation sur ce sujet, mais j'ai été assez pris dernièrement) en ce qui concerne la définition de l'intelligence, si les résultats sont nombreux, les désaccords le sont aussi.

À bien y réfléchir je pense être d'accord, mais en te lisant ça me laisse un doute. De mon point de vue, l'intelligence est une question d'optimisation d'utilisation de ressources dans l'objectif d'obtenir un résultat. On doit donc le "vouloir", il n'est pas juste question de faire des choses qui, ô magie, nous donnent un bon résultat. C'est pourquoi pour moi les IA actuelles ne sont pas intelligentes: les objectifs sont décidés par nous, et elles sont fabriquées pour y répondre automatiquement, sans plus de décision de leur côté. Pour en revenir à ma définition, il se peut que l'objectif en question soit qualifiable de mauvais, par exemple ça peut faire beaucoup de morts, mais ça reste quelque chose de subjectif : dans une guerre, on est amené à tuer des gens pour se protéger soi-même, et je doute que quiconque considère un sacrifice (pour ne pas tuer son prochain) comme intelligent, même si c'est bien car désintéressé. Par contre, qui dit optimisation de ressources, dit minimisation des obstacles à la réalisation des objectifs. Et parmi ces obstacles, on peut notamment y mettre la société : si on cherche à faire quelque chose qui va à son encontre, on doit s'attendre à consommer davantage de ressources pour y arriver. Il est donc important d'avoir un objectif socialement acceptable pour diminuer les chances de rejet. On pourrait se dire qu'il suffit de cacher la vérité, mais entretenir un mensonge demande des ressources supplémentaires pour s'assurer que personne ne découvre le pot aux roses, une entité intelligente favoriserait donc les objectifs socialement acceptables plutôt que cachés pour obtenir ce qu'elle veut.

De ce fait, selon ma définition de l'intelligence, ce n'est pas que la dangerosité ne devrait pas en faire partie, mais qu'elle devrait naturellement être minimisée pour des raisons tout à fait pratiques et objectives. Ça ferait donc partie des conséquences, et non de la définition.

La ruse peut très bien aller avec une volonté de nuire, et peut-être pense t on plus à créer une IA rusée qu'une IA réellement intelligente car l'intelligence est beaucoup plus difficile à définir. La ruse consiste en quelque sorte à trouver une solution simple et efficace pour obtenir un résultat immédiat et mesurable. L'intelligence requiert une pensée plus globale qui nécessite un recul et qui pour moi est contraire à une attitude délibérément hostile.

Si je me fie au Larousse en ligne : http://www.larousse.fr/dictionnaires...ais/ruse/70283
- Procédé habile, mais déloyal, dont quelqu'un se sert pour obtenir ou réaliser ce qu'il désire
- Adresse de quelqu'un à agir de façon trompeuse, déloyale, pour parvenir à ses fins

Pour moi ce serait encore de l'intelligence, mais où la partie "obstacle social" n'a pas été minimisée, typiquement au profit d'autre dimensions (e.g. l'effort, le temps, l'argent, etc.). Vu qu'en optimisation, on a généralement à faire avec de multiples dimensions, il n'y a pas de solution unique, et il faut choisir dans un front de Pareto. Certains favoriseront les solutions socialement acceptables, d'autres favoriseront d'autres dimensions.

[10_GOTO_10]

Ce que je veux dire est que la dangerosité devrait être un des critères qui détermine ou non l'intelligence. L'intelligence (la vrai) ne va pas avec une volonté de nuire. La ruse peut très bien aller avec une volonté de nuire, et peut-être pense t on plus à créer une IA rusée qu'une IA réellement intelligente car l'intelligence est beaucoup plus difficile à définir. La ruse consiste en quelque sorte à trouver une solution simple et efficace pour obtenir un résultat immédiat et mesurable. L'intelligence requiert une pensée plus globale qui nécessite un recul et qui pour moi est contraire à une attitude délibérément hostile.

Ce que tu dis est vrai, mais ça concerne toute intelligence, qu'elle soit artificielle ou naturelle. Et ça ne date pas d'hier.

Mais c'est une réflexion intéressante. Ça signifie que, de la même façon qu'en robotique on a la vallée dérangeante, en IA nous pourrions être confrontés à une "vallée dangereuse" : un stade ou les IA seront assez intelligentes pour prendre des décisions que nous n'aurons pas prévu, mais pas assez pour en mesurer toutes les conséquences... Lorsqu'on en sera à ce stade, il faudra sans doute être prudent, mais ce n'est pas une raison pour y renoncer.

[Captain_JS]

un stade ou les IA seront assez intelligentes pour prendre des décisions que nous n'aurons pas prévu, mais pas assez pour en mesurer toutes les conséquences...

Mouais ... perso je préfère un système imparfait qui ne mesure pas les conséquences parce qu'il lui manque le moyen de les mesurer (IA) plutôt qu'un système qui choisit de ne pas les mesurer parce que l'important c'est l'argent ou le pouvoir que ça va rapporter (humain)

C'est quand même assez croyable qu'on tombe toujours dans les mêmes argumentaires sur l'IA (à côté du débat sur "qu'est-ce que l'intelligence ?") : on a toujours cette dualité "les IA ne peuvent pas faire les trucs sympas qu'un homme fait" (type un tableau, mélodie ...) et "mais par contre on a peur qu'ils puissent faire tous les trucs de salops des humains" (guerre et extermination notamment). Moi perso si demain une IA me donne une raison valable de pourquoi on evrait exterminer tous les humains, raison autre que "pour que j'ai le pouvoir pour moi toute seule") elle sera allée plus loin qu'aucun autre humain
Les humains n'ont pas besoin d'IA pour s'entretuer, alors pourquoi devrait-on forcément en avoir peur plus que des islamistes, de Monsanto ou autres Américains / Russes / Chinois / ... ?

[ParseCoder]

De ce fait, selon ma définition de l'intelligence, ce n'est pas que la dangerosité ne devrait pas en faire partie, mais qu'elle devrait naturellement être minimisée pour des raisons tout à fait pratiques et objectives. Ça ferait donc partie des conséquences, et non de la définition.

Je vois ce que tu veux dire et je suis d'accord.

Si vis pacem, para bellum (si tu veux la paix, prépare toi à la guerre)

Au delà de cette discussion sur la notion de dangerosité, pour moi l'intelligence c'est aussi être capable de donner du sens à des assertions ambiguës et contradictoires en apparence comme cette maxime latine, parce que l'intelligence requiert de sortir des règles pour saisir le sens métaphorique qui se trouve par delà les mots. Elle est synonyme de créativité. C'est pour cette raison que l'intelligence est très difficile à définir, parce qu'elle ne peut pas l'être de façon formelle mais plutôt probablement de façon métaphorique comme cette maxime.

Je lirai avec plaisir ton blog sur ce sujet quand ça sera prêt