IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Calcul scientifique Python Discussion :

Gradient bandit - Maximisation d'une espérance


Sujet :

Calcul scientifique Python

  1. #1
    Membre actif Avatar de BioKore
    Homme Profil pro
    Dresseur d'Alpaga
    Inscrit en
    Septembre 2016
    Messages
    300
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Dresseur d'Alpaga

    Informations forums :
    Inscription : Septembre 2016
    Messages : 300
    Points : 219
    Points
    219
    Par défaut Gradient bandit - Maximisation d'une espérance
    Bonjour à vous,

    Je ne suis pas certain que ce post soit dans la bonne catégorie, mais puisque ce dernier corresponds à une question plutôt d'ordre mathématique, dans le cadre d'une implémentation d'un algorithme en Python, je me suis dit que je devrais pouvoir obtenir des réponses ici.
    Ma question concerne un simple exercice que je me suis posé concernant la compréhension du "gradient Bandit". Le principe est assez simple d'une manière générale et je n'ai pas trop de problèmes avec les calculs associés, cependant, je ne comprends pas le choix final de l'implémentation - ou alors - c'est qu'il y a un principe de base qui m’échappe.

    n'ayant pas trouvé comment écrire des formules sur le forum, voici une capture d'écran de mon calcul (pour ceux qui connaissent l'algorithme, j'ai volontairement omis le facteur de "baseline" qui n'a a pas d'impact à priori sur mon problème):

    Nom : gradient_bandit.PNG
Affichages : 110
Taille : 51,9 Ko

    En gros, pourquoi est-ce que l'on reprends la formule qui est dans l'espérance, et pas la formule de l'espérance en elle-même ?

    Nom : gradient_bandit_res.PNG
Affichages : 97
Taille : 26,1 Ko

    J'ai fait une application numérique rapide pour voir ce que ça donne et, le sens du gradient est le bon dans les deux cas, mais le poids de ce dernier est nécessairement plus faible selon mon approche.
    Pour plus de contexte, vous pouvez vous faire une idée de ce à quoi tout ceci correspond sur multi-armed-bandits-1 et multi-armed-bandits-2

    Un grand merci par avance pour toute aide que vous sauriez m'apporter sur ce point.

  2. #2
    Membre actif Avatar de BioKore
    Homme Profil pro
    Dresseur d'Alpaga
    Inscrit en
    Septembre 2016
    Messages
    300
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : Canada

    Informations professionnelles :
    Activité : Dresseur d'Alpaga

    Informations forums :
    Inscription : Septembre 2016
    Messages : 300
    Points : 219
    Points
    219
    Par défaut
    Résolu.
    3 choses :
    • Il y a bien un forum maths/proba/IA sur ce site
    • le latex / markdown semble bien désactivé sur le forum
    • le chainon manquant dans mon précédant post était le suivant


    Nom : gb_solution.PNG
Affichages : 48
Taille : 11,2 Ko


    donc tout est beau, j'ai enfin compris mon résultat.

    Merci tout de même au forum !

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. [AC-2003] Ramener un formulaire maximise a une taille plus pratique
    Par marot_r dans le forum IHM
    Réponses: 15
    Dernier message: 23/07/2014, 20h16
  2. Maximisation d'une fonction
    Par noomane dans le forum Maple
    Réponses: 0
    Dernier message: 11/02/2012, 22h58
  3. [CSS 3] -moz-linear-gradient et ajout d'une image en repeat
    Par Argetloum dans le forum Mise en page CSS
    Réponses: 2
    Dernier message: 17/05/2011, 00h22
  4. Génération d'une shadow gradient map à partir d'une image
    Par bappy dans le forum Traitement d'images
    Réponses: 11
    Dernier message: 22/03/2010, 18h55
  5. Griser le bouton "maximiser" d'une fenêtre
    Par kurkaine dans le forum C++Builder
    Réponses: 5
    Dernier message: 13/02/2004, 01h11

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo