Expérience de Shannon

Version imprimable

Bonjour,

Je suis en train d'essayer de compléter ce squelette basé sur l'expérience de Shannon :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
from math import log
from random import random
 
#==================== 1ère partie ==============
 
def IncFreq(distribution:dict, letter:str):
    """ Incrémente le nombre d'occurrences de *letter* dans
        *distribution*.
        
        `distribution est un dictionnaire où une clé est une lettre
        et la valeur associée le nombre d'occurrences de cette lettre.
    """
    if letter in distribution :
        distribution[letter] += 1
    else:
        distribution[letter] = 1
 
#______________________________________________________________________________
 
def AnalFreq(distribution:dict, text:str):
    """ Ajoute à *distribution* les nombres d'occurrences des lettres 
        de *text*.
    """
    for letter in text:
        distribution[letter] = IncFreq(distribution, letter)
 
#______________________________________________________________________________
 
def string2distribution(text:str) -> dict:
    """ Retourne une nouvelle distribution qui donne les nombres
        d'occurrences des lettres de *text*.
    """
    distribution = dict()
    AnalFreq(distribution, text)
    return distribution
 
#______________________________________________________________________________
 
def TotalFreq(distribution:dict) -> int:
    """ Retourne la somme des nombres d'occurrences de *distribution*.
    """
    return sum(distribution.values())
 
#______________________________________________________________________________
 
def string2information(text:str) -> float:
    """ Retourne un dictionnaire une clé est une lettre et la valeur
        la quantité d'information portée par cette lettre.
    """
    info = dict()
    distribution = string2distribution(text)
    TotalFreq = TotalFreq(dict)
    for letter in distribution :
        info[letter] = log(TotalFreq/distribution[letter], 2)
    return info
 
#______________________________________________________________________________
 
def string2entropy(text:str) -> float:
    """ Retourne l'entropie du jeu de caractères du texte de référence
        *text*.
    """
 
    dist = string2distribution(text)
    entropie = 0
    for letter in dist : 
        entropie -= ((dist(letter)/TotalFreq(dist))*log(dist(letter)/TotalFreq(dist), 2))
    return entropie 
 
 
#================== PROGRAMME PRINCIPAL =============
 
if __name__ == '__main__':
 
 
    file = open('fable1.txt', 'r')
    text = file.read()

J'aimerais savoir si mes premières fonctions sont correctes svp ?

Cordialement.

27/03/2014, 14h19
VinsS
Salut,

Non, elles ne sont pas correctes.
Code:

1 2 def string2distribution(text:str) -> dict:
Cette syntaxe est inconnue en Python.

http://python.developpez.com/cours/apprendre-python3/
27/03/2014, 14h26
wiztricks

Citation:

Envoyé par VinsS

Cette syntaxe est inconnue en Python.

http://python.developpez.com/cours/apprendre-python3/

Mais si! C'est les function's annotations introduites en 3.x
- W
27/03/2014, 14h38
Hero13

Normalement les définitions sont bonnes car elles étaient déjà incluses dans le squelette. C'est juste pour le corps des fonctions qu'il faudrait me corriger si c'est faux svp.
27/03/2014, 14h43
wiztricks

Citation:

Envoyé par Hero13

Normalement les définitions sont bonnes car elles étaient déjà incluses dans le squelette. C'est juste pour le corps des fonctions qu'il faudrait me corriger si c'est faux svp.

L’interpréteur vous dira s'il y a des erreurs de syntaxe.
Après pour tester que ça fonctionne, rien ne remplacera les fonctions de tests (unitaire).

- W
27/03/2014, 14h49
Hero13

Citation:

Envoyé par wiztricks

L’interpréteur vous dira s'il y a des erreurs de syntaxe.
Après pour tester que ça fonctionne, rien ne remplacera les fonctions de tests (unitaire).

- W

Ok merci mais comment fait-on pour ce cas-ci ? Pourriez-vous me donner un exemple de test unitaire svp ?
27/03/2014, 14h50
tyrtamos

Bonjour,

Il manque la fermeture du fichier à la fin. Et la construction avec "with" serait préférable.

En regardant rapidement, je n'ai rien vu d'autre.

Ici les infos sur les "functions annotation": http://docs.python.org/3.3/tutorial/...on-annotations.
27/03/2014, 15h05
VinsS

Citation:

Envoyé par wiztricks

Mais si! C'est les function's annotations introduites en 3.x
- W

Là je suis tombé de ma chaise !

Quelle horreur (avis personnel que je vous autorise à partager), on peut vaguement deviner à quoi ça sert mais certains risquent de penser que cela remplace dorénavant les doc strings.
27/03/2014, 15h25
wiztricks

Citation:

Envoyé par VinsS

Là je suis tombé de ma chaise !

Quelle horreur (avis personnel que je vous autorise à partager), on peut vaguement deviner à quoi ça sert mais certains risquent de penser que cela remplace dorénavant les doc strings.

Mais non c'est bien! Mais... seulement pour des "interfaces" externes.
L’idée est d'avoir un "standard" qui permette l'introspection "programmatique" de l'API d'un module/composant.
Avant l’intégration de cette fonctionnalité dans Python en "standard", pas mal de développeurs avaient du définir leur propre standard +/- incompatibles entres eux. Si vous n'en aviez pas besoin jusqu’à présent, vous pouvez continuer a vivre sans.

Citation:

Ok merci mais comment fait-on pour ce cas-ci ? Pourriez-vous me donner un exemple de test unitaire svp ?

:google:
vous avez aussi le forum ALM sur le site développez que vous pouvez consulter.
- W
27/03/2014, 15h57
Hero13

Citation:

Envoyé par wiztricks

:google:
vous avez aussi le forum ALM sur le site développez que vous pouvez consulter.
- W

Merci mais j'ai vraiment du mal là... :( Et sinon, c'est bien F5 pour voir si ma syntaxe est bonne ?
28/03/2014, 12h42
Alliaël

Bonjour,
En cherchant "testunitaire python" sur google, on trouve pas mal de chose.
http://docs.python.org/3.2/library/unittest.html
Tu as des exemples plutôt simple avec la doc.

Pour vérifier la syntaxe je pense que ça dépend uniquement de ton éditeur de texte.
28/03/2014, 12h45
Hero13

Citation:

Envoyé par Alliaël

Bonjour,
En cherchant "testunitaire python" sur google, on trouve pas mal de chose.
http://docs.python.org/3.2/library/unittest.html
Tu as des exemples plutôt simple avec la doc.

Pour vérifier la syntaxe je pense que ça dépend uniquement de ton éditeur de texte.

D'accord, merci. ;)

La suite du code après string2entropy est :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
______________________________________________________________________________
 
def CumulDistrib(distribution:dict) -> dict:
    """ Retourne un dictionnaire qui donne la fréquence normalisée et 
        cumulée de *distribution*.
        L'ordre des lettres dans le cumul est l'ordre ASCII croissant.
    """
 
    T = TotalFreq(distribution)
    Frequence = dict()
    cumul = dict()
    old = 0
    for letter in sorted(cumul.keys()) :
        Frequence[letter] = distribution[letter]/T
 
    for letter in sorted(distribution.keys()) :
        cumul[letter] = distribution[letter] + old
        old = cumul[letter]
 
    return cumul
 
 
#_________________________________________________________________________________
 
def FindFirstGreaterInCD(cumuldistribution:dict, freq:float) -> str:
    """ Retourne la première lettre dont la fréquence dans *cumuldistribution*
        est supérieure ou égale à *freq*.
        Retourne '$' si toutes les fréquences sont inférieures à *freq*.
    """
    for letter in cumuldistribution :
        if cumuldistribution[letter] >= freq :
            return letter
 
 
 
#_________________________________________________________________________________
 
def RandLetter(cumuldistribution:dict) -> str:
    """ Retourne une lettre aléatoire avec une probabilité qui suit
        la  distribution cumulée normalisée *cumuldistribution*.
    """
    random.randint(1,cumuldistribution)
    for letter in cumuldistribution:
        return letter
 
#_________________________________________________________________________________

Est-ce que mes fonctions sont juste ? Je pense que FindFirstGreaterInCD et RandLetter sont fausses...

Salut,

Puisqu'il s'agit d'un dictionnaire, tu peux utiliser les méthodes qui lui sont spécifiques.
Pour la fonction FindFirstGreaterInCD():
Code:

1 2 3 4 for key, value in cumuldistribution.items(): if value >= freq: return key
et pour RandLetter():
Code:

1 2 3 idx = random.randint(0, len(cumuldistribution)-1) return cumuldistribution.keys()[idx]

Citation:

Envoyé par VinsS

Salut,

Puisqu'il s'agit d'un dictionnaire, tu peux utiliser les méthodes qui lui sont spécifiques.
Pour la fonction FindFirstGreaterInCD():

Code:

1
2
3
4
 
    for key, value in cumuldistribution.items():
        if value >= freq:
            return key

et pour RandLetter():

Code:

1
2
3
 
    idx = random.randint(0, len(cumuldistribution)-1)
    return  cumuldistribution.keys()[idx]

D'accord merci beaucoup ! Je ne connaissais pas item().

J'ai fais les fonctions suivantes :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
def RandText(cumuldistribution:dict, length:int) -> list:
    """ Retourne une liste de lettres aléatoires de longueur maximale *length* 
        où chacune des lettres apparaît avec une probabilité qui suit
        la  distribution cumulée normalisée *cumuldistribution*.
    """
 
    idx = random.randint(0, len(cumuldistribution)-1)
    for key in cumuldistribution:
        if len(cumuldistribution) < length:
            return  cumuldistribution.keys()[idx]
 
 
#_________________________________________________________________________________
 
def distribution2string(distribution:dict, length:int) -> str:
    """ Retourne un texte aléatoire de longueur maximale *length* 
        où chacune des lettres apparaît avec une probabilité qui suit
        la  distribution  *distribution*.
    """
    idx = random.randint(0, len(distribution)-1)
    for letter in distribution :
        if len(distribution) < length :
            distribution[letter] = RandText(cumuldist, length)
            return distribution.keys()[idx]

C'est pas très juste à mon avis. :oops:

01/04/2014, 11h19
Hero13

Désolé pour le double post mais est-ce que quelqu'un peut me dire si mes fonctions RandText et distribution2string sont justes svp ?

Bonjour,
Syntaxiquement elles sont bonnes, mais je ne suis pas sur qu'elles fassent ce que tu veux.
Code:

1 2 3 4 5 6 7 8 #tu récupères bien un indice au hasard idx = random.randint(0, len(cumuldistribution)-1) #tu fais une boucle, mais je ne vois pas pourquoi for key in cumuldistribution: #tu tests la taille de ton dict (donc son nombre de clef) if len(cumuldistribution) < length: #tu sors de la fonction (donc de la boucle) et tu renvois la clef à l'indice aléatoire return cumuldistribution.keys()[idx]
Du coup je ne vois pas du tout l’intérêt de la boucle.
Tu peux essayer tant que tu veux, mais les valeurs à l'intérieur de la boucle ne change pas à chaque itération donc tu vas avoir toujours le même résultat.
Du coup le code ci-dessous doit te donner exactement la même chose
Code:

1 2 3 idx = random.randint(0, len(cumuldistribution)-1) if len(cumuldistribution) < length: return cumuldistribution.keys()[idx]
Néanmoins je ne sais pas si c'est ce que tu veux faire.
Pour retourner une liste de taille length avec les clefs prisent de manière random
Code:

1 2 3 4 5 result_list = [] for i in range(0, length): idx = random.randint(0, len(cumuldistribution)-1) result_list.append(cumuldistribution.keys()[idx]) return result_list
Encore une fois j'ai un gros doute si c'est vraiment ce que tu veux faire :?

En fait la fonction RandText doit engendrer un texte aléatoire dont les lettres suivent une distribution cumulée normalisée donnée avec une longueur maximum qui est passée en second paramètre. Donc si j'ai bien compris c'est comme la fonction RandLetter sauf qu'on doit retourner une liste de lettre au lieu d'une seule lettre donc peut être qu'il y a moyen de réutiliser la fonction RandLetter dans la fonction RandText, non ? Quoique je pense que ton code est bon donc c'est pas la peine, merci pour l'aide ! :)

Du coup pour la fonction suivante :
Code:

1 2 3 4 5 def distribution2string(distribution:dict, length:int) -> str: """ Retourne un texte aléatoire de longueur maximale *length* où chacune des lettres apparaît avec une probabilité qui suit la distribution *distribution*. """
"Cette fonction distribution2string ne traite que les distributions de lettres isolées. On considère ici une distribution telle que rendue par la fonction string2distribution. Un second paramètre indique la longueur de la chaîne à construire. On pourra utiliser la fonction qui convertie a list to a string pour obtenir la chaîne dont on connaît la liste des caractères."

Peut-être que c'est là qu'il faut réutiliser les fonctions d'avant ?

02/04/2014, 12h50
Alliaël

Oui je pense que c'est ça.
RandText te renvois une liste de lettre, et l'autre te demande un texte, donc il faut faire un appel et une conversion.

Comme ça ? :?

Code:

1
2
3
4
5
6
7
8
9
def distribution2string(distribution:dict, length:int) -> str:
    """ Retourne un texte aléatoire de longueur maximale *length* 
        où chacune des lettres apparaît avec une probabilité qui suit
        la  distribution  *distribution*.
    """
    texteauto = ""
    for i in range(0, length):
        texteauto += RandText(distribution,length)
    return texte auto

02/04/2014, 15h18
Alliaël

Je suis quasiment sur que ca ne peut pas s’exécuter.

textauto est une string, et le retour de RandText est une liste.
Quand j'essaye de concaténer une liste et un string, l'interpréteur est assez explicite
cannot concatenate 'str' and 'list' objects

Tu obtiens quoi en lançant ta fonction ?
02/04/2014, 15h28
Hero13

Effectivement, ça ne fonctionne pas. :oops: Quand je fais run il ne met rien...

Bon finalement j'ai réussi mes fonctions. Maintenant dans la deuxième partie "traiter les distributions de n-grammes demande de ne plus considérer les lettres isolément mais dans le contexte d’un préfixe formé des n − 1 lettres qui précèdent. De cette façon, le préfixe permet de chercher la bonne distribution avant de retrouver le cas précédent. Bien comprendre qu’une analyse se fait avec des n-grammes qui sont tous de la même taille, et donc des préfixes qui sont tous de taille n − 1."
Code:

1 2 3 4 5 6 7 8 9 def IncFreq_pfx(distribution:dict, prefix:str, letter:str): """ Incrémente le nombre d'occurrences du couple (prefix*, *letter*) dans *distribution*. `distribution est un dictionnaire où une clé est un prefixe et où la valeur associée est elle même un dictionnaire où une clé est une lettre et la valeur associée le nombre d'occurrences du couple préfixe/lettre. """
Je vois pas trop ce qu'il faut écrire...