Discussion :

[DoggySmile78]

Bonsoir à tous,
j'ai un exercice de python à faire sur lequel j'ai déjà bien avancé mais là je suis face un problème.
Je ne sais pas comment stocker ces données. Je sais qu'il faut utiliser un dictionnaire mais après je ne sais pas.
J'ai bien tenté un

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
stats = defaultdict(dict)
for cat in corpus.categories():
      stats[cat] = {'filename':'xxxxx', nb_sents:10 etc...}

Mais ca bloque dans la boucle for suivante.
TypeError : unhashable type 'slice'
Ma question est donc : comment stocker ces données pour que les deux boucles for d’après fonctionnent.
Merci pour votre aide

[Sve@r]

Bonjour

Déjà pour tester, j'ai juste écrit

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
stats=defaultdict(dict)
xxx="abcdef"
for x in xxx:
    stats[x]={1:"toto", 2:"titi"}

Et zéro souci. Le défaultdict, même s'il est inutile, n'est pas en cause.

Ensuite, j'ai écrit

Code python :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
stats=dict()
stats[1:5]="toto"

Et là, la même erreur. Un slice ne peut pas être clé d'un dictionnaire.

Ma question est donc : comment stocker ces données pour que les deux boucles for d’après fonctionnent.

Ben la première est simplement une boucle sur des clefs/valeurs donc effectivement "stats" est bien un dictionnaire => stats=dict().

Ensuite la seconde. Déjà les crochets signifient que rows est un itérable. Et le for row in rows[:1] signifie que rows[:1] (ou plus simplement rows[0]) est aussi un itérable. Donc chaque valeur du dictionnaire doit être un itérable ayant lui-même un itérable en premier élément.
Donc un dictionnaire de ce type stats={"x" : ("abc", 1), "y" : ("def", 2), "z" : ("ghi", 3)}.

[DoggySmile78]

Merci Sve@r mais je ne vois toujours pas comment réussir mon stockage dans mon dictionnaire. Surtout qu’après, il m'est demandé de créer un fichier tsv avec comme clés du dictionnaire stats, les colonnes de ce fichier tsv.
Merci d'avance pour vos réponses.
Pour l'instant j'ai ça, même si je sais que ça ne fonctionne pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
 
    corpus = CategorizedPlaintextCorpusReader('data', '.*', encoding='utf8', cat_pattern = r'(.*)[\.]')
    stats = dict()
    for category in corpus.categories():
        filename = corpus.fileids(categories=[category])[0]
        nbr_sents = len(sent_tokenize(corpus.raw(filename), language='french'))
        nbr_words = len(word_tokenize(corpus.raw(filename), language='french'))
        nbr_chars = sum(list(map(lambda x: len(x), word_tokenize(corpus.raw(filename), language='french'))))
        stats[category] : {'filename':filename, 'nb_sents':nbr_sents, 'nb_words':nbr_words, 'nb_characters':nbr_chars}

Je ne vois pas l’intérêt de faire un itérable dans ce cas...
Je suis perdu.

[Sve@r]

Surtout qu’après, il m'est demandé de créer un fichier tsv avec comme clés du dictionnaire stats, les colonnes de ce fichier tsv.

Ben... si tu nous donnes tes contraintes au compte-gouttes...

Pour l'instant j'ai ça, même si je sais que ça ne fonctionne pas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
    corpus = CategorizedPlaintextCorpusReader('data', '.*', encoding='utf8', cat_pattern = r'(.*)[\.]')
    stats = dict()
    for category in corpus.categories():
        filename = corpus.fileids(categories=[category])[0]
        nbr_sents = len(sent_tokenize(corpus.raw(filename), language='french'))
        nbr_words = len(word_tokenize(corpus.raw(filename), language='french'))
        nbr_chars = sum(list(map(lambda x: len(x), word_tokenize(corpus.raw(filename), language='french'))))
        stats[category] : {'filename':filename, 'nb_sents':nbr_sents, 'nb_words':nbr_words, 'nb_characters':nbr_chars}

Moi j'aime bien car ça correspond à ce que j'aurais fait si j'avais dû stocker n fois une info composite. Juste que si "stats" doit-être un dico à une seule clef, il n'a plus vraiment besoin d'être un dico et peut basculer liste

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
    corpus = CategorizedPlaintextCorpusReader('data', '.*', encoding='utf8', cat_pattern = r'(.*)[\.]')
    stats = list()
    for category in corpus.categories():
        filename = corpus.fileids(categories=[category])[0]
        nbr_sents = len(sent_tokenize(corpus.raw(filename), language='french'))
        nbr_words = len(word_tokenize(corpus.raw(filename), language='french'))
        nbr_chars = sum(list(map(lambda x: len(x), word_tokenize(corpus.raw(filename), language='french'))))
        stats.append({'filename':filename, 'nb_sents':nbr_sents, 'nb_words':nbr_words, 'nb_characters':nbr_chars})

A moins, bien entendu, qu'un accès sur "stats" par catégorie soit nécessaire ensuite...

Je ne vois pas l’intérêt de faire un itérable dans ce cas...

Remettons les choses dans l'ordre: tu as présenté une boucle imbriquée et tu as demandé une structure de données qui puisse correspondre à cette boucle. Moi je ne me suis pas posé de questions, j'ai pondu la structure adéquate. Mais si je devais m'en poser une, je me demanderais d'où vient cette boucle que tu as montrée au départ...

[DoggySmile78]

J'ai trouvé la solution avec un defaultdict(list). Merci pour votre aide. Je mets résolu