Boucle pour tri d'une liste sur un dictionnaire

Version imprimable

Bonjour à tous,

Je suis débutant en Python et j'ai le problème suivant:

J'ai besoin de faire un tri sur une colonne d'un dictionnaire/référence (provenant d'un fichier CSV), afin que les valeurs/quantités s'additionnent et que je n'ai plus qu'une entrée dans le dictionnaire par référence

J'extrais les références du dictionnaire qui me donne une liste:
Code:

1 2 3 4 5 6 7 8 9 articles = [] for row in listcsv : article = row['D\xe9tail commande - r\xe9f\xe9rence produit'] if article != articles : articles.append(article) print(nb_articles)
Cela fonctionne et me donne bien les articles présents - 1 seule fois - dans le dictionnaire

Puis je cherche à faire une boucle de cette liste sur le dictionnaire pour tester si cela correspond et additionne les quantités:
Code:

1 2 3 4 5 6 7 8 9 10 qte = 0 for value in articles : for row in listcsv: reference = row['D\xe9tail commande - r\xe9f\xe9rence produit'] quantite = row['D\xe9tail commande - qte produit'] if value in reference : qte += int(quantite)
Là ça ne fonctionne pas.
J'ai uniquement la dernière entrée du dictionnaire qui est prise en compte, qui boucle sur chaque articles de la liste envoyée.
Et la quantité est additionnée systématiquement sans vérifier la condition if

Merci pour votre aide,
je sèche complètement

11/06/2019, 11h56
lg_53

Code:

if article != articles :

sera toujours vrai. Car article est une row de votre csv, et articles est une liste de rows. Ce que vous voulez tester c'est plutot savoir si l'article est déjà dans la liste, et ne l'ajouter que s'il n'est pas déjà dedans. Et donc il faut écrire "si article n'est pas dans articles" et non pas "si article est différents de articles".
11/06/2019, 12h03
cedric.75

Merci Lg_53

Tu as raison, je vais modifier cela mais cela fonctionne, la liste contient bien 1 seule fois les différents articles.

Ce qui me bloque, c'est la suite du code qui doit tester les éléments de la liste par rapport aux éléments du dictionnaire.

Merci
11/06/2019, 13h03
lg_53

Nous n'avons pas de données d'exemple pour tester votre code.

Quoi qu'il en soit je ne comprends pas votre approche. Si vous voulez compter un nombre de produit au travers différents csv, pourquoi parcourir tous vos csv 2 fois ?

Je résume ce que je comprends. Chaque csv (que vous appelez "row" d'ailleur ce qui n'est pas tres judicieux) contient un champ "reference produit" et un autre "qte produit". Et en résultat vous voulez le nombre total de produit, indépendamment de leur référence c'est ca ? Donc si c'est bien cela, pourquoi vous embêtez avec les références ? Suffit de parcourir tous vos csv, et de faire une somme sur le champ quantité non ?

Faut prendre une feuille de papier et un crayon, et vous demander comment vous réaliseriez cette tache à la main. Car là ce n'est manifestement pas clair.

Bonjour LG_53

Je reprends mon explication:

- j'ai un fichier CSV qui donne un dictionnaire comme suit
Code:

1 2 listcsv = [{'D\xe9tail commande - qte produit': '1','D\xe9tail commande - r\xe9f\xe9rence produit': 'AV5302111'}, {''D\xe9tail commande - qte produit': '1','D\xe9tail commande - r\xe9f\xe9rence produit': 'BRET3900-2'}, 'D\xe9tail commande - qte produit': '2','D\xe9tail commande - r\xe9f\xe9rence produit': 'BRET3900-2'}]
Dans lequel tu trouve différents articles et possibles plusieurs fois (dans l'exemple 'BRET3900-2', qui a une ligne avec la quantité à '1' et une à '2'.

Ce que je cherche à faire est de regrouper les articles pour avoir la quantité globale dans le fichier.

Les articles varient en quantités et en références en fonction du fichier CSV source, donc c'est pour cela que j'avais dans l'idée de :
1- Déterminer la liste des articles avec le premier code
2- Renseigner les quantités présentes par ligne d'articles dans chaque article

Le tout pour recréer un fichier csv avec uniquement 1 seule fois/ligne par référence avec la quantité totale par article.

Mais peut être y a t il un moyen plus simple??
:roll:

Merci

Pourquoi parcourir 2 fois vos csv tout de même. Je ne comprends pas. A la main vous parcoureriez 2 fois vous le csv ?
Non ! Vous prendriez une feuille, vous commencer a régarder votre listcsv, quand vous voyer une clé vous la chercherez sur votre feuille. Si elle y est déjà présente vous ajouteriez le compte détecter au compte courrant de cette clé, et sinon si la clé n'est pas présente, vous l'ajouteriez sur votre feuile.
Ce qui se traduit comme cela :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 listcsv = [{'qte': '1','ref': 'AV5302111'}, {'qte': '1','ref': 'BRET3900-2'}, {'qte': '2','ref': 'BRET3900-2'}] count = {} for a_csv in listcsv : reference = a_csv['ref'] quantite = int( a_csv['qte'] ) #### /!\ La quantité est exprimé sous la forme d'une string. Ilk faut donc la convertir en entier ! if reference not in count.keys(): count[reference] = quantite ### Si la référence n'existe pas encore on l'ajoute donc au dico, en lui donnant comme valeur la quantite qu'on vient de relever else : count[reference] += quantite ### Nous avions déjà vu cette référence avant. On ajoute la quantité actuelle à ce qu'on avait compé avant print(count)
D'ailleurs le listcsv que vous avez posté n'est pas celui que python vous sort. Car il n'est pas valide (il manque une accolade et une apostrophe) ...

Notez que listcsv est bien une liste. Et pas un dictionnaire justement comme vous dites. C'est une liste de dictionnaire, mais une liste avant tout. Et vous, vous voulez justement créer un dictionnaire et c'est ca qui vous manque. Vous ne voulez pas juste une quantité globale de toutes les choses. Vous voulez une quantité pour chaque chose, donc un dictionnaire de quantité...

11/06/2019, 19h33
cedric.75
Merci Lg_53

je viens d'essayer ton code et cela ne me renvoie uniquement la dernière ligne de ma liste (tu as raison, je n'avais pas fait attention aux crochets qui ouvrent la sortie et donc détermine une liste et pas un {} pour un dictionnaire...

mon retour est
Code:

1 2 {'BRET3900-2': 1}
Donc dernière ligne du listecsv avec la quantité 1 en chiffre au lieu du 3 qui devrait sortir si l'addition des quantités avait eu lieu

Merci pour ton aide
12/06/2019, 08h49
lg_53

Désolé mais le code que je vous propose fait bien le job, et sort bien

Code:

{'AV5302111': 1, 'BRET3900-2': 3}

ce qui est bien ce que vous voulez non ?

Bonjour LG_53,

Merci pour ton aide!

J'ai à nouveau essayé ton code et effectivement, il fonctionne mais j'ai un problème car j'ai une étape avant d'additionner les références qui est de "simplifier les références" car les références du fichier d'origine ont des extensions à supprimer (avant un "_")

Or quand je lance ton script après ce traitement il semble que les données envoyées en soient pas envoyées en bloc comme quand je fais un "print" car chaque référence est isolée dans un dictionnaire:

Voici le code complet

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
 
# -*- coding: UTF-8 -*-
#!/usr/bin/python3
 
import csv
import sys
import os
import logging
import shutil
import time
import re
 
logging.basicConfig(format='%(levelname)s:%(message)s', level=logging.DEBUG)
python_version = sys.version_info.major
logging.info("executed by python %d" % python_version)
 
listcsv = []
total = 0
 
 
def fusion_csv(listcsv):
	count = {}
	for a_csv in listcsv :
		reference = a_csv['D\xe9tail commande - r\xe9f\xe9rence produit']
		quantite = int(a_csv['D\xe9tail commande - qte produit'] )  #### /!\ La quantité est exprimé sous la forme d'une string. Ilk faut donc la convertir en entier !
		prix_achat = a_csv['D\xe9tail commande - prix d\'achat']
    	if reference not in count.keys():
    		count[reference] = quantite  ### Si la référence n'existe pas encore on l'ajoute donc au dico, en lui donnant comme valeur la quantite qu'on vient de relever
    	else :
        	count[reference] += quantite  ### Nous avions déjà vu cette référence avant. On ajoute la quantité actuelle à ce qu'on avait compé avant
 
	print(count)
 
 
def modif_ref(row):
 
	nbre_lignes = 0
	#print(row)
	reference = row['D\xe9tail commande - r\xe9f\xe9rence produit']
	quantite = row['D\xe9tail commande - qte produit']
	prix_achat = row['D\xe9tail commande - prix d\'achat']
	#nbre_lignes += 1
 
	limit = '_'
	if limit in reference:
		dernier = reference.find(limit)
		ref_courte = reference[:dernier]
		row['D\xe9tail commande - r\xe9f\xe9rence produit'] = row['D\xe9tail commande - r\xe9f\xe9rence produit'].replace(reference, ref_courte)
		listcsv.append(row)
	else:
		row['D\xe9tail commande - r\xe9f\xe9rence produit'] = row['D\xe9tail commande - r\xe9f\xe9rence produit'].replace(reference, reference)
		listcsv.append(row)
	#print (listcsv)
 
	fusion_csv(listcsv)
 
 
def lire_csvfile(csv_filename):
 
	logging.info("importing data from %s" % csv_filename)
 
	#check whether csv file has utf-8 bom char at the beginning
	skip_utf8_seek = 0
	with open(csv_filename) as csvfile:
		csv_start = csvfile.read(3)
        if csv_start == b'\xef\xbb\xbf':
            skip_utf8_seek = 3
 
	with open(csv_filename) as csvfile:
		csvfile.next()
 
		# remove ut-8 bon sig
		csvfile.seek(skip_utf8_seek)
 
		#spamreader = csv.reader(csvfile, delimiter=';')
		reader = csv.DictReader(csvfile, delimiter=';')
 
 
		try:
 
			for row in reader:
				modif_ref(row)
 
		except csv.Error as e:
			sys.exit('file {}, line {}: {}'.format(filename, reader.line_num, e))
 
 
 
def main(args):
 
    # filename passde through args
    if len(args) >=2:
        csv_filename = args[1]
        lire_csvfile(csv_filename)
 
main(sys.argv)

Le retour est :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
{'AV5302111': 1}
{'102976TDF-1': 1}
{'PT62402': 1}
{'D26041': 1}
{'BRET3900-2': 1}
{'100567RUS': 1}
{'PT33059': 1}
{'832-939': 1}
{'ML40003': 1}
{'ML40003': 1}
{'BRET3900-2': 1}

Chaque "ligne" du fichier est traitée séparément, ce qui me pose le problème de l'addition des quantités.

Sachant qu'après ces traitements il faut que je rajoute les autres informations des produits à chaque ligne et que je génère le fichier CSV définitif

Merci encore.

13/06/2019, 09h56
lg_53

Vous devez vérifier que votre simplification de référence produit bien en sortie une liste de dictionnaire ayant la même forme que celle que je vous ai présenté. Une fonction somme vous additionne 2 nombres correctement, seulement si vous lui avez donner en entrée 2 nombre (et pas un nombre et un string par exemple). Là c'est pareil.

Donc votre problème de dénombrement est résolu. Et vous avez un autre problème, cette fois ci sur la simplification des références. Mais là encore, pour ce nouveau problème, prenez le temps de bien nous le présentez, avec un code que l'on peut éxécuter (donc s'il faut un fichier en input, on ne pourra pas l'éxécuter! il faut mettre dans ce cas quelques données à la main, comme dans le code que je vous ai déjà proposé pour votre 1er problème). Ce nouveau problème pourrait d'ailleurs presque faire l'objet d'un nouveau topic.

J'ajoute que si vous en êtes là (à enchainer les problèmes), c'est parce que vous n'avez pas assez testé votre code. Déjà lorsque vous aviez fait juste la simplification de référence, vous auriez du tester, et examiner avec attention le résultat, pour voir si tout est normal (en terme chaine de caractère bien remplacée, mais aussi en terme de structure du résultat). A chaque fois que l'on fait une brique élémentaire, on test ! On attends surtout pas de les avoir mise tout ensemble pour tester ! Imaginer que l'on teste les fondations d'une maison qu'une fois qu'elle soit terminée ...