Discussion :

[marco056]

Bonjour,
Je dispose de deux fichiers (en fait j'en aurais une dizaine au final) que je souhaiterais assembler. Le problème, c'est que les lignes ne sont pas dans le même ordre dans les deux (ou plus) fichiers.
J'aurais besoin d'un ou de plusieurs avis sur la méthode à employer.

Le premier est composé d'un classement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Joueur ; Classement officiel ; Classement réel
Joueur A ; 100 ; 101
Joueur B ; 95 ; 98
Joueur C ; 90 ; 88
Joueur D ; 80 ; 82

Le deuxième est composé d'un classement :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Joueur ; Classement officiel ; Classement réel
Joueur A ; 100 ; 103
Joueur D ; 80 ; 98
Joueur C ; 90 ; 94
Joueur B ; 95 ; 92

Je souhaiterais obtenir un fichier csv comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
Joueur ; Classement officiel ; Classement mois 1 ; Classement mois 2
Joueur A ; 100 ; 101 ; 103
Joueur D ; 80 ; 82 ; 98
Joueur C ; 90 ; 88 ; 94
Joueur B ; 95 ; 98 ; 92

Il y a une petite centaine de joueurs.

Ce que je pense de plus simple pour l'instant, mais cela peut être long, c'est de récupérer dans le dernier fichier la colonne 0 composée des joueurs et la colonne 1 du classement officiel, puis ensuite parcourir tous les fichiers csv et ajouter la valeur de la colonne 2 lorsque les noms correspondent. Cela implique de faire un test sur la colonne 0. C'est cette étape qui risque de prendre du temps mais je ne vois pas comment faire mieux.

[Bktero]

Bonjour,

Si tes fichiers sont petits, tu lis tout, tu charges tout dans une structure (au hasard, une liste de dictionnaires avec le nom du joueur en clé et un set de positions de classement en valeurs), et tu pousses le tout dans un nouveau fichier.

Après, j'ai du mal à voir comment tu peux avoir 3 descriptions de champs dans la ligne 1 et 4 valeurs dans les lignes suivantes...

[marco056]

OK, merci.
Je modifie mon premier post pour que ce soit plus clair.
Pour les dicos, j'avoue que ce n'est pas trop mon truc, d'autant qu'il faudra que mon dernier fichier soit classé.
Après, c'est l'occasion de s'y mettre.

[lg_53]

Il existe une variante du dictionnaire, qui elle est ordonnée : l'OrderedDict.

Et pareil je suis du même avis que Bktero.
1) Tu créer un OrderedDict vide.
2) Tu lis le 1er fichier (le 1er fichier dictant l'ordre sur le fichier de sortie)
3) En lisant se fichier tu ajoutes les entrées à l'OrderedDict (chaque clé "JoueurX", va contenir une liste)
4) Tu fermes le 1er fichier
5) Tu ouvres les fichiers suivant, et pour chaque ligne, tu repère le nom du joueur, et ca te permet d'étendre la liste (avec les éléments à partir de la 2eme colonne) contenu dans l'OrderedDict correspondant à ce joueur précis.

[marco056]

Merci à vous, mais je pense que je vais avoir un souci en passant par les dictionnaires.
En effet, je n'ai pas tout dit :
J'ai en fait à la place de Joueur A,, B, ... des noms en première colonne, prénoms en deuxième, ...
Évidemment, deux joueurs peuvent avoir le même nom ou le même prénom.
Pour la suite, j'ai besoin de garder noms et prénoms (j'imprime un pdf via latex)
Du coup, il faudrait que je fasse en clé Nom + Prénom puis en valeur une liste qui va contenir [Nom, Prénom, Classement officiel, Classement mois 1, mois 2, ...]
C'est possible de réaliser cela ?
Sachant que pour la présentation finale, ce serait bien d'ordonner en fonction du classement officiel ou du dernier mois...

[CosmoKnacki]

Pas besoin d'utiliser un orderedDict, il suffit de lire les fichiers dont tu ne veux pas conserver le classement et en utilisant le nom du joueur comme clef de stocker les colonnes dont tu as besoin dans un dict normal, puis de lire le fichier classé et d'écrire le résultat au fur et à mesure pour profiter du classement.

[lg_53]

Les dictionnaires acceptent des clés "composites" :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
a = {}
a[("Herve","Dupont")]=[80,82]
a[("Albert","Dupont")]=[85,87]
print(a)

et si vous travaillez avec les ordereddict c'est pareil, suffit d'initialiser a comme ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
from collections import OrderedDict
a=OrderedDict()

[marco056]

Bon, ben merci beaucoup à vous pour ces conseils et exemples.
J'ai du pain sur la planche...

[Supernul]

Bonjour,

si tu as la possibilité d'utiliser pandas, fais-le. Tu charge chaque csv dans un dataframe en définissant la première ligne et la première colonne comme entêtes de lignes et de colonnes puis tu joins tes deux dataframes en utilisant les entêtes de colonnes comme champs de jointure.

Pandas est fait pour cela

[marco056]

Merci, avec pandas, j'arrive presque à ce que je veux.
J'ai juste un souci : j'utilise merge mais je voudrais exclure la dernière colonne de mon premier fichier. c'est possible ?
J'arrive à enlever les dernières lignes mais pas la dernière colonne. J'imagine que c'est très simple.

[marco056]

Bon, j'ai avancé un peu mais j'ai un souci avec pandas :
Mes fichiers csv possèdent comme entête (donc 5 colonnes):
Nom Prénom;Cl. off;2018-10-30;Evol
et :
Nom Prénom;Cl. off;2018-11-12;Evol

J'ai écrit le code suivant :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
from datetime import date as datebis
 
today = datebis.today()
an = today.year
 
dates=["2018-10-30","2018-11-12"]
liste_fichiers_csv = ["class-%s.csv"% dates[i] for i in range(len(dates))]
 
import pandas as pd
fich=[]
for k in range(len(dates)):
    fich.append(pd.read_csv(liste_fichiers_csv[k], ";", names=["Nom","Prénom","Cl. off",dates[k]]))
print(fich[0])
 
for k in range(1,len(dates)):
    fich[0] = pd.merge(fich[0],fich[k], how = "inner", on = ["Nom","Prénom","Cl. off"])
print(fich[0])

le "print(fich[0])" ne me sort pas ce que j'ai prévu, à savoir les 4 premières colonnes.
Si quelqu'un a une explication...

[marco056]

Bon a priori, c'est OK, je suis enfin parvenu à une solution correcte.
Merci à vous tous.

[Supernul]

Bonjour,

heureux que tu ais trouvé une solution.

Juste un petit point sur l'écriture pour être plus pythonesque. On évite autant que possible l'itération sur les indices quand on peut l'éviter. Une réécriture rapide (non testée) du dernier code proposé :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
from datetime import date
import pandas as pd
 
today = date.today()
an = today.year
 
dates=["2018-10-30","2018-11-12"]
liste_fichiers_csv = ["class-%s.csv"% d for d in dates]
 
fich=[]
 
for c, d in zip(liste_fichiers_csv, dates):
    f = pd.read_csv(c, ";", names=["Nom","Prénom","Cl. off",d])
    fich.append(f)
 
print(fich[0])
 
for f in fich[1:]:
    fich[0] = pd.merge(fich[0],f, how = "inner", on = ["Nom","Prénom","Cl. off"])
 
print(fich[0])

[marco056]

Effectivement, merci pour cette amélioration.