reunion de date et données manquantes

Version imprimable

Bonjour,
J'ai plusieurs fichiers csv que je voudrais réunir.
Dans chaque csv, j'ai une date sur la première colonne et une données (int) sur la deuxième.
Je souhaiterais réunir les fichiers csv en un seul avec la date dans la première colonne et les données dans les autres (pour 2017,2018,2019 et 2020).
Le problème, c'est que sur certains csv, je n'ai pas forcément les mêmes dates : parfois, il y en a en plus et parfois en moins (par exemple, 2020 n'est pas complet)
Il faudrait que je complète avec un None lorsque la donnée est manquante car je souhaite ensuite obtenir un graphe et il me faut donc le même nombre de données partout.
Voici mon code pour l'année 2019 :
Code:

1 2 3 4 5 with open("datas.csv",'w',encoding = "utf-8", newline='') as data_fich: wr = csv.writer(data_fich) for date,el_2019 in zip(new_date_2019,voeux_cpge_2019): wr.writerow([date,el_2019]) data_fich.close()
J'obtiens (le début) :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 24-Janvier 11 27-Janvier 27 28-Janvier 33 29-Janvier 34 30-Janvier 37 31-Janvier 41 01-Février 44 02-Février 44 03-Février 46 04-Février 50 05-Février 51 06-Février 51 07-Février 53 08-Février 57 09-Février 58 10-Février 59 12-Février 66 13-Février 68 14-Février 69
J'espère avoir été assez clair.
Je ne sais pas trop comment m'y prendre.
J'ai des idées mais je crains que mes idées mènenet à un code illisible et compliqué.

25/01/2020, 22h02
wiztricks

Salut,

A priori, je fabriquerais un dictionnaire.
La date étant la clef avec pour valeur la liste des données lues dans les différents fichiers: liste[0] serait la donnée lue dans le premier fichier, liste[1] celle qui est lue dans le second, etc...
On sait le nombre de fichiers qu'il y a à lire et donc la longueur de la liste associée à chaque clef qu'on peut initialiser avec autant de None.
A la lecture du i-ème fichier, si la clef n'existe pas on la crée avec sa liste associée plein de None et on met à jour valeur[i].

- W
25/01/2020, 23h37
marco056

Merci wiztricks,
cela faisait partie de mes idées, le souci, je crois, c'est qu'un dictionnaire n'est pas ordonné.
Si c'est le cas, il faudra que je le réordonne et je reporte le pb.
Ceci dit, je ne maîtrise pas bien les dictionnaires ni les ensembles d'ailleurs.
26/01/2020, 06h13
viper1094

Salut,

Python (comme beaucoup de langage) à une structure de données semblable aux dictionnaires, mais triés:
https://docs.python.org/fr/3/library...ns.OrderedDict
C'est probablement ce que tu cherches
26/01/2020, 10h03
wiztricks
Salut,

Citation:

Envoyé par marco056

cela faisait partie de mes idées, le souci, je crois, c'est qu'un dictionnaire n'est pas ordonné.
Si c'est le cas, il faudra que je le réordonne et je reporte le pb.

Ce que j'ai compris du problème de départ était la gestion des "trous" dans les données récupérées dans les N fichiers.
Et l'idée de base est d'initialiser une liste à N fois None où la colonne i sera la donnée du ième fichier.

Si vous voulez faire çà avec des listes de listes (un tableau) et des insertions "ordonnées", ce seront des listes qui commencent par la "date" suivie de N None.

Si vos fichiers sont déjà triés, çà pourrait être plus performant que de passer par un dictionnaire: inutile de parcourir toute la liste à chaque fois.

Citation:

Envoyé par marco056

Ceci dit, je ne maîtrise pas bien les dictionnaires ni les ensembles d'ailleurs.

Dans le cas contraire, ce pourrait être l'occasion de regarder à quoi çà ressemble et ce qu'on peut faire avec.
note: et oui il faudra trier ensuite mais sorted fera le boulot pour vous.

Citation:

Envoyé par viper1094

Python (comme beaucoup de langage) à une structure de données semblable aux dictionnaires, mais triés:
https://docs.python.org/fr/3/library...ns.OrderedDict
C'est probablement ce que tu cherches

OrderedDict préserve l'ordre d'insertion pas la relation d'ordre qu'on pourrait avoir sur les clefs.
Exemple:
Code:

1 2 3 4 >>> d = OrderedDict.fromkeys('cdbef') >>> d.keys() odict_keys(['c', 'd', 'b', 'e', 'f']) >>>
- W

Merci à vous, voici où j'en suis rendu :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
from collections import OrderedDict
nb_a = [0, 5, 5, 11, 13]
dat_a = ['22-Janvier', '23-Janvier', '24-Janvier', '25-Janvier', '26-Janvier']
nb_b = [11, 27, 33, 34, 37, 41, 44, 44, 46, 50, 51, 51, 53, 57, 58, 59, 66, 68, 69, 71, 74, 76, 79, 83, 87, 89, 90, 90, 91, 96, 99, 102, 107, 109, 122, 133, 141, 148, 155, 157, 161, 163, 170, 174, 176, 180, 186, 186, 186]
dat_b = ['24-Janvier', '27-Janvier', '28-Janvier', '29-Janvier', '30-Janvier', '31-Janvier', '01-Février', '02-Février', '03-Février', '04-Février', '05-Février', '06-Février', '07-Février', '08-Février', '09-Février', '10-Février', '12-Février', '13-Février', '14-Février', '15-Février', '16-Février', '17-Février', '18-Février', '19-Février', '20-Février', '21-Février', '22-Février', '23-Février', '24-Février', '25-Février', '26-Février', '27-Février', '28-Février', '01-Mars', '03-Mars', '04-Mars', '05-Mars', '06-Mars', '07-Mars', '08-Mars', '09-Mars', '10-Mars', '11-Mars', '12-Mars', '13-Mars', '14-Mars', '15-Mars', '03-Avril', '10-Avril']
nb_c = [177, 183, 191, 191, 191, 191, 191]
dat_c = ['12-Mars', '13-Mars', '14-Mars', '15-Mars', '18-Mars', '31-Mars', '07-Avril']
nb_d = [134, 134, 134]
dat_d = ['14-Mars', '15-Mars', '18-Mars']
dat_tot = list(set().union(dat_a,dat_b,dat_c,dat_d))
print(dat_tot)
 
def creer_dico(liste_dat,liste_nb):
    dico = OrderedDict()
    for i in range(len(liste_dat)):
        dico[liste_dat[i]] = liste_nb[i]
    return dico
 
 
dico_a = creer_dico(dat_a,nb_a)
dico_b = creer_dico(dat_b,nb_b)
dico_c = creer_dico(dat_c,nb_c)
dico_d = creer_dico(dat_d,nb_d)
 
print(dico_a)
print(dico_b)
print(dico_c)
print(dico_d)

Il va falloir que je me penche sur l'union de ces dictionnaires ordonnées.
Si vous pensez que je fais fausse route, dites-le moi...

26/01/2020, 14h46
wiztricks

Salut,

Je ne sais pas dans quel délire vous êtes parti mais pour "ranger" vos dates par ordre croissant, il faudrait avoir une représentation "cohérente" or ici "14-Mars" < "20-Janvier"...

Ensuite simplifiez et reformulez votre problème!
Vous avez 2 listes de tuples [['a', 1), ('b', 1)] et [['b', 2), ('c', 1)] et vous cherchez à obtenir [ ('a', 1, None), ('b', 1, 2), ('c', None, 2)]

- W
26/01/2020, 17h08
marco056

Citation:

Envoyé par wiztricks

Salut,

Je ne sais pas dans quel délire vous êtes parti mais pour "ranger" vos dates par ordre croissant, il faudrait avoir une représentation "cohérente" or ici "14-Mars" < "20-Janvier"...

Ensuite simplifiez et reformulez votre problème!
Vous avez 2 listes de tuples [['a', 1), ('b', 1)] et [['b', 2), ('c', 1)] et vous cherchez à obtenir [ ('a', 1, None), ('b', 1, 2), ('c', None, 2)]

- W

Je dois être trop fatigué, je reprendrais cela plus tard.
Sinon, mes dates sont bien rangées dans les listes de départ.
Merci quand même.

Voici ce que j'ai fait, cela me paraît bien compliqué...

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
tot=[]
t1,t2 = [('a',1),('b',1)],[('b',2),('c',1)]
for el1,el2 in zip(t1,t2):
    if el1[0] not in tot:
        tot.append(el1[0])
    if el2[0] not in tot:
        tot.append(el2[0])
 
print(tot)
 
liste_finale=[[el,None,None] for el in tot]
print(liste_finale)
for j in range(len(tot)):
    for i in range(len(t1)):
        if t1[i][0] == liste_finale[j][0]:
            liste_finale[j][1] = t1[i][1]
    for k in range(len(t2)):
        if t2[k][0] == liste_finale[j][0]:
            liste_finale[j][2] = t2[k][1]
print(liste_finale)

Citation:

Envoyé par marco056

Voici ce que j'ai fait, cela me paraît bien compliqué...

Le plus simple est d'utiliser les dictionnaires:

Code:

1
2
3
4
5
6
7
8
t1,t2 = [('a',1),('c',1)],[('b',2),('c',2), ('e', 2)]
table = {}
fichiers = t1, t2
for k, f in enumerate(fichiers):
    for d, v in f:
        table.setdefault(d, [None,] * len(fichiers))[k] = v
items = sorted(table.items(), key=lambda z: z[0])
print(items)

Après, en supposant que les listes soient "rangées", c'est plus compliqué (d'en profiter):

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
t1,t2 = [('a',1),('c',1)],[('b',2),('c',2), ('e', 2)]
table = []
fichiers = t1, t2
for d, v in fichiers[0]:
    table.append([d, v] + [None, ]*(len(fichiers)-1))
for k, f in enumerate(fichiers[1:], start=2):
    ix = 0
    for d, v in f:
        for i, e in enumerate(table[ix:]):
            if e[0] >= d:
                ix += i
                if e[0] > d:
                    ix += 1
                    table.insert(ix, [d] + ([None,] * len(fichiers)))
                break
        else:
            ix = len(table)
            table.append([d] + ([None,] * len(fichiers)))
        table[ix][k] = v
print (table)

çà devrait fonctionner (et pardon pour les bugs, ce fut mollement testé).

- W

Merci wiztricks, je vais creuser tes solutions.
En attendant, j'ai fait un truc qui me semble à peu près correct.
Mais... il faut que j'ordonne les dates.
J'ai tenté avec sort et key mais cela ne fonctionne pas.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
nb_a = [0, 5, 5, 11, 13]
dat_a = ['22-Janvier', '23-Janvier', '24-Janvier', '25-Janvier', '26-Janvier']
nb_b = [11, 27, 33, 34, 37, 41, 44, 44, 46, 50, 51, 51, 53, 57, 58, 59, 66, 68, 69, 71, 74, 76, 79, 83, 87, 89, 90, 90, 91, 96, 99, 102, 107, 109, 122, 133, 141, 148, 155, 157, 161, 163, 170, 174, 176, 180, 186, 186, 186]
dat_b = ['24-Janvier', '27-Janvier', '28-Janvier', '29-Janvier', '30-Janvier', '31-Janvier', '01-Février', '02-Février', '03-Février', '04-Février', '05-Février', '06-Février', '07-Février', '08-Février', '09-Février', '10-Février', '12-Février', '13-Février', '14-Février', '15-Février', '16-Février', '17-Février', '18-Février', '19-Février', '20-Février', '21-Février', '22-Février', '23-Février', '24-Février', '25-Février', '26-Février', '27-Février', '28-Février', '01-Mars', '03-Mars', '04-Mars', '05-Mars', '06-Mars', '07-Mars', '08-Mars', '09-Mars', '10-Mars', '11-Mars', '12-Mars', '13-Mars', '14-Mars', '15-Mars', '03-Avril', '10-Avril']
nb_c = [177, 183, 191, 191, 191, 191, 191]
dat_c = ['12-Mars', '13-Mars', '14-Mars', '15-Mars', '18-Mars', '31-Mars', '07-Avril']
nb_d = [134, 134, 134]
dat_d = ['14-Mars', '15-Mars', '18-Mars']
 
tot=[]
for el1 in dat_a:
    if el1 not in tot:
        tot.append(el1)
for el2 in dat_b:
    if el2 not in tot:
        tot.append(el2)
for el3 in dat_c:
    if el3 not in tot:
        tot.append(el3)
for el4 in dat_d:
    if el4 not in tot:
        tot.append(el4)
 
print(tot)
 
tot_split=[el.split("-") for el in tot]
print(tot_split)
months = {"Janvier":0, "Février":1, "Mars":2, "Avril":3 }
def val_mois(date):
    return months[date[1]]
print(tot_split.sort(key=val_mois))

Edit : déjà, j'ai beaucoup de mal avec ton premier code :mur:

26/01/2020, 22h07
wiztricks

Salut,

Ligne 31, tot_split.sort(...) retourne None... mais trie la liste en fonction de ce que retourne val_mois qui est insuffisant car çà ne tient pas compte du jour dans le mois.

Citation:

Envoyé par marco056

Edit : déjà, j'ai beaucoup de mal avec ton premier code :mur:

Désolé... je l'ai mis à jour. Il est beaucoup plus simple avec .setdefault (et sans construire le dico à part).

- W

Merci wiztricks, cela fonctionne bien. J'obtiens la même chose qu'avec mon usine à gaz :

Code:

[('01-Février', [None, None, 44, None]), ('01-Mars', [None, None, 109, None]), ('02-Février', [None, None, 44, None]), ('03-Avril', [None, None, 186, None]), ('03-Février', [None, None, 46, None]), ('03-Mars', [None, None, 122, None]), ('04-Février', [None, None, 50, None]), ('04-Mars', [None, None, 133, None]), ('05-Février', [None, None, 51, None]), ('05-Mars', [None, None, 141, None]), ('06-Février', [None, None, 51, None]), ('06-Mars', [None, None, 148, None]), ('07-Avril', [None, 191, None, None]), ('07-Février', [None, None, 53, None]), ('07-Mars', [None, None, 155, None]), ('08-Février', [None, None, 57, None]), ('08-Mars', [None, None, 157, None]), ('09-Février', [None, None, 58, None]), ('09-Mars', [None, None, 161, None]), ('10-Avril', [None, None, 186, None]), ('10-Février', [None, None, 59, None]), ('10-Mars', [None, None, 163, None]), ('11-Mars', [None, None, 170, None]), ('12-Février', [None, None, 66, None]), ('12-Mars', [None, 177, 174, None]), ('13-Février', [None, None, 68, None]), ('13-Mars', [None, 183, 176, None]), ('14-Février', [None, None, 69, None]), ('14-Mars', [134, 191, 180, None]), ('15-Février', [None, None, 71, None]), ('15-Mars', [134, 191, 186, None]), ('16-Février', [None, None, 74, None]), ('17-Février', [None, None, 76, None]), ('18-Février', [None, None, 79, None]), ('18-Mars', [134, 191, None, None]), ('19-Février', [None, None, 83, None]), ('20-Février', [None, None, 87, None]), ('21-Février', [None, None, 89, None]), ('22-Février', [None, None, 90, None]), ('22-Janvier', [None, None, None, 0]), ('23-Février', [None, None, 90, None]), ('23-Janvier', [None, None, None, 5]), ('24-Février', [None, None, 91, None]), ('24-Janvier', [None, None, 11, 5]), ('25-Février', [None, None, 96, None]), ('25-Janvier', [None, None, None, 11]), ('26-Février', [None, None, 99, None]), ('26-Janvier', [None, None, None, 13]), ('27-Février', [None, None, 102, None]), ('27-Janvier', [None, None, 27, None]), ('28-Février', [None, None, 107, None]), ('28-Janvier', [None, None, 33, None]), ('29-Janvier', [None, None, 34, None]), ('30-Janvier', [None, None, 37, None]), ('31-Janvier', [None, None, 41, None]), ('31-Mars', [None, 191, None, None])]

Cela fait un code en effet très compact et efficace :
Code:

1 2 3 4 5 6 7 8 9 10 11 12 data_2020 = [(el1,el2) for el1,el2 in zip(new_date_2020,voeux_cpge_2020)] data_2019 = [(el1,el2) for el1,el2 in zip(new_date_2019,voeux_cpge_2019)] data_2018 = [(el1,el2) for el1,el2 in zip(new_date_2018,voeux_cpge_2018)] data_2017 = [(el1,el2) for el1,el2 in zip(new_date_2017,voeux_cpge_2017)] table = {} fichiers = data_2017,data_2018,data_2019,data_2020 for k, f in enumerate(fichiers): for d, v in f: table.setdefault(d, [None,] * len(fichiers))[k] = v items = sorted(table.items(), key=lambda z: z[0]) print(items)
Cependant, je rencontre le même problème, à savoir le classement par dates croissantes, sachant que je vais de janvier à avril.
J'ai bien compris qu'il me manquait quelque chose mais j'ai beau faire des recherches, je ne vois pas.

27/01/2020, 08h14
wiztricks

Salut,

Citation:

Envoyé par marco056

J'ai bien compris qu'il me manquait quelque chose mais j'ai beau faire des recherches, je ne vois pas.

Je ne vois pas trop ce que vous cherchez.
Commencez par réfléchir à ce que vous voulez!

Pour trier suivant des dates croissantes, il fabriquer une fonction qui, récupérant la chaine de caractères "09-Février", retournera le tuple (1, 9) où le premier élément sera le n°du mois et le second, l'entier correspondant au jour (ou seulement la chaine de caractères "01" si vous êtes sûr que les jours sont bien tous représentés sur 2 caractères).

Ce qui ne devrait pas être si compliqué à coder.

- W
27/01/2020, 09h52
marco056

La fonction n'est pas difficile en effet, c'est plutôt le tri avec cette fonction qui me pose problème. Je vais y réfléchir encore.
27/01/2020, 10h05
wiztricks

Citation:

Envoyé par marco056

La fonction n'est pas difficile en effet, c'est plutôt le tri avec cette fonction qui me pose problème. Je vais y réfléchir encore.

Code:

items = sorted(table.items(), key=lambda z: f(z[0]))

ou

Code:

items = sorted(table.items(), key=f)

dans ce cas, f reçoit toute la "ligne"/item et ne travaille que sur le premier élément.

- W
27/01/2020, 16h55
marco056

Merci beaucoup wiztricks.
J'ai toujours du mal avec les structures un peu élaborées, je n'utilise quotidiennement que les bases.
Sorted, c'est une fois par an...

je débarque un peu à la bourre mais si des fois ce peut être utile, pandas gère particulièrement bien les séries temporelles :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
import pandas as pd
import locale
locale.setlocale(locale.LC_TIME, "fr_FR")
 
# je reprends les données plus haut
# j'ajoute juste un '13-Mars' dans dat_a qui chevauche dans dat_b avec une valeur aberrante/bien visible
nb_a = [0, 5, 5, 11, 13, 10000]
dat_a = ['22-Janvier', '23-Janvier', '24-Janvier', '25-Janvier', '26-Janvier', '13-Mars']
nb_c = [177, 183, 191, 191, 191, 191, 191]
dat_c = ['12-Mars', '13-Mars', '14-Mars', '15-Mars', '18-Mars', '31-Mars', '07-Avril']
 
# on concatène un '-2020', ça mange pas de pain et ça évite de se retrouver en 1900
dat_a = list(map(lambda x: x+'-2020', dat_a))
dat_c = list(map(lambda x: x+'-2020', dat_c))
 
# on fourre le tout dans un dataframe avec dat_a/nb_a
df1 = pd.DataFrame.from_dict(dict(zip(dat_a, nb_a)), orient='index', columns=['nb'])
df1.index = pd.to_datetime(df1.index, format='%d-%B-%Y')
 
# idem pour dat_c/nb_c
df2 = pd.DataFrame.from_dict(dict(zip(dat_c, nb_c)), orient='index', columns=['nb'])
df2.index = pd.to_datetime(df2.index, format='%d-%B-%Y')
 
# on combine les deux, on re-cast en int et on récupère l'affichage initial de la date en 'jour-mois' pour que ce soit joli tout plein
df = df1.combine(df2, lambda x1,x2: x1+x2, fill_value=0)
df.nb = df.nb.astype(int)
df.index = df.index.strftime('%d-%B')
 
# vers CSV
print(df.to_csv(header=False, sep=','))

Code:

1
2
3
4
5
6
7
8
9
10
11
12
22-janvier,0
23-janvier,5
24-janvier,5
25-janvier,11
26-janvier,13
12-mars,177
13-mars,10183    # x1+x2
14-mars,191
15-mars,191
18-mars,191
31-mars,191
07-avril,191

28/01/2020, 23h47
marco056

Merci BufferBob,
Je me pencherai sur ta solution.
Pour l'instant, cela fonctionne, je ne touche à rien :)