Discussion :

[Siramane]

Bonjour les amis,

J'espère que tout le monde se porte bien.

J'ai un problème que je souhaite résoudre pour finaliser la construction de la base de donnée de mon mémoire de maîtrise.

Je vous explique ce que j'essai de faire car le titre n'est pas assez claire :

Voici à quoi ressemble une partie de ma base de données actuelle pour un usager(ID) ayant consommé pendant les 18 périodes (de avril 2015 à septembre 2016) :





Maintenant, il se peut que j'ai des usagers dans ma base de données qui n'ont pas consommés dans certains mois pour les 18 périodes. Donc il n'y aura pas d'observations (lignes) pour ces mois.
Dans l'exemple ci-dessous, l'usager YYY n'a pas consommer pendant 3 périodes ( le mois d'avril 2015, le mois juin 2015 et le mois juin 2016 ) :





Ce que j'aimerais faire pour cet usager qui n'a pas consommé pendant ces 3 périodes, c'est de dupliquer ces informations avec les trois nouvelles dates et mettre sa consommation à 0 (voir en image ce que je veux faire) :




J'ai la consommation de près de 50 000 usagers et je ne sais pas comment faire cela au plus vite pour tous ceux qui n'ont pas eu de consommation.
Je devrais avoir pour chaque usagers 18 lignes.

Surtout que je suis débutant en R.

Merci d'avance pour votre aide.

[xavier-Pierre]

bonjour ,essaye si il n'y a pas de bugs

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 
## j'ai nommé ton tableau de données df1
##periodes <- tibble(periode = c('2015-04-01','2015-05-01','2015-06-01',...))# dataframe contenant tes 18 périodes
 
ajouter <- function(id,df,periodes){
  df_id <- df %>% filter(iu_usager == id)  ## filtre avec identitiant
  autres_colonnes <- df %>% select(-1,-2,-3)%>% distinct() ## selection des valeurs des autres colonnes pour ajout ultérieur
  periodes_manquantes <- periodes %>% anti_join(df_id ,by= c('periode' = "date" ) ) ## on sélectionne les dates manquantes
   ajout <- map_df(periodes_manquantes,~(tibble(iu_usager = id,date = .x,cons_heure_mois = 0) %>% bind_cols(autres_colonnes))) ## on crée les lignes à ajouter
 
   df_id %>% bind_rows(ajout) ## on les rajoute au lignes déjà existantes
 
}
 
df2 <- map_df(unique(df1$iu_usager),ajouter,df = df1 ,periodes =periodes) ## creation du fichier demandé

cdlt

[Siramane]

Merci beaucoup xavier-Pierre,

J'ai essayé ton code.

J'ai eu cette première erreur :



Ensuite j'ai eu le réflexe de vérifier la classe de la colonne periode de la dataframe contenant les 18 périodes.
Elle était de type "character". J'ai donne changé pour "Date".

Code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
 
## j'ai nommé ton tableau de données df1
periodes <- tibble(periode = c('2015-04-01','2015-05-01','2015-06-01','2015-07-01','2015-08-01','2015-09-01',
                               '2015-10-01','2015-11-01','2015-12-01','2016-01-01','2016-02-01','2016-03-01',
                               '2016-04-01','2016-05-01','2016-06-01','2016-07-01','2016-08-01','2016-09-01'))# dataframe contenant tes 18 périodes
 
 
 
class (periodes$periode)
periodes$periode = as.Date(periodes$periode,format="%Y-%m-%d")
class (periodes$periode)

J'ai ensuite essayer à nouveau le code. Mais j'ai cette nouvelle erreur :






Je t'ajoute tous le code modifier et j'essai de voir c'est quoi le problème.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
 
df1 = CONSO_AVANT_TRAITEMENT
 
## j'ai nommé ton tableau de données df1
periodes <- tibble(periode = c('2015-04-01','2015-05-01','2015-06-01','2015-07-01','2015-08-01','2015-09-01',
                               '2015-10-01','2015-11-01','2015-12-01','2016-01-01','2016-02-01','2016-03-01',
                               '2016-04-01','2016-05-01','2016-06-01','2016-07-01','2016-08-01','2016-09-01'))# dataframe contenant tes 18 périodes
 
 
class (periodes$periode)
periodes$periode = as.Date(periodes$periode,format="%Y-%m-%d")
class (periodes$periode)
 
 
ajouter <- function(id,df,periodes){
  df_id <- df %>% filter(IU_USAGER == id)  ## filtre avec identitiant
  autres_colonnes <- df %>% select(-1,-2,-3)%>% distinct() ## selection des valeurs des autres colonnes pour ajout ultérieur
  periodes_manquantes <- periodes %>% anti_join(df_id ,by= c('periode' = "date" ) ) ## on sélectionne les dates manquantes
  ajout <- map_df(periodes_manquantes,~(tibble(IU_USAGER = id,date = .x,CONS_HEURES_MOIS = 0) %>% bind_cols(autres_colonnes))) ## on crée les lignes à ajouter
 
  df_id %>% bind_rows(ajout) ## on les rajoute au lignes déjà existantes
 
}
 
 
df2 <- map_df(unique(df1$IU_USAGER),ajouter,df = df1 ,periodes = periodes) ## creation du fichier demandé

Pour ton information au cas ou cela impact ton code, ma base de données contient au total 21 colonne (y compris l'ID de l'usager).

Merci beaucoup Pierre!

[xavier-Pierre]

tu peux envoyer ton fichier ou 1 extrait?

[Siramane]

Allo Pierre,

Une copie de la base de données ??

Ci-joint un fichier avec l'usager qui n'a pas consommer pensant les trois périodes.
Vu que les info sont très confidentiel, j'ai inventer certaines information, mais la structure de la base de donnée reste inchangée.

Est-ce que c'est correct ?

[xavier-Pierre]

ok j'ai compris
dans la fonction ajouter le probleme est au niveau de l'instruction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

autres_colonnes <- df %>% select(-1,-2,-3)%>% distinct()

j'avais considéré que toutes les autres colonnes avais des valeurs identiques pour un identifiant, mais ce n'est pas le cas , les valeurs des colonnes Date_naissance et Periode sont différentes,
donc il te faut définir des régles de remplacements pour ces 2 colonnes

[Siramane]

On peut ne pas considerer ces colonnes.
Je vais les supprimer avant d'appliquer ta fonction ?

Je vais les ajouter après avoir construire la base de données, à la toute fin!

Peux-tu m'aider à y arriver juste sans ces colonnes que tu considères problématique.

Merci !

[Siramane]

Allo,

J'ai mal compris ton message.

En fait la date de naissance est identique pour un usager.
Je n'ai pas fait attention quand j'ai modifier la date de naissance et copier.



Mais comme j'ai dit, tu peux te passer de la date de naissance et de la colonne période.
Je vais l'ai ajouter après l'application de ton code.


Merci beaucoup !

[xavier-Pierre]

donc si la date de naissance est identique et que tu supprime la colonne periode avant l'execution de la fonction , cela devrait être bon

[Siramane]

J'ai supprimer la colonne "Periode" dans ma BD avant, mais j'ai toujours la même erreur.

J'ai même supprimer la date de naissance aussi mais pareil.

[xavier-Pierre]

dans la fonction ajouter mets en première instruction print(id), relance le script et regarde les lignes qui correspondent à l'identifiant où il y a l'erreur voir si toutes les valeurs des colonnes soient identiques

[xavier-Pierre]

ok j'a i trouvé j'avais faits 2 erreurs
voici la fonction ajouter corrigée (enfin je l'espère...)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
ajouter <- function(id,df,periodes){
  df_id <- df %>% filter(IU_USAGER == id) 
  autres_colonnes <- df_id %>% select(-1,-2,-3)%>% distinct()
  periodes_manquantes <- periodes %>% anti_join(df_id ,by= c('periode' = "date" ) )
   ajout <- map_df(periodes_manquantes$periode,~tibble(IU_USAGER = id,date = .x,CONS_HEURES_MOIS =0) %>% bind_cols(autres_colonnes)) 
  
   df_id %>% bind_rows(ajout)
  
}

cldt

[Siramane]

Je croise les doigts.

Je te reviens tantôt !

[Siramane]

Allo Pierre,

Je viens d'exécuter, ça fait 20 min ça tourne.
J'attend le résultat.

Au moins cette fois je n'ai pas eu de message d'erreur.
Je t'écris dès que j'ai le résultat

[Siramane]

NICKELLLLL

Ça à l'ère de fonctionner.




Je fais quelques vérifications....

Mais je mets déjà résolu.


MERCI POUR TOUT PIERRE !