Discussion :

[zertupo]

bonjour à tous

je fais un code où je fais une boucle pour vérifier tous les fichiers csv d'un répertoire, et s'il répond à une condition, il doit calculer la corrélation de deux colonnes à l'intérieur... oui mais voilà quand je lance, il me sort toujours que mon vecteur est null.... je pense que ça vient de ma condition, peut être elle me fait sortir de ma boucle je sais pas... parce que je trouve le temps de traitement trés court...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
corr<-function(directory,threshold=0){
 
  liaison<- list.files(directory,full.names = TRUE)
  resultat<-data.frame()
  for (i in 332){
    ouvert<- read.csv(liaison[i])
    x<-complete.cases(ouvert)
    donnee<-ouvert[x,]
 
    nombre<-nrow(donnee)
 
      if (nombre>threshold){
 
          correlationu<-cor(donnee[,2],donnee[,3])
          resultat<-cbind(resultat,correlationu)
      }
  }
  resultat
 
}

merci pour votre aide

[mgdondon]

Bonjour,

Je vous conseille de procéder pas à pas sur un fichier, puis ajout de la boucle, puis ajout de la fonction. Vous identifierez plus facilement les erreurs.

Cordialement,

[zertupo]

Oui merci, je procède comme ça maintenant, et du coup j'ai un peu modifié mon code pour enlever la condition

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
corr<-function(directory,threshold=0){
  extract<-complete(directory)
  sub_extract<-extract[which(extract[,2]>threshold),]
  #liste<-vector(sub_extract[1])
  resultat<-vector()
 
  liaison<- list.files(directory,full.names = TRUE)
 
  for (i in sub_extract[1]){
      ouvert<- read.csv(liaison[i])
      x<-complete.cases(ouvert)
      donnee<-ouvert[x,]
 
          resultat[i]<-cor(donnee[,2],donnee[,3])
  }
  resultat
 
 
}

mais il ne veut pas lire mon énorme vecteur et le parcourir, enfin srtout le parcourir, il me sort
Error in file(file, "rt") : invalid 'description' argument

savez vous à quoi ça correspond je ne trouve pas pour l'instant

[mgdondon]

Bonjour,

Je n'ai pas pu exécuter votre programme (fonction complete() non définie). Pensez à indiquer les packages utilisés.

Error in file(file, "rt") : invalid 'description' argument

Ce message signifie qu'il y a un problème d'accès aux fichiers. Vérifiez le contenu de la variable liaison.

Cordialement,

[zertupo]

ha oui désolé pour la fonction complete()

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
complete<-function(directory,id=1:332){
 
  liaison<- list.files(directory,full.names = TRUE)
  colo<-c("id","nobs")
  nb<-c(id)
  fichier<-data.frame()
 
  for (i in nb) {
    ouvert<- read.csv(liaison[i])
    x<-complete.cases(ouvert)
    y<-ouvert[x,]
 
    inter<-c(i,nrow(y))
    fichier<-rbind(fichier,inter)
  }
  fichier
 
}

cette fonction a pour but de parcourir les fichiers et d'indiquer le nombre de données complete à l'intérieur (parce qu'il y a beaucoup de NA parfois) et donc de les répertorier dans un tableau avec le nom du fichier correspondant ( les noms sont faciles, ce sont des numéros dans l'ordre ^^).
Ha je n'arrive pas à donnée un nom à mes colonnes de cette dataframe, comme vous le voyez j'ai créé mon vecteur colo mais j'ai renoncé à l'utiliser...

et donc du coup, mon autre fonction corr, utilise celle ci pour le répertoire, et j'aimerai qu'elle me calcule les corrélation entre les deux colonnes de chaque fichier, de tous les fichiers qui contiennent plus de x données complètes...
mon vecteur sub_extract fonctionne et ma liaison aussi si je l'utilise seul... peut être il y a trop de répétition je sais pas...

[mgdondon]

Bonjour,

Pensez à imprimer des résultats intermédiaires pour tracer votre programme. Je trouve plus lisible de le faire en dehors de la fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
>   directory<-"D:/temp"
>   threshold<-0
>   extract<-complete(directory,id=1:2)
>   sub_extract<-extract[which(extract[,2]>threshold),]
>   print(sub_extract)
  X1L X19L
1   1   19
2   2   19
>   #liste<-vector(sub_extract[1])
>   resultat<-vector()
>  
>   liaison<- list.files(directory,full.names = TRUE)
>   print(liaison)
[1] "D:/temp/test1.csv" "D:/temp/test2.csv"
>  
>   for (i in sub_extract[1]){
+       print(liaison[i])
+       ouvert<- read.csv(liaison[i])
+       x<-complete.cases(ouvert)
+       donnee<-ouvert[x,]
+       resultat[i]<-cor(donnee[,2],donnee[,3])
+   }
[1] "D:/temp/test1.csv" "D:/temp/test2.csv"
Error in file(file, "rt") : invalid 'description' argument

La fonction read.csv() reçoit comme argument la chaîne de caractères "D:/temp/test1.csv" "D:/temp/test2.csv", ce qui explique votre message d'erreur. Revoyez les indices de votre boucle.

Cordialement,

[zertupo]

Ha oui merci, super astuce !! j'ai compris d'où venait le problème... mais comme toujours, un problème ne survient jamais seul... J'ai bien corrigé mon erreur comme suit, à fin de prendre chaque numéro séparément et non pas tout d'un coup :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
 
corr<-function(directory,threshold=0){
  extract<-complete(directory)
  sub_extract<-extract[which(extract[,2]>threshold),]
 
  liaison<- list.files(directory,full.names = TRUE)
 
 
  liste<-vector()
  nb<-nrow(sub_extract)
  resultat<-vector()
 
  for (i in nb){
    liste[i]<-sub_extract[i,1]
    isol<-liste[i]
    #print(liaison[isol]) 
    ouvert<- read.csv(liaison[isol])
    x<-complete.cases(ouvert)
    donnee<-ouvert[x,]
    lool<-c(cor(donnee[,2],donnee[,3]))
    resultat<-rbind(resultat,lool)
 
 
  }
 
  resultat
}

Maintenant le problème vient du fait que les résultats ne s'assemblent pas et juste le dernier ressort... J'ai essayé en mettant resultat[i] mais il me sort des NA jusqu'à la dernière valeur... et il fait pareil qu'importe le nombre de nb...

[mgdondon]

Bonjour,

Ajoutez un print(i) en début de boucle, vous comprendrez.

Cordialement,

[zertupo]

HA ben oui c'est pas un vecteur.... j'ai encore la logique vba i=0 to dans ma tête... Merci beaucoup en tout cas pour votre temps