Probleme avec doMC (calcul sur plusieurs cores)

Bonjour,

Je commence à me pencher sur la parallélisation de calcul sur plusieurs cores.

L'exemple suivant marche très bien.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

library(doMC) registerDoMC()   x <- iris[which(iris[, 5] != "setosa"), c(1, 5)] trials <- 10000 ptime <- system.time({ r <- foreach(icount(trials), .combine = cbind) %dopar% { ind <- sample(100, 100, replace = TRUE) result1 <- glm(x[ind, 2] ~ x[ind, 1], family = binomial(logit)) coefficients(result1) } })[3] ptime

---

Avec le moteur d'activité je peux voir que les deux cores sont utilisés.
Par contre avec cet autre exemple :

Code:

---

1 2 3 4 5 6 7 8

library(doMC) registerDoMC() trials <- 30000 ptime <- system.time({ x <- foreach(icount(trials)) %dopar% sqrt(i) })[3] ptime

---

Il n'y a qu'un seul core qui travaille . Alors que je voudrais faire travailler les deux.

J'espère que quelqu'un a un peu d'expérience sur ce sujet.

Cordialement.

Bonsoir,
il y a eu une discussion sur le forum à ce sujet: http://www.developpez.net/forums/d10...rice-resultat/

En espérant que cela vous aide un peu...

Bonne continuation :)

Bonjour,

Sur la dernière version de R (2.14), il y a le package parallel dans la distribution de base et notamment la fonction mclapply. Ce n'est pas vraiment du calcul parallèle, plutôt du calcul distribué. Elle s'utilise comme lapply sauf qu'on précise le nombre de coeur à utiliser.

Code:

---

1 2 3 4 5 6 7 8 9 10

library(parallel) ?mclapply   x <- iris[which(iris[, 5] != "setosa"), c(1, 5)] test <- mclapply(1:1000, function() { ind <- sample(100, 100, replace = TRUE) result1 <- glm(x[ind, 2] ~ x[ind, 1], family = binomial(logit)) return(coefficients(result1)) }, mc.cores=4)

---

HTH

Vincent

Bonjour,

Merci pour ces indications. Je vais me pencher sur le package parallel.
Cependant en utilisant directement le code donné

Code:

---

1 2 3 4 5 6 7 8 9 10 11

library(parallel) ?mclapply   x <- iris[which(iris[, 5] != "setosa"), c(1, 5)] test <- mclapply(1:1000, function() { ind <- sample(100, 100, replace = TRUE) result1 <- glm(x[ind, 2] ~ x[ind, 1], family = binomial(logit)) return(coefficients(result1)) }, mc.cores=4)

---

j'ai le message d'erreur suivant

Code:

---

1 2 3 4

Message d'avis : In mclapply(1:1000, function() { : all scheduled cores encountered errors in user code

---

Il manque peut etre quelque chose dans le code. ???

Bonsoir,

Désolé j'ai pas testé le code avant de poster. Il faut juste donner un argument à la fonction dans mclapply et non mettre des parenthèses vides et ça marche.

Vincent

J'ai corrigé le code et maintenant ça marche :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13

library(parallel) ?mclapply   ptime <- system.time({ x <- iris[which(iris[, 5] != "setosa"), c(1, 5)] test <- mclapply(1:10000, function(glm) { ind <- sample(100, 100, replace = TRUE) result1 <- glm(x[ind, 2] ~ x[ind, 1], family = binomial(logit)) return(coefficients(result1)) }, mc.cores=2) })[3] ptime

---

et pour le deuxième exemple (celui qui posait problème) on a :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

library(parallel) ?mclapply i <- 0 ptime <- system.time({ testx <- mclapply(0:100000, function(i) { i <- i+1 result1 <- sqrt(i) return(result1) }, mc.cores=2) })[3] ptime

---

Si vous avez des idées d'améliorations n'hésitez pas.
Cdt