Discussion :

[Jérôme Collet]

Autre test, le parallélisme implémenté dans R.

J'ai essayé le code suivant, qui me paraît idéal pour du parallélisme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
m=18
dimension=6
grosse=array(1,rep(m,dimension))

system.time(somme<-apply(grosse,1,sum))
# verification du resultat
somme==m^(dimension-1)

library(parallel)
detectCores()
cl <- makeCluster(getOption("cl.cores", detectCores())) 
system.time(somme<-parApply(cl,grosse, 1, sum))
somme==m^(dimension-1)
stopCluster(cl)

Résultats :
pas de gain de temps
les petits graphiques d'utilisation des cœurs restent tout plats.

A moins que j'ai fait une grosse erreur d'utilisation (et alors la doc est une peu confusante), c'est pas bon.

[Christophe Genolini]

Bonjour,
Super idée. Je viens de recevoir le livre "Parallel R". Je vais pouvoir tester tout ca...
Christophe

[dleroux]

Pour le parallélisme dans R il vaut mieux regarder du côté de multicore (qui n'existe pas sous windows, seulement sur les systèmes posix), qui utilise de la mémoire partagée pour ne pas dupliquer les données.

Le package parallel comme la plupart des paquets de parallélisation va créer autant de process R que de tâches à accomplir, sérialiser l'environnement nécessaire et le transmettre à chaque sous-process R, pour ensuite récupérer les sorties et tout remettre en ordre dans l'environnement d'origine.

La conséquence est que, si on veut traiter 100Mo de données avec 10 tâches concurrentes, on utilise d'office 1Go de mémoire, et le temps passé à copier les données est conséquent.

Par contre, c'est naturellement fait pour du parallélisme sur cluster. Mais pas tant pour un PC standard.

[Caramorgar]

Pour info, Ricco Rakotomalala (j'ai parlé de lui dans une autre discussion) a parlé de parallel sur son blog : http://tutoriels-data-mining.blogspo...le-sous-r.html
Il y a peu être des éléments qui peuvent vous intéresser dedans ? (et sur son blog en général, il compare souvent les implémentations de divers logiciels de stats)

[maximin n djomon]

Bonjour je souhaiterais avoir un tutoriel ou un livre pour tout le package de versification de modèle de prévision numérique avec R.
enfin avoir un script qui me permettra de m orienter . car je suis un météo et un amateur en développement