Problème avec le module multiprocessing

Bonjour,

Je réalise un projet de machine learning dans lequel j’emploie des forêts aléatoires (c'est un modèle d'apprentissage automatique). Pour accélérer mon programme, puisque la création d'arbre décisionnel peut totalement se faire en parallèle j'ai essayé d'employer le module multiprocessing.
Cependant lorsque je fais tourner ma fonction les messages d'erreur suivant apparaissent :

Citation:

---

ModuleNotFoundError: No module named 'ForetClasse'
BrokenPipeError: [Errno 32] Broken pipe

---

J'ai un fichier ForetClasse.py dans lequel se trouve mes fonctions et voici le code qui est censé exécuter ces fonctions dans plusieurs processus :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19

from os import chdir from multiprocessing import Process, Queue import time chdir('C:\\Users\\rauli\\Desktop\\TIPE') import ForetClasse   def ForetMultiprocess(data, Num_process, population, profondeur, taillemin, arg): if __name__ == '__main__': q = Queue() start_time = time.time() foret= [] echantillons = ForetClasse.bagging(data,population) n = len(echantillons) for k in range(Num_process): process = Process(target = ForetClasse.jardinage, args =(q, echantillons[k*n//Num_process:(k+1)*n//Num_process], 20, 5, 2)) process.start() while q.qsize()<population: time.sleep(2) return q

---

J'ai pourtant bien spécifié l'accès à mon fichier, et j'ai aussi inscrit if __name__ == '__main__' (bien que je n'ai pas compris à quoi cela sert concrètement)
Je pourrais vous donner mon fichier ForetClasse.py si vous voulez, mais je doute que l'erreur provienne du fichier d'après les messages d'erreur.

Merci beaucoup de votre aide

Salut,

Ton message d'erreur ne vient pas de l'import. Ce devrait être ImportError dans ce cas.

Il faut donc donner le traceback complet de l'erreur qui contient le numéro de ligne incriminée.

Autres remarques:

Code:

---

chdir('C:\\Users\\rauli\\Desktop\\TIPE')

---

ceci me semble une fausse bonne idée.

Et ici:

Code:

---

1 2	echantillons = ForetClasse.bagging(data,population)

---

tu ne dois pas instancier ta classe ForetClasse d'abord ? Pas obligé mais j'invite à la réflexion.

Et encore:

Code:

---

1 2	process = Process(target = ForetClasse.jardinage, args =(...

---

s'agit-il toujours de ton ForetClasse.py ? Si oui, Que veux-tu réellement faire ?
Fort possible que ce soit d'ailleurs la cause de ton message d'erreur.

Salut,

Citation:

---

Envoyé par Wyxau

J'ai pourtant bien spécifié l'accès à mon fichier, et j'ai aussi inscrit if __name__ == '__main__' (bien que je n'ai pas compris à quoi cela sert concrètement)

---

__name__ retourne le nom du module courant.
S'il est '__main__', c'est que c'est le script principal.

Comme vous effectuez le chdir juste avant l'import, on peut supposer que c'est dans ce répertoire là qu'il faut chercher le script/module à importer.
Hélas, c'est pas comme çà que çà fonctionne: chdir change le répertoire du processus courant et les imports se font toujours relativement au répertoire du script principal.

Chose que vous auriez pu tester facilement en quelques lignes de code, sans faire un sac de nœuds avec le multiprocessing par dessus, histoire de ne plus savoir où donner de la tête.

Et si la question est comment importer des module qui sont "ailleurs", cherchez PYTHONPATH sur Internet ou dans la documentation.

- W

Merci pour vos deux réponses,

Voici déja le message complet d'erreur :

Citation:

---

Traceback (most recent call last):
File "<string>", line 1, in <module>
File "c:\users\rauli\anaconda3\lib\multiprocessing\spawn.py", line 105, in spawn_main
exitcode = _main(fd)
File "c:\users\rauli\anaconda3\lib\multiprocessing\spawn.py", line 115, in _main
self = reduction.pickle.load(from_parent)
ModuleNotFoundError: No module named 'ForetClasse'
Traceback (most recent call last):
File "<console>", line 1, in <module>
File "C:\Users\rauli\Desktop\TIPE\temporaire.py", line 16, in ForetMultiprocess
process.start()
File "c:\users\rauli\anaconda3\lib\multiprocessing\process.py", line 112, in start
self._popen = self._Popen(self)
File "c:\users\rauli\anaconda3\lib\multiprocessing\context.py", line 223, in _Popen
return _default_context.get_context().Process._Popen(process_obj)
File "c:\users\rauli\anaconda3\lib\multiprocessing\context.py", line 322, in _Popen
return Popen(process_obj)
File "c:\users\rauli\anaconda3\lib\multiprocessing\popen_spawn_win32.py", line 89, in __init__
reduction.dump(process_obj, to_child)
File "c:\users\rauli\anaconda3\lib\multiprocessing\reduction.py", line 60, in dump
ForkingPickler(file, protocol).dump(obj)
BrokenPipeError: [Errno 32] Broken pipe

---

Par ailleurs VinsS, foretClasse n'est pas une classe mais le module que j'importe donc quand la ligne foretClasse.bagging appelle la fonction bagging de mon module foretClasse, et ici :

Code:

---

process = Process(target = ForetClasse.jardinage, args =(q, ...)

---

j'appelle la fonction jardinage de mon module foretClasse, c'est la fonction que je souhaite faire tourner en parallèle dans mes multiples processus.

Citation:

---

Envoyé par VinsS

Autres remarques:

Code:

---

chdir('C:\\Users\\rauli\\Desktop\\TIPE')

---

ceci me semble une fausse bonne idée.

---

Pourquoi ?

Citation:

---

Envoyé par Wyxau

Pourquoi ?

---

Parce que çà fait planter l'import...

- W

Je l'ai remplacé par

Code:

---

1 2	import sys sys.path.insert(0, 'C:\\Users\\rauli\\Desktop\\TIPE')

---

Et effectivement maintenant cela marche, je n'avais juste pas bien compris votre réponse par rapport au chdir.

Merci beaucoup de votre aide