Discussion :

[Fallis]

Bonjour à tous,

Je démarre un projet pour apprendre le python et pour le fun. J'ai malheureusement quelques soucis avec le partage de ressource entre les processus.

Le projet se présente comme cela: utilisation de librairie de traitement d'image soit: Pillow (PIL pour python 3.X), OpenCV, et numpy (un peu la base en python j'ai l'impression).

Le but et d'avoir un processus qui acquière des images avec Pillow et qui les envoit à OpenCV pour divers traitement. (Les deux processus tourne pendant un certain temps en simultané)

D'après mes recherches numpy et parfaitement adapter au multiprocessing et est compatible avec ces deux librairie. Seulement je n'y arrive pas personnellement et le site officiel ne m'aide pas.
Sur le site officiel plusieurs méthodes sont présentées et déjà je ne sais pas laquelle est la mieux dans mon cas (si vous avez des indications ).
Ensuite j'ai l'impression que les tableaux numpy ne fonctionne pas de la même façon que ce qui est mis sur le site officiel pour le partage .

Sinon je pars sur du multiprocessing aux vues des informations que j'ai lues. Mais peut être que j'ai mal compris et que du multithreading serait adapté dans le cadre de mon projet malgrès le GIL.
(je cherche un gain de performance, je ne fais pas cela uniquement pour le fun et les connaissances ).

Il me semble avoir fait le tour de tout, exemples, conseil ou autre sont les bienvenues.

[Fallis]

Ok je pense que je n'ai pas été assez clair.

Je vous propose donc une base de code que j’essaie de faire fonctionner:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
def processscreen(queuescreen):
    # add while later
    process = ScreenManager()                            # my pillow class
    listscreen = process.capture()                       # numpy.array 900 * 600
    queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try
 
 
def processinformations(queuescreen):
    # add while later
    process = InformationManager()                       # my opencv class
    # don't know if try catch is useful here just one thing i add during my try
    try:
        process.screen_array = queuescreen.get()
    except Exception as err:
        # just a print
        settings.out(settings.ERROR, settings.ERROR, 'processinformations get listscreen : ' + str(err))
    # after here some work with InformationManager()
 
 
if __name__ == '__main__':
    queuescreen = Queue()
    s = multiprocessing.Process(target=processscreen, args=(queuescreen,))
    i = multiprocessing.Process(target=processinformations, args=(queuescreen,))
 
    i.start()
    s.start()
 
    i.join()
    s.join()

[wiztricks]

Salut,

Et l'instruction:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

         queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try

ne fonctionne pas?
note: si vous postez du code qu'on ne peut pas faire tourner sans indiquer les problèmes/erreurs rencontrées, ... que voulez vous qu'on fasse?

- W

[Fallis]

Je ne l'ai pas précisé mais la communication entre les classes ne pose pas de soucis en mode monoprocess.

Effectivement l'instruction suivante ne fonctionne pas:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

         queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try

Les erreur retourner par python:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
Process Process-1:
Traceback (most recent call last):
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 254, in _bootstrap
    self.run()
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 93, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\Ved\PythonProjects\Video\Manager\execution.py", line 21, in processscreen
    queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\queues.py", line 82, in put
    if not self._sem.acquire(block, timeout):
TypeError: only length-1 arrays can be converted to Python scalars

[wiztricks]

Je ne l'ai pas précisé mais la communication entre les classes ne pose pas de soucis en mode monoprocess.

Et çà communique via Queue?

Effectivement l'instruction suivante ne fonctionne pas:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

         queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try

Les erreur retourner par python:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
Process Process-1:
Traceback (most recent call last):
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 254, in _bootstrap
    self.run()
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 93, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\Ved\PythonProjects\Video\Manager\execution.py", line 21, in processscreen
    queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\queues.py", line 82, in put
    if not self._sem.acquire(block, timeout):
TypeError: only length-1 arrays can be converted to Python scalars

Ben là je ne peux rien pour vous car je ne comprends pas trop ce que vous attendez en passant 2 paramètres (c'est vous qui les avez mis...): le 2ème paramètre de Queue.put est un sémaphore (optionel), c'est pas n'importe quoi.

- W