Multiprocessing, traitement d'image et numpy

Version imprimable

19/06/2016, 15h33
Fallis

Multiprocessing, traitement d'image et numpy

Bonjour à tous,

Je démarre un projet pour apprendre le python et pour le fun. J'ai malheureusement quelques soucis avec le partage de ressource entre les processus.

Le projet se présente comme cela: utilisation de librairie de traitement d'image soit: Pillow (PIL pour python 3.X), OpenCV, et numpy (un peu la base en python j'ai l'impression).

Le but et d'avoir un processus qui acquière des images avec Pillow et qui les envoit à OpenCV pour divers traitement. (Les deux processus tourne pendant un certain temps en simultané)

D'après mes recherches numpy et parfaitement adapter au multiprocessing et est compatible avec ces deux librairie. Seulement je n'y arrive pas personnellement et le site officiel ne m'aide pas.
Sur le site officiel plusieurs méthodes sont présentées et déjà je ne sais pas laquelle est la mieux dans mon cas (si vous avez des indications :D).
Ensuite j'ai l'impression que les tableaux numpy ne fonctionne pas de la même façon que ce qui est mis sur le site officiel pour le partage :?.

Sinon je pars sur du multiprocessing aux vues des informations que j'ai lues. Mais peut être que j'ai mal compris et que du multithreading serait adapté dans le cadre de mon projet malgrès le GIL.
(je cherche un gain de performance, je ne fais pas cela uniquement pour le fun et les connaissances 8-)).

Il me semble avoir fait le tour de tout, exemples, conseil ou autre sont les bienvenues.

Ok je pense que je n'ai pas été assez clair.

Je vous propose donc une base de code que j’essaie de faire fonctionner:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
def processscreen(queuescreen):
    # add while later
    process = ScreenManager()                            # my pillow class
    listscreen = process.capture()                       # numpy.array 900 * 600
    queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try
 
 
def processinformations(queuescreen):
    # add while later
    process = InformationManager()                       # my opencv class
    # don't know if try catch is useful here just one thing i add during my try
    try:
        process.screen_array = queuescreen.get()
    except Exception as err:
        # just a print
        settings.out(settings.ERROR, settings.ERROR, 'processinformations get listscreen : ' + str(err))
    # after here some work with InformationManager()
 
 
if __name__ == '__main__':
    queuescreen = Queue()
    s = multiprocessing.Process(target=processscreen, args=(queuescreen,))
    i = multiprocessing.Process(target=processinformations, args=(queuescreen,))
 
    i.start()
    s.start()
 
    i.join()
    s.join()

21/06/2016, 14h08
wiztricks

Salut,

Et l'instruction:

Code:

queuescreen.put(540000, np.reshape(listscreen, -1)) # just a try

ne fonctionne pas?
note: si vous postez du code qu'on ne peut pas faire tourner sans indiquer les problèmes/erreurs rencontrées, ... que voulez vous qu'on fasse?

- W

Je ne l'ai pas précisé mais la communication entre les classes ne pose pas de soucis en mode monoprocess.

Effectivement l'instruction suivante ne fonctionne pas:

Code:

queuescreen.put(540000, np.reshape(listscreen, -1)) # just a try

Les erreur retourner par python:

Code:

1
2
3
4
5
6
7
8
9
10
11
Process Process-1:
Traceback (most recent call last):
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 254, in _bootstrap
    self.run()
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 93, in run
    self._target(*self._args, **self._kwargs)
  File "C:\Users\Ved\PythonProjects\Video\Manager\execution.py", line 21, in processscreen
    queuescreen.put(540000, np.reshape(listscreen, -1))  # just a try
  File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\queues.py", line 82, in put
    if not self._sem.acquire(block, timeout):
TypeError: only length-1 arrays can be converted to Python scalars

Citation:

Envoyé par Fallis

Je ne l'ai pas précisé mais la communication entre les classes ne pose pas de soucis en mode monoprocess.

Et çà communique via Queue?
Citation:
Envoyé par Fallis
Effectivement l'instruction suivante ne fonctionne pas:

Code:

queuescreen.put(540000, np.reshape(listscreen, -1)) # just a try

Les erreur retourner par python:
Code:

1 2 3 4 5 6 7 8 9 10 11 Process Process-1: Traceback (most recent call last): File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 254, in _bootstrap self.run() File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\process.py", line 93, in run self._target(*self._args, **self._kwargs) File "C:\Users\Ved\PythonProjects\Video\Manager\execution.py", line 21, in processscreen queuescreen.put(540000, np.reshape(listscreen, -1)) # just a try File "C:\Users\Ved\AppData\Local\Programs\Python\Python35-32\lib\multiprocessing\queues.py", line 82, in put if not self._sem.acquire(block, timeout): TypeError: only length-1 arrays can be converted to Python scalars
Ben là je ne peux rien pour vous car je ne comprends pas trop ce que vous attendez en passant 2 paramètres (c'est vous qui les avez mis...): le 2ème paramètre de Queue.put est un sémaphore (optionel), c'est pas n'importe quoi.

- W