Discussion :

[Grumphette]

Bonjour à tous,

Je suis en train de dev en python, et je me retrouve face à une indécidabilité. Je voudrais contrôler l'affinité des processus que je crée et lance avec la lib "multiprocessing". Y a t'il un moyen avec la lib standard ? sinon j'ai ma solution had-oc mais j'aurais voulu savoir si il était possible sans avoir à se faire des nœuds au cerveau. Il y aurai bien https://pypi.python.org/pypi/affinity/0.1.0 mais est ce considéré comme standard?

Grumphette.

[IPreferCSharp]

Salut,

Je n'ai pas de solution toute faite mais :

J'ai télécharger le module Affinity pour voir, Déjà sur la doc ils disent que c'est compatible python 2 (c'est pas terrible) je pense pas python 3 .
Aussi -> works on windows (requires pywin32) and linux (kernel 2.6 or patched 2.4).
Ce module à été posté en 2006, et depuis plus rien.
En fait ce module utilise un fichier C pour gérer l'affinity, le python est juste un wrapper, du coup je pense que c'est utilisable, mais tu va devoir mettre les mains dans le cambouis. Je te conseil de chercher une solution alternative parce que ça peut-être beaucoup de taf à maintenir/ mètre a niveau.

En cherchant brièvement je suis tombé sur ça -> os.sched_setaffinity(pid, mask) https://docs.python.org/dev/library/...ed_setaffinity

En espérant que ça t'aide un peu

[wiztricks]

Salut,

Je voudrais contrôler l'affinité des processus que je crée et lance avec la lib "multiprocessing". Y a t'il un moyen avec la lib standard ? sinon j'ai ma solution had-oc mais j'aurais voulu savoir si il était possible sans avoir à se faire des nœuds au cerveau. Il y aurai bien https://pypi.python.org/pypi/affinity/0.1.0 mais est ce considéré comme standard

S'il y avait un moyen avec la lib standard, ce serait dans la documentation....
Installer une extension telle que affinity est une méthode "standard" pour ajouter à Python des fonctionnalités qu'il n'a pas. Ceci dit, comme ceux qui ont pondu çà ont eu la mauvaise idée de le coder en C, il va falloir "compiler" - ce qui n'est pas toujours aisé -.

Mais, j'aimerai bien savoir quelles sont les caractéristiques du profil de charge de votre application qui vous font penser que jouer avec cette fonctionnalité pourrait être bénéfique....

- W

[Grumphette]

@PreferCSharp : merci, j'étais passé à coté. J'ai pas mal utilisé sched[get|set]affinity en C, donc je trouvais ça un peu louche que python n'ai pas de wrapper "standard" (je défini standard comme étant fourni de base, sans avoir recourir à pip ou easy_install).
@wiztricks : Je veux appliquer une charge incrémental sur une machine pour stresser de plus en plus le processeur. Je ne veux pas que le processeurs migre par lui même la charge car je veux que chaque cœur soit stressé pour voir jusqu’à où il sature. Simple méchanisme de mesure de perf, fixer tous les paramètres pour éviter qu'un comportement non prédictible fausse la mesure.

Au final j'avais fait un "hack" en utilisant numactl. Mais je vais voir pour utiliser os.sched plutôt

Grumphette.

[wiztricks]

Salut,

Au final j'avais fait un "hack" en utilisant numactl. Mais je vais voir pour utiliser os.sched plutôt

Sur les CPU modernes, numactl devrait être plus approprié car os.shed se fout pas mal de la hiérarchie mémoire qui est assez importante lorsqu'on regarde les choses à la loupe.

- W