Discussion :

[jlg_47]

Bonjour,

J'ai écrit un bout de programme qui fait des calculs avec des arrays Numpy.

Le script tournant sous Windows XP est horriblement long à s'exécuter ..

Premièrement le CPU est systématiquement chargé à 50%, je pense que cela vient du fait que ma machine est équipée d'un Core 2 Duo et que le script Python utilise 100% des capacités d'un des Core.

Deuxièmement, il fait des accès disque en permanence .. il semblerait donc qu'il utilise de la mémoire virtuelle

C'est sur le 2ième point que je voudrais faire quelque chose.

Vu la très petite taille des arrays Numpy, il n'y a aucune raison d'utiliser de la mémoire virtuelle.
Mon PC a 4 Go de RAM, je sais qu'XP ne peut en utiliser que 3 Go, mais le gestionnaire de tâches me dit que seulement 490Mo sont utilisés ... il y a donc 2,4Go de RAM non utilisés.

Y a t-il un moyen pour forcer Python (ou Windows) à utiliser la RAM disponible plutôt que d'utiliser de la mémoire virtuelle?

Merci d'avance à ceux qui pourraient m'aider.

Bonne journée

[airod]

es tu sur que le script fait swapper WinXp?
ca me parait peut probable.

teste peut être les temps d'execution via un time clock.
Essaie de découper ton code pour en faire des tests unitaire et trouver la portion de code qui mérite d'être optimisée!

est ce que ce n'est pas une fonction d'une librairie qui déclenche l'utilisation du disque dur, plutot que python. (hypothèse!)

a+

[jlg_47]

es tu sur que le script fait swapper WinXp?
ca me parait peut probable.

Merci pour ta réponse.

Effectivement, tu as sûrement raison !!
Avec cette m.... de XP, on ne sait jamais ce qui se passe
Je viens de constater qu'il y a des accès disque même si j'arrête tout ...

Comme je débute, il faut que je regarde comment utiliser time clock.

Le problème est que je fais de la simulation et j'utilise un pas de calcul de 1 microsecondes, ce qui fait 1 million de passages dans le calcul pour simuler 1 seconde
Mais si j'augmente le pas de calcul, je peux me retrouver avec des imprécisions numériques qui produisent des divisions par zéro

Les variables de mes matrices Numpy sont de type "float"

Je ne sais pas si cela correspond à des valeurs codées sur 32 bits ou sur 64 bits.
Peut-être qu'en augmentant la précision du calcul, je pourrais augmenter le pas de calcul, donc réduire le nombre de calculs par seconde et globalement gagner du temps même si les opérations sur 64 bits sont plus longues à exécuter que sur 32 bits.

Bonne journée

[Matthieu Brucher]

Par défaut, Numpy travaille en double précision. Si tu veux de la simple, il faut ajouter un dtype = numpy.float32 lors de la création des tableaux.

[jlg_47]

Par défaut, Numpy travaille en double précision. Si tu veux de la simple, il faut ajouter un dtype = numpy.float32 lors de la création des tableaux.

Bonjour Matthieu et merci,

Effectivement, j'ai remplacé "float" par "numpy.float64" et cela ne change rien; donc Numpy bosse bien en double précision comme tu me le confirmes ...

Il va falloir que je cogite dur

Mon prog a tourné 12 heures cette nuit pour me sortir un peu plus de 3 minutes de simulation ...
Les résultats sont nickel, mais il faut être patient

Bonne journée

[wiztricks]

Salut

Les disques qui tournent sous Windows... hélas, la bestiole veut faire tellement de truc que çà en est prise de tête pour savoir ce qu'il s'y passe vraiment. Personnellement j'en suis à préférer développer sous Linux ou OSX puis déployer sous Windows...
Enfin bon, vous n'en êtes peut être pas à devoir appliquer ces remèdes.

En mettant de côté le bruit du disque, vous dites:

Premièrement le CPU est systématiquement chargé à 50%, je pense que cela vient du fait que ma machine est équipée d'un Core 2 Duo et que le script Python utilise 100% des capacités d'un des Core.

=> votre exécution est limité par la capacité CPU que vous pouvez lui donner

Mon prog a tourné 12 heures cette nuit pour me sortir un peu plus de 3 minutes de simulation ...

Que pourriez vous faire pour paralléliser l'exécution sur "beaucoup" de CPU?
Sans trop savoir ce que font vos algos, impossible de vous suggérer autre chose qu'une sorte de direction de travail.

- W