Discussion :

[JacekB]

Bonjour,

Avez-vous une idee pour optimiser le code suivant ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
result = []
for r in self.reports:
            for k in kwargs:
                if r[k] != kwargs[k]: break
            else: result.append(r)

J'ai essaye de faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
result = [ r[k] if r[k] == kwargs[k] else break for r in self.reports for k in kwargs ]

mais malheureusement le "break" ne passe pas dans une comprehension list.

Une idee quelqu'un ?

Merci d'avance

[bistouille]

Salut.

L'optimisation d'un code n'a strictement aucune relation avec le nombre de lignes de code.

Ce que tu souhaites faire est justement la réduction du nombres de lignes, alors mieux vaut un code un peu plus long et compréhensible ou un code plus court et imbitable que tu auras peine toi-même à analyser lorsque tu reviendras plus tard dessus ?

[fred1599]

On peut optimiser, mais pour cela il faut exprimer le problème, au moins savoir ce que vous souhaitez faire exactement et honnêtement je pense que votre optimisation n'est pas lié à un break mais plutôt à la conception pour résoudre le problème.

Comme le dit bistouille, si une optimisation n'est qu'une optimisation sur le nombre de lignes et qu'elle nuit à la lisibilité du code, alors n'optimisez pas!
Allez voir le zen de python, et vous verrez cette ligne

Readability counts.

[wiztricks]

Salut,

Maintenant qu'on vous a bien expliqué que "break" dans une compréhension list n'allait probablement pas aller plus vite. Pour ceux que çà intéresse, on peut utiliser la forme d'iter avec sentinelle:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
>>> s = iter('aaaexxx')
>>> [ x for x in iter(lambda: next(s), 'e') ]
['a', 'a', 'a']
>>>

- W

[JacekB]

Hmm, quant a l'optimisation et le nombre de lignes de code, dans ce cas precis je ne suis pas d'accord.
Une comprehension list permettrait de supprimer le 'append' qui en Python est tres couteux car il:

- recopie en entier la liste a agrandir
- ajoute plus d'elements qu'il n'en faut, c'est-a-dire prevoit de l'espace pour de futurs elements.

Par ailleurs, il me semble avoir remarque qu'en regle generale les comprehension lists sont neanmoins plus rapides....

[wiztricks]

Hmm, quant a l'optimisation et le nombre de lignes de code, dans ce cas precis je ne suis pas d'accord.
Une comprehension list permettrait de supprimer le 'append' qui en Python est tres couteux car il:

- recopie en entier la liste a agrandir
- ajoute plus d'elements qu'il n'en faut, c'est-a-dire prevoit de l'espace pour de futurs elements.

Par ailleurs, il me semble avoir remarque qu'en regle generale les comprehension lists sont neanmoins plus rapides....

Le soucis n'est pas dans compréhension list ou pas: juste par le manque d'informations sur le problème à résoudre (aller plus vite est un peu short)... qui pourrait être traité plus efficacement avec d'autres algos ou l'usage d'une bibliothèque externe.

- W

[fred1599]

Autre possibilité moins belle que celle de wiztricks

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
import itertools
 
res = itertools.takewhile(lambda x: x != 'e', list('aaaexxx'))
print(list(res))

EDIT: Je trouve quand même que pour ce genre d'exercice rien de tel que d'utiliser en plusieurs ligne le générateur équivalent à takewhile mais sans itertools

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
def get_x_gen2(my_list, stop):
    for x in my_list:
        if x == stop: break
        yield x

[fred1599]

Une comprehension list permettrait de supprimer le 'append' qui en Python est tres couteux

à ce point là ? Avez-vous profilé votre code ?

Avez-vous testé le gain entre append et une comprehension list sur quelques millions d'itérations ?
Ce qui en pratique, qui puis est ne semble pas être le cas, je veux dire que vous n'avez pas quelques millions d'itérations à faire, je me trompe ?

recopie en entier la liste a agrandir

Ah! et cela, vous êtes sûr que la comprehension list ne le fait pas ?

ajoute plus d'elements qu'il n'en faut, c'est-a-dire prevoit de l'espace pour de futurs elements.

Vous parlez d'allocations mémoire, mais vous pensez ne pas avoir suffisamment de RAM pour faire le travail ?

[Sve@r]

Bonjour,

Avez-vous une idee pour optimiser le code suivant ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
 
result = []
for r in self.reports:
            for k in kwargs:
                if r[k] != kwargs[k]: break
            else: result.append(r)

Bonjour

Déjà supprimer ce "else" inutile...
Sinon je n'arrive pas trop à me représenter ce que signifie "k". Parce que tantôt il est utilisé comme indice de boucle, tantôt il est utilisé comme élément d'itération de kwargs.

[wiztricks]

Déjà supprimer ce "else" inutile...

Comment çà inutile?
Peut être que vous ne connaissez pas encore la construction for...else...

Sinon je n'arrive pas trop à me représenter ce que représente "k". Parce que tantôt il est utilisé comme indice de boucle, tantôt il est utilisé comme élément d'itération.

Ce sont les différentes clés du dictionnaire kwargs.

- W

[Sve@r]

Comment çà inutile?
Peut être que vous ne connaissez pas encore la construction for...else...

Euh non, j'ai pensé que c'était le "else" du "if" mal indenté... Ok un truc à aller apprendre avant de revenir

Ce sont les différentes clés du dictionnaire kwargs.

Vu. Comme j'ai l'habitude d'utiliser explicitement les méthodes "keys()" ou "viewkeys()", j'avais oublié qu'on obtenait le même résultat en itérant directement le dico.

edit: ok j'ai appris le" for... else" et j'ai adoré car il m'arrive souvent de chercher si un truc se trouve dans une liste mais de faire un traitement s'il ne s'y trouve pas =>auparavant je passais par un flag mais là, ça va me simplifier pas mal de choses

Et je comprends maintenant mieux l'algo. Donc d'après ce que j'ai compris, il me semble que "reports" contient une liste de dicos, et que l'algo stocke dans result chaque dico de "reports" ayant au-moins toutes les clefs et valeurs de kwargs.
Partant de là, et si on fait abstraction de considérations de "plus lisible/moins lisible, plus rapide/moins rapide" ; c'est à dire qu'on se concentre juste sur la demande initiale à savoir convertir cet algo en liste par intention ; est-ce que ceci result=[r for r in self.reports if all(r[k] == kwargs[k] for k in kwargs)] ne conviendrait pas ???

[JacekB]

à ce point là ? Avez-vous profilé votre code ?

Avez-vous testé le gain entre append et une comprehension list sur quelques millions d'itérations ?
Ce qui en pratique, qui puis est ne semble pas être le cas, je veux dire que vous n'avez pas quelques millions d'itérations à faire, je me trompe ?



Ah! et cela, vous êtes sûr que la comprehension list ne le fait pas ?



Vous parlez d'allocations mémoire, mais vous pensez ne pas avoir suffisamment de RAM pour faire le travail ?

Oui, j'ai fait des comparaisons, les comprehension list sont nettement plus rapides que des append, vous trouverez de nombreuses publications sur ce sujet.
Par exemple: https://wiki.python.org/moin/PythonS...erformanceTips
a la rubrique "loops": List comprehensions were added to Python in version 2.0 as well. They provide a syntactically more compact and more efficient way of writing the above for loop


Concernant le nombre d'iterations a faire, se ne sont pas quelques millions, mais quelques dizaines de millions.

Quant a l'allocation memoire, encore une fois, les append sont a eviter autant que faire se peu....

[JacekB]

Ah! et cela, vous êtes sûr que la comprehension list ne le fait pas ?

Bien sur que non, une comprehension list ne peut pas recopier les elements de la premiere liste, vu qu'elle n'agrandi pas une liste preexistante....
Regardez le code source de Python.....

[fred1599]

Sur l'itération pure vous allez gagné 50% ce qui représente sur une dizaine de millions d'itération environ 8/10 de seconde, elle ne se voit donc pas, c'est ce qui se passe dans l'itération qui est à optimiser.

Bien sur que non, une comprehension list ne peut pas recopier les elements de la premiere liste, vu qu'elle n'agrandi pas une liste preexistante.... Regardez le code source de Python.....

Pour agrandir une liste, on utilise l'opérateur + ou la méthode extend. Je ne vois pas où vous voulez en venir.

La possibilité de travailler avec les listes restent limitée, et en règle générale on se tourne vers des modules comme numpy, pandas, ...

Si vous voulez plus de performance, vous pouvez voir du côté de PyPy ou d'un interfaçage C/C++/Fortran... ou carrément changer de langage.

wiztricks a déjà exprimé le fait qu'il faudra plus d'informations concernant votre problème, mais sans réponse à l'heure actuelle.