re.compile() pourquoi compiler une regex

Bonjour,

je voudrais gérer les commentaires de fichiers .ogg en utilisant python-mutagen.

j'en arrive à vouloir récupérer des données avec des regex, mais je ne comprends pas le bénéfice de re.compile().
ça transforme un motif en objet, qui dispose de méthodes que l'on peut utiliser sans compiler la regex :

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12

>>> import re >>> >>> mx = "Musiques/monBeauMorceau_2022-11-30_001.ogg" >>> motif = r"(\d{4}(-\d{2}){2})" >>> >>> re.search(motif,mx).group(1) '2022-11-30' >>> >>> comp = re.compile(motif) >>> comp.search(mx).group(1) '2022-11-30' >>>

---

Salut,

Si on "compile", c'est pour aller plus vite lors de recherches répétitives en utilisant une regex "compilée". Comme le module "cache" la forme compilée des dernières regex utilisées, ça n'aide pas toujours à aller plus vite.

- W

Hello,
la compilation est intéressante au point de vue performance lorsque l'on utilise plusieurs fois le même motif dans la même portion de code (ex : dans une boucle).
Ami calmant, J.P

Citation:

---

Envoyé par jurassic pork

la compilation est intéressante au point de vue performance lorsque l'on utilise plusieurs fois le même motif dans la même portion de code (ex : dans une boucle).

---

non parce que dans ce cas, on va récupérer la mouture compilée dans le cache LRU implémenté par le module.

- W

avec ce code :

Code:

---

1 2 3 4 5 6 7 8 9 10 11

import re import time SIZE = 100_000_000   start = time.time() foo = re.compile('foo') [foo.search('bar') for _ in range(SIZE)] print('compiled: ', time.time() - start) start = time.time() [re.search('foo', 'bar') for _ in range(SIZE)] print('uncompiled:', time.time() - start)

---

on obtient le résultat suivant :

Citation:

---

compiled: 14.647532224655151
uncompiled: 61.483458042144775

---

Citation:

---

Envoyé par jurassic pork

on obtient le résultat suivant :
compiled: 14.647532224655151
uncompiled: 61.483458042144775

---

Ce qui montre des microsecondes de différence pour des centaines de milliers d'itérations et mesure le temps d'aller récupérer la forme compilée dans le cache. Ce qui est quasi nul.

Dans un "vrai" programme, on va sans doute avoir plusieurs expressions régulières et utiliser un dictionnaire pour les stocker histoire de ne pas se trimbaler des chaines de caractères à différents endroits. Comme ces codes là vont coexister avec d'autres codes qui ont eux aussi des expressions régulières, on ne sait pas trop si ses expressions régulières seront toujours dans le cache lorsqu'on voudra les réutiliser.

Se posera alors la question de mettre dans ce dictionnaire la forme compilée ou pas... et, dans la pratique, on aura un overhead similaire au cache LRU qui vient avec le module.

- W

Moralité : si on n'a pas de souci de performance ne pas se préoccuper de travailler avec un re compilé ou pas et parfois c'est plutôt le motif (pattern) qu'il faut optimiser pour gagner en performance si on a des soucis à ce sujet.

Bonjour

Citation:

---

Envoyé par N_BaH

je voudrais gérer les commentaires de fichiers .ogg en utilisant python-mutagen.

---

Et tu n'as pas eu l'idée de le faire en bash??? :whistle:

Citation:

---

Envoyé par jurassic pork

avec ce code ...on obtient le résultat suivant :

---

J'ai essayé de mon côté de voir comment compile() pourrait aider...

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40

#!/usr/bin/env python3 # coding: utf-8   import random import timeit from functools import partial import re   # Initialisation random random.seed()   # Les fonctions à tester def direct(s, data): return tuple(re.search(s, d) for d in data)   def compiz(s, data): s=re.compile(s) return tuple(re.search(s, d) for d in data)   fct={ "direct" : direct, "compile" : compiz, }   # Les données à traiter data=["30/12/2022",] * 2000 find="[0-9]{4}"   # Vérification fonctions identiques assert len(set(repr(f(find, data)) for f in fct.values())) == 1   # Le nombre de répétitions (les moyennes se feront sur cette valeur) repeat=20   # Appel des fonctions dans un ordre aléatoire et affichage du chrono print("start=%d, repeat=%d" % (len(data), repeat)) for (k, v) in random.sample(tuple(fct.items()), len(fct)): t=timeit.Timer(partial(v, find, data)).repeat(repeat=repeat, number=100) print("%s: min=%f, max=%f, avg=%f" % (k, min(t), max(t), sum(t)/len(t))) # for

---

Mais j'obtiens...

Code:

---

1 2 3

start=2000, repeat=20 direct: min=0.833570, max=0.906373, avg=0.852353 compile: min=1.383366, max=1.553580, avg=1.436318

---

... ce qui n'est pas non plus vraiment convainquant. :?

Compile() sert à sauvegarder l'expression pour la réutiliser (ce qui me convainc pas trop non plus vu que la string originelle est parfaitement sauvegardable et récupérable)...

je n'ai pas de recul.
vaut-il mieux parcourir la sortie d'un "programme" (externe et/ou compilé) avec un langage interprété, ou passer par un module qui est "sourcé" (en gros,) d'un seul langage interpreté*...
?

--
* sachant que le-dit module peut, en fait, être compilé (en C, par exemple), non?

Citation:

---

Envoyé par N_BaH

je n'ai pas de recul.
vaut-il mieux parcourir la sortie d'un "programme" (externe et/ou compilé) avec un langage interprété, ou passer par un module qui est "sourcé" (en gros,) d'un seul langage interpreté*...

---

Ta question dépend de trop de facteurs pour qu'on puisse lui apporter une réponse exhaustive et définitive.

Ce que je peux dire sur Python (on est dans son forum donc on va parler de lui) c'est que les habitués ont l'habitude de le considérer comme langage assez "central".
Il ne sera jamais exceptionnel en quoi que ce soit et dans tous les domaines (serveur, big-data, parser, ...) sera dépassé par chaque langage dédié à cette technologie... mais sa position centrale en fait un point de départ parfait pour n'importe quel projet.
Ce qui se résume en Python, meilleur nulle-part, excellent partout.

Et effectivement comme tu l'as souligné dans ta note, il dispose d'une multitude de modules écrits dans des langages tels que le C et tous dédiés à des technologies diverses qui permet ensuite de basculer quand ça devient nécessaire.