optimiser un code python

Version imprimable

Bonjour ,

comment je peux diminuer le temps d’exécution de ce programme sachant que le tableau tab_voyelle contient 2669433 éléments:

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
 
for elem in tab_voyelle:
	print 'la longueur est : ==>'
	print len(tab_voyelle)
	words_match = []
	elem = elem.strip()
	test = 0
	Tab_elem_out = CheckImpli(elem,tab_voyelle)
	if len(Tab_elem_out) != 0:
		MonFichINImpli = open('in_imply_result.txt','w')
		for i in range(len(Tab_elem_out)):
			MonFichINImpli.write(elem + '	' + Tab_elem_out[i] + '\n')
		MonFichINImpli.close()
		subprocess.call(['java', '-jar', 'ImpliMorphVer4.jar','-i', 'in_imply_result.txt','-o','Result_Impli.txt'])
		words_match = MatchingArabicWords('Result_Impli.txt','in_imply_result.txt')
	if len(words_match) != 0 :
		MonFichierResultat.write('<mot id="'+elem+'">'+'\n')
		for valeur in words_match:
			valeur = valeur.strip()
			MonFichierResultat.write('<val>'+valeur+'</val>'+'\n')
			t = tab_voyelle[tab_voyelle.index(valeur)]
			print t.decode('utf-8')
			del tab_voyelle[tab_voyelle.index(valeur)]
		MonFichierResultat.write('</mot>' + '\n')
 
	if len(words_match) == 0:
		MonFichierResultat.write('<mot id="'+elem+'">'+'\n'+'<val></val>\n'+'</mot>' + '\n')
MonFichierResultat.write('</matching>' + '\n')
MonFichierResultat.close()

04/02/2018, 15h41
wiztricks
Salut,

C'est pas compliqué si vous avez un grand nombre d'itérations, il faut commencer par réduire la durée de chaque itération, et paralléliser. Et pour réduire la durée de chaque itération, il faut regarder le temps que prend chaque opération élémentaire et regarder comment s'en passer.
Par exemple, vous avez dans votre code la création et l'écriture d'un fichier.
Vous pouvez regarder combien de temps prend:
Code:

1 2 3 4 5 6 import time start = time.time() for _ in range(10000): with open('test.txt', 'w') as f: pass print(time.time() - start)
Chez moi, c'est 14 s. multiplié par 300 histoire d'avoir une idée de combien de temps çà prendrait pour 2669433 itération on arrive déjà à 4200 secondes i.e. plus d'une heure.
Ajoutez le temps passé dans subprocess.call, çà fait déjà des plombes.

Donc déjà la question serait de réduire le nombre d'appels au process java externe en lui passant plus d'informations à traiter à la fois (si c'est possible). Mais de fait, si vous ne pouvez rien changer du côté de cette interface, c'est pas côté Python que vous allez pouvoir faire grand chose (à part éventuellement paralléliser mais vous n'obtiendrez pas plus qu'un facteur lié au nombre de CPU disponibles i.e. 5 à 10 fois plus vite pour autant que les disques suivent).

- W
04/02/2018, 17h29
fred1599

Sans compter le fait que certaines fonctions dont on ne connaît pas les tenants et les aboutissants se rajoutent à ce temps.

Il faudra donc fonction par fonction, vérifier le temps d'exécution en utilisant la méthode de wiztricks...

Ce qui est sûr c'est qu'il y a forcément une meilleure manière que de faire n fois des ouvertures, écritures et fermetures de fichiers. Je suis pas sûr mais si certaines autres fonctions refont ce même travail, c'est une catastrophe algorithmiquement parlant. Dans ce cas, c'est tout le concept qui est à revoir !

il y a cette fonction :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
def MatchingArabicWords(result_impl, in_impl):
	num_line = 0
	exact_match = 0
	tab_correct_line = []
	tab_result_impl = []
	tab_words_implication = []
	fh_impl = open(result_impl,"r")
	tab_in_impl = []
	for ligne in fh_impl:
		tab_result_impl.append(ligne)
	fh_impl.close()
	for i in range(len(tab_result_impl)):
		tab = tab_result_impl[i].split('	')
		tab_result = []
		for var in tab:
			if(var != ''):
				tab_result.append(var)
		#for j in range(len(tab_result)):
		if(tab_result[0] == "Correct" and tab_result[1] == "Sure"):	
			num_line = i + 1
			tab_correct_line.append(num_line)
			with open(in_impl,'r') as fich:
				for k in range(num_line):
					ligne = fich.readline()
			tab_words_implication.append(ligne)
 
 
	#on va extraire les mots qui correspondent
	tab_found_words = []
	if(len(tab_words_implication)!=0):
		for word in tab_words_implication:
			tab_words = word.split('	')
			tab_found_words.append(tab_words[1])
	return tab_found_words

Citation:

Envoyé par fred1599

Sans compter le fait que certaines fonctions dont on ne connaît pas les tenants et les aboutissants se rajoutent à ce temps.

Il faudra donc fonction par fonction, vérifier le temps d'exécution en utilisant la méthode de wiztricks...

Ce qui est sûr c'est qu'il y a forcément une meilleure manière que de faire n fois des ouvertures, écritures et fermetures de fichiers. Je suis pas sûr mais si certaines autres fonctions refont ce même travail, c'est une catastrophe algorithmiquement parlant. Dans ce cas, c'est tout le concept qui est à revoir !

comment parce que oui ds la fonction
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 def MatchingArabicWords(result_impl, in_impl): num_line = 0 exact_match = 0 tab_correct_line = [] tab_result_impl = [] tab_words_implication = [] fh_impl = open(result_impl,"r") tab_in_impl = [] for ligne in fh_impl: tab_result_impl.append(ligne) fh_impl.close() for i in range(len(tab_result_impl)): tab = tab_result_impl[i].split(' ') tab_result = [] for var in tab: if(var != ''): tab_result.append(var) #for j in range(len(tab_result)): if(tab_result[0] == "Correct" and tab_result[1] == "Sure"): num_line = i + 1 tab_correct_line.append(num_line) with open(in_impl,'r') as fich: for k in range(num_line): ligne = fich.readline() tab_words_implication.append(ligne) #on va extraire les mots qui correspondent tab_found_words = [] if(len(tab_words_implication)!=0): for word in tab_words_implication: tab_words = word.split(' ') tab_found_words.append(tab_words[1]) return tab_found_words
il y a n fois ouverture du coup une catastrophe algorithmique

04/02/2018, 18h47
fred1599

Citation:

comment parce que oui ds la fonction

Travailler seulement avec les chaînes de caractères ? Après, on a pas l'objectif, les contraintes et l'énoncé du problème, on peut difficilement proposer une solution...

Citation:

il y a n fois ouverture du coup une catastrophe algorithmique

Il ne faut donc pas s'étonner, c'est un gouffre niveau temps si l'on considère les temps annoncés par wiztricks.

À quoi sert le programmeImpliMorphVer4.jar ? Ne peut-il pas représenter une fonction dans un code python ?
04/02/2018, 20h01
wiztricks

Citation:

Envoyé par rimenis

Il y a n fois ouverture du coup une catastrophe algorithmique

Ce n'est pas une "catastrophe algorithmique": la complexité reste en O(N).
Par contre vous vous rendez compte qu'un code qui fonctionne de façon satisfaisante avec un petit nombre d'itérations devient difficilement utilisable lorsque ce nombre devient important.
Pour faire une analogie, trier par age ou par taille une classe de 30 élèves peut se faire avec sort sur une liste de listes. Essayer de généraliser cela à l'ensemble des habitants d'un département, d'une région, d'un pays,... sera irréaliste.

- W
04/02/2018, 20h44
fred1599

Citation:

Ce n'est pas une "catastrophe algorithmique": la complexité reste en O(N).

Pas sûr ! Sur cette fonction oui, sur l'ensemble du code, c'est une énième boucle for... Non ?
04/02/2018, 20h52
BufferBob
salut,
- que fait CheckImpli() et à quoi sert ImpliMorphVer4.jar ?
- quel genre de données contient tab_voyelle ?
- est-il envisageable de recoder ImpliMorphVer4.jar en Python ?
- in fine, quel est le but de ce programme Python ?
comme dit plus haut, rien que le fait d'ouvrir/fermer des fichiers en permanence plombe les performances (I/O disque), alors que si on regarde bien les fichiers ne servent qu'à faire transiter l'information entre le programme Python et ImpliMorphVer4 (ou l'inverse)
04/02/2018, 22h11
rimenis

d'abord je travaille sur les mots arabes,
CheckImpli() permet de mettre dans un tableau pour un mot donné l'ensemble des mots qui les rassemblent( cad ayant la mme forme mais les diacritiques sont différents)
par la suite implimorph va comparer entre 2 mot voyellés et décide si ces 2 mots sont les mmes ou non ,
par la suite l'objectif de ce programme est par exemple pour une liste :
list2 = [شَعر','شَعُر','شِعر'']
la sortie est:

<matching>
<mot id=''شَعر ">
<val> شِعر</val>
<val>شَعر</val>
</mot>
</matching>
05/02/2018, 09h51
BufferBob

ok. je t'avoue que je n'ai pas tout compris et ne connaissant pas la langue arabe je serais bien en peine de dire si dans le principe tu t'y prends comme il faut ou non avec tes boucles for

sauf erreur ImpliMorph c'est ce truc là

comme dit précédemment il faut éviter autant que possible de faire des va-et-viens sur le disque

si tu as la possibilité de recoder ImpliMorph en Python pour l'intégrer directement à ton application tu gagneras forcément beaucoup de temps

si tu n'as pas la possibilité de recoder, peut-être que le programme permet d'afficher le résultat directement plutôt que d'écrire dans un fichier ? (option -o)
dans ce cas il vaut mieux récupérer directement le résultat de subprocess.call() (à échanger éventuellement pour popen() ?)
05/02/2018, 15h10
rimenis

Citation:

Envoyé par BufferBob

sauf erreur ImpliMorph c'est ce truc là

oui

comme dit précédemment il faut éviter autant que possible de faire des va-et-viens sur le disque

Comment ?

si tu as la possibilité de recoder ImpliMorph en Python pour l'intégrer directement à ton application tu gagneras forcément beaucoup de temps
Non je pense que c difficile de recoder ImpliMorph (ça demande énormement du temp)

si tu n'as pas la possibilité de recoder, peut-être que le programme permet d'afficher le résultat directement plutôt que d'écrire dans un fichier ? (option -o)
dans ce cas il vaut mieux récupérer directement le résultat de subprocess.call() (à échanger éventuellement pour popen() ?)
le programme affiche le résultat à travers une interface graphique : principe : comparer entre 2 mots se trouvant dans 2 zones de textes

comment peux je éviter le -o ?
06/02/2018, 09h12
fred1599

Bonjour,

Peut-être qu'on peut avoir un module python qui permet de faire le même type de travail ? Par exemple, ICI qui m'a l'air de ressembler à ce que tu souhaites, faut tester.