Discussion :

[rimenis]

Bonjour ,

comment je peux diminuer le temps d’exécution de ce programme sachant que le tableau tab_voyelle contient 2669433 éléments:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
 
 
for elem in tab_voyelle:
	print 'la longueur est : ==>'
	print len(tab_voyelle)
	words_match = []
	elem = elem.strip()
	test = 0
	Tab_elem_out = CheckImpli(elem,tab_voyelle)
	if len(Tab_elem_out) != 0:
		MonFichINImpli = open('in_imply_result.txt','w')
		for i in range(len(Tab_elem_out)):
			MonFichINImpli.write(elem + '	' + Tab_elem_out[i] + '\n')
		MonFichINImpli.close()
		subprocess.call(['java', '-jar', 'ImpliMorphVer4.jar','-i', 'in_imply_result.txt','-o','Result_Impli.txt'])
		words_match = MatchingArabicWords('Result_Impli.txt','in_imply_result.txt')
	if len(words_match) != 0 :
		MonFichierResultat.write('<mot id="'+elem+'">'+'\n')
		for valeur in words_match:
			valeur = valeur.strip()
			MonFichierResultat.write('<val>'+valeur+'</val>'+'\n')
			t = tab_voyelle[tab_voyelle.index(valeur)]
			print t.decode('utf-8')
			del tab_voyelle[tab_voyelle.index(valeur)]
		MonFichierResultat.write('</mot>' + '\n')
 
	if len(words_match) == 0:
		MonFichierResultat.write('<mot id="'+elem+'">'+'\n'+'<val></val>\n'+'</mot>' + '\n')
MonFichierResultat.write('</matching>' + '\n')
MonFichierResultat.close()

[wiztricks]

Salut,

C'est pas compliqué si vous avez un grand nombre d'itérations, il faut commencer par réduire la durée de chaque itération, et paralléliser. Et pour réduire la durée de chaque itération, il faut regarder le temps que prend chaque opération élémentaire et regarder comment s'en passer.
Par exemple, vous avez dans votre code la création et l'écriture d'un fichier.
Vous pouvez regarder combien de temps prend:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
import time
start = time.time()
for _ in range(10000):
    with open('test.txt', 'w') as f:
        pass
print(time.time() - start)

Chez moi, c'est 14 s. multiplié par 300 histoire d'avoir une idée de combien de temps çà prendrait pour 2669433 itération on arrive déjà à 4200 secondes i.e. plus d'une heure.
Ajoutez le temps passé dans subprocess.call, çà fait déjà des plombes.

Donc déjà la question serait de réduire le nombre d'appels au process java externe en lui passant plus d'informations à traiter à la fois (si c'est possible). Mais de fait, si vous ne pouvez rien changer du côté de cette interface, c'est pas côté Python que vous allez pouvoir faire grand chose (à part éventuellement paralléliser mais vous n'obtiendrez pas plus qu'un facteur lié au nombre de CPU disponibles i.e. 5 à 10 fois plus vite pour autant que les disques suivent).

- W

[fred1599]

Sans compter le fait que certaines fonctions dont on ne connaît pas les tenants et les aboutissants se rajoutent à ce temps.

Il faudra donc fonction par fonction, vérifier le temps d'exécution en utilisant la méthode de wiztricks...

Ce qui est sûr c'est qu'il y a forcément une meilleure manière que de faire n fois des ouvertures, écritures et fermetures de fichiers. Je suis pas sûr mais si certaines autres fonctions refont ce même travail, c'est une catastrophe algorithmiquement parlant. Dans ce cas, c'est tout le concept qui est à revoir !

[rimenis]

il y a cette fonction :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
 
def MatchingArabicWords(result_impl, in_impl):
	num_line = 0
	exact_match = 0
	tab_correct_line = []
	tab_result_impl = []
	tab_words_implication = []
	fh_impl = open(result_impl,"r")
	tab_in_impl = []
	for ligne in fh_impl:
		tab_result_impl.append(ligne)
	fh_impl.close()
	for i in range(len(tab_result_impl)):
		tab = tab_result_impl[i].split('	')
		tab_result = []
		for var in tab:
			if(var != ''):
				tab_result.append(var)
		#for j in range(len(tab_result)):
		if(tab_result[0] == "Correct" and tab_result[1] == "Sure"):	
			num_line = i + 1
			tab_correct_line.append(num_line)
			with open(in_impl,'r') as fich:
				for k in range(num_line):
					ligne = fich.readline()
			tab_words_implication.append(ligne)
 
 
	#on va extraire les mots qui correspondent
	tab_found_words = []
	if(len(tab_words_implication)!=0):
		for word in tab_words_implication:
			tab_words = word.split('	')
			tab_found_words.append(tab_words[1])
	return tab_found_words

[rimenis]

Sans compter le fait que certaines fonctions dont on ne connaît pas les tenants et les aboutissants se rajoutent à ce temps.

Il faudra donc fonction par fonction, vérifier le temps d'exécution en utilisant la méthode de wiztricks...

Ce qui est sûr c'est qu'il y a forcément une meilleure manière que de faire n fois des ouvertures, écritures et fermetures de fichiers. Je suis pas sûr mais si certaines autres fonctions refont ce même travail, c'est une catastrophe algorithmiquement parlant. Dans ce cas, c'est tout le concept qui est à revoir !

comment parce que oui ds la fonction

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
def MatchingArabicWords(result_impl, in_impl):
	num_line = 0
	exact_match = 0
	tab_correct_line = []
	tab_result_impl = []
	tab_words_implication = []
	fh_impl = open(result_impl,"r")
	tab_in_impl = []
	for ligne in fh_impl:
		tab_result_impl.append(ligne)
	fh_impl.close()
	for i in range(len(tab_result_impl)):
		tab = tab_result_impl[i].split('	')
		tab_result = []
		for var in tab:
			if(var != ''):
				tab_result.append(var)
		#for j in range(len(tab_result)):
		if(tab_result[0] == "Correct" and tab_result[1] == "Sure"):	
			num_line = i + 1
			tab_correct_line.append(num_line)
			with open(in_impl,'r') as fich:
				for k in range(num_line):
					ligne = fich.readline()
			tab_words_implication.append(ligne)
 
 
	#on va extraire les mots qui correspondent
	tab_found_words = []
	if(len(tab_words_implication)!=0):
		for word in tab_words_implication:
			tab_words = word.split('	')
			tab_found_words.append(tab_words[1])
	return tab_found_words

il y a n fois ouverture du coup une catastrophe algorithmique

[fred1599]

comment parce que oui ds la fonction

Travailler seulement avec les chaînes de caractères ? Après, on a pas l'objectif, les contraintes et l'énoncé du problème, on peut difficilement proposer une solution...

il y a n fois ouverture du coup une catastrophe algorithmique

Il ne faut donc pas s'étonner, c'est un gouffre niveau temps si l'on considère les temps annoncés par wiztricks.

À quoi sert le programmeImpliMorphVer4.jar ? Ne peut-il pas représenter une fonction dans un code python ?

[wiztricks]

Il y a n fois ouverture du coup une catastrophe algorithmique

Ce n'est pas une "catastrophe algorithmique": la complexité reste en O(N).
Par contre vous vous rendez compte qu'un code qui fonctionne de façon satisfaisante avec un petit nombre d'itérations devient difficilement utilisable lorsque ce nombre devient important.
Pour faire une analogie, trier par age ou par taille une classe de 30 élèves peut se faire avec sort sur une liste de listes. Essayer de généraliser cela à l'ensemble des habitants d'un département, d'une région, d'un pays,... sera irréaliste.

- W

[fred1599]

Ce n'est pas une "catastrophe algorithmique": la complexité reste en O(N).

Pas sûr ! Sur cette fonction oui, sur l'ensemble du code, c'est une énième boucle for... Non ?

[BufferBob]

salut,

• que fait CheckImpli() et à quoi sert ImpliMorphVer4.jar ?
• quel genre de données contient tab_voyelle ?
• est-il envisageable de recoder ImpliMorphVer4.jar en Python ?
• in fine, quel est le but de ce programme Python ?

comme dit plus haut, rien que le fait d'ouvrir/fermer des fichiers en permanence plombe les performances (I/O disque), alors que si on regarde bien les fichiers ne servent qu'à faire transiter l'information entre le programme Python et ImpliMorphVer4 (ou l'inverse)