Discussion :

[fafa isfan]

Bonjour

je veux réduire le temps d'exécution d'un programme que je viens d'écrire ,
j'ai deux bases de données une trés grande qui a comme variable latitude longitude et le nombre de points pour chaque lat lon et une un extrait de la premiere et je veux avoir le pourcentage pour chaque lat lon de la deuxieme et dessiner ça sur une carte

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
m = plt.figure(figsize=(15,10))
m = Basemap(projection='cyl',resolution='c')
z={}
for i in range(len(lats_1)):
    for j in range(len(lats)): 
        if (lats_1[i]==lats[j] and lons_1[i]==lons[j]):
           k=sig0_1[i]      
           d=sig0[j]
           z=k/d
           m.scatter(lons_1[i], lats_1[i], c=z, s=3,lw=0)
m.fillcontinents()
plt.colorbar()  
plt.show()

Merci de me répondre

[wiztricks]

Salut,

je veux réduire le temps d'exécution d'un programme que je viens d'écrire

Pour aller plus vite, il faut faire moins d'itérations et/ou diviser le travail entre plusieurs processeurs.
"faire moins d'itérations" est possible. Par exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for i in range(len(lats_1)):
    for j in range(len(lats)): 
        if (lats_1[i]==lats[j] and lons_1[i]==lons[j]):
           ....

on peut supposer que la condition est vraie pour un seul (i, j) et donc ajouter "break" pour éviter les comparaisons suivantes.
Après il faut travailler sur les données: si lats et lats_1 étaient des listes rangées par ordre croissant par exemple...

Enfin lorsqu'on ne peut plus réduire, on répartit le boulot.

Dans la pratique, c'est un boulot de conception: il faut étudier les particularités du problème et trouver une solution sur le papier avant de coder quoi que ce soit. Et pas grand monde va pouvoir le faire à votre place.

- W

[fafa isfan]

Merci pour votre réponse

[fafa isfan]

moi je me suis dis peut être y'a une maniére de faire la chose avec pandas plus rapide que les boucles

[wiztricks]

moi je me suis dis peut être y'a une maniére de faire la chose avec pandas plus rapide que les boucles

Peut être que oui, peut être que non...
En tous cas, rien de magique sans partir de vos données et de leur organisation.
Autre exemple, plutôt qu'écrire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for i in range(len(lats_1)):
    for j in range(len(lats)): 
        if (lats_1[i]==lats[j] and lons_1[i]==lons[j]):
           ....

Vous pourriez stocker les lats_1 (les plus nombreux) dans une base de données et supprimer la boucle externe en recherchant sur (lat, lon) dans la base.
note: vous pouvez aussi faire cela avec pandas si vous voulez mais il faut quand même connaître la structure des données (et pandas) pour voir si c'est applicable et comment. Un simple dict pourrait aussi faire l'affaire.

- W