Bonjour à tous,

J'ai besoin d'un coup de main pour optimiser mon code car il est trop long à l'exécution.

En fait, j'ai une longue liste d'url dans laquelle je récupère des informations pour chaque URL.

Etant donnée la longueur de la liste, lorsque j'exécute mon code, cela prend énormément de temps.

Ainsi, je voudrais optimiser mon code, afin que l'exécution se fasse plus rapidement.
J'ai pu voir notamment qu'il existait une possibilité de faire un multiprocessing pour exécuter plusieurs URL à la fois dans mon code. Mais je n'ai pas réussi à utiliser cette méthode qui est nouvelle pour moi.

Voici mon code :

Code : Sélectionner tout - Visualiser dans une fenêtre à part
1
2
3
4
5
6
7
8
9
10
11
 
resultat =[] # Création de la variable qui va contenir les informations.
 
 
# On boucle sur chaque URL pour obtenir les informations à travers la fonction data() qui prend en paramètre une URL.
 
for item in range(0,len(list_url)):
 
    resultat.append(data(list_url[item])) # Ajout des informations obtenues dans la variable resultat.
    if item % 10 == 0:
        print("Url en cours : "+list_url[item]+" "+str(item)) # J'affiche l'URL en cours, pour toutes les 10 URL.
Si je compte une 30 de seconde par URL, que je multiplie par le nombre d'URL. Le temps d'execution peut vite passer en jours et non en heure.

C'est la raison pour laquelle, je souhaiterai pouvoir utiliser une méthode qui puisse exécuter plusieurs URL à la fois.

Je vous remercie d'avance pour l'aide que vous m'apporterez.