Out of memory, Google chrome et selenium

**sam01** · 13/02/2024, 11h31

Bonjour,

depuis à peu près 1 semaine, mon script qui utilise selenium et chromedrive.exe fait apparaître une page web figée avec le message suivant

Out of memory

Il faut que je clique sur actualiser pour que le script reparte.

Voici une partie du code

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import requests
from web3 import Web3
from ens import ENS
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import csv
from tqdm import tqdm
import os
import math
import csv
 
 
 
def get_informations(dict_result):
    print("start website")
    options = webdriver.ChromeOptions()
	options.add_experimental_option('excludeSwitches', ['enable-logging'])
    print('opion done')
    count = 0
 
    browser = webdriver.Chrome(options=options)
 
    # browser = webdriver.Chrome(executable_path='/home/gary/loca/chromedriver',options=options)
 
    print('dodo')
    for key, value in tqdm(dict_result.items(), desc="Getting Wallet From website"):
        try:
            if key:
                browser.get(
                    'https://website.com/usefull/' + key)
                soup = BeautifulSoup(browser.page_source, 'html.parser')
                time.sleep(5)
                print('https://website.com/usefull/' + key)
                price = soup.select('#ContentPlaceHolder1_divSummary > div.row.g-3.mb-4 > div:nth-child(1) > div > div > div:nth-child(3)')[0].text.split('(')
                final_price = 'UNKNOWN'
 
                gr = price[0].split('$')
                final_price = gr[-1]
                final_price = final_price.replace(',','')
                print(math.floor(float(final_price)))
                dict_result[key].append(math.floor(float(final_price)))
                age = soup.select('#transactions > div > div.table-responsive > table > tbody > tr:nth-child(1) > td.showAge > span')
 
                if key in browser.page_source:
                    a = soup.select('#transactions > div > div.table-responsive > table > tbody')
                    for e in a:
                        if key in e.text:
                            dict_result[key].append(key)
                        else:
                            dict_result[key].append('NO')
                    dict_result[key].append(age[0].text)
                    count +=1
                    print ('Il y a '+ str(count) + ' match')
                else:
                    dict_result[key].append("Aucune info")
                    dict_result[key].append("Aucune info")
        except Exception as err:
            print('ERROR GETTING website INFORMATIONS', err)
            dict_result[key].append("Aucune info")
            dict_result[key].append("Aucune info")
    return dict_result

**wiztricks** · 13/02/2024, 11h59

Salut,

Si vous ajoutez sans fin des informations en mémoire, au bout d'un moment vous aurez consommé toute la mémoire disponible.
Et il faut revoir un peu ce que fait votre code pour éviter ça... mais ce n'est pas un sujet Python mais de conception: elle n'a pas tenu compte de certaines limites physiques.

- W

**sam01** · 13/02/2024, 14h16

ce qui est bizarre, c'est j'utilise ce code depuis plus d'1 an sans jamais avoir eu ce problème d'Out of memory.
Et là, depuis 1 ou 2 semaine, j'ai ce problème.

**wiztricks** · 13/02/2024, 14h31

Si le code n'a pas changé (comment en êtes vous sûr?), c'est que quelque chose d'autre (externe) à changé.
Après, c'est du boulot (sur le code, sur l 'environnement,...) pour comprendre le pourquoi et imaginer des solutions...

- W

**jurassic pork** · 13/02/2024, 14h39

Hello,
jeter un coup d'oeil

ici
sinon cela arrive au bout d'un certain temps ? ou c'est aléatoire ?
Ami calmant, J.P

**papajoker** · 13/02/2024, 14h56

bonjour

j'ai du mal à comprendre la logique ...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
for key, value in dict_result.items():
    # recup la page web puis
    dict_result[key].append(...)
    dict_result[key].append(...)

Ce n'est pas une boucle infinie ? puisque tu ajoutes dans tous les cas (sauf si existe?) 2 éléments dans le dico
Un élément non trouvé dans la liste de départ, et on ne sort jamais
Un nouvel élément trouvé dans la liste de départ, et on ne sort jamais

EDIT: OOPS, je suis fatigué... c'est un dico de list (2 éléments) et key ne change jamais dans la boucle

**wiztricks** · 13/02/2024, 15h04

Envoyé par papajoker

Ce n'est pas une boucle infinie ?

Un dépassement mémoire arrive lorsqu'on demande de la mémoire... et ne n'est pas forcément le code qui plante qui devra être revu pour corriger le problème: l'extrait de code montré n'est pas significatif.

- W

**sam01** · 13/02/2024, 15h49

Envoyé par jurassic pork

Hello,
jeter un coup d'oeil

ici
sinon cela arrive au bout d'un certain temps ? ou c'est aléatoire ?
Ami calmant, J.P

salut. Ben ça arrive toutes les 20 à 30 minutes peut-être.
Le script peut durer longtemps car il scanne de nombreuses pages.

Je suis sûr que le code n'a pas changé puisqu'il est sur mon que personne ne le touche.

**wiztricks** · 13/02/2024, 15h55

Envoyé par sam01

Je suis sûr que le code n'a pas changé puisqu'il est sur mon que personne ne le touche.

La date de dernière modification du script (ou la restauration d'une sauvegarde antérieure) serait plus convaincante.

Envoyé par sam01

salut. Ben ça arrive toutes les 20 à 30 minutes peut-être.

ça c'est bien: vous pouvez voir rapidement l'effet d'un changement (pas attendre 15 jours pour rien)... reste à trouver des idées sur quoi changer pour voir...

- W

**sam01** · 13/02/2024, 16h15

c'est justement pour ça que j'ai envoyé un message

c'est que je n'ai pas d'idée....

**wiztricks** · 13/02/2024, 16h35

Envoyé par sam01

c'est que je n'ai pas d'idée....

Je l'avais compris... mais c'est le genre de problème où on ne peut pas grand chose pour vous: on ne sait pas reproduire et le peu de code que vous montrez étant passablement pourri...
note: ce n'est pas un reproche, c'est un constat.

- W

**jurassic pork** · 13/02/2024, 16h57

D'après ce que j'ai pu voir il me semble que tu es sous linux. Dans une fenêtre console (terminal) lance htop qui permet de visualiser les processus en cours et la mémoire qu'ils utilisent. Regarde quel processus prend le plus de mémoire pendant ta boucle.

Out of memory, Google chrome et selenium

Python

Discussions similaires

Partager

Partager