Réadaptation d'un code python de Windows sur Linux

Version imprimable

24/01/2023, 15h55
sam01

1 pièce(s) jointe(s)

Réadaptation d'un code python de Windows sur Linux

Bonjour,

j'ai un script python qu'il faudrait réadapté pour qu'il passer sur un serveur Linux.
Ce n'est pas moi qui ait développé le code. Je cherche donc un développeur (prix à négocier) pur effectuer cette réadaptation.
Voici un exemple de première erreur que j'ai en lançant le script sur un serveur linux (chez mon hébergeur) :

Pièce jointe 633062
24/01/2023, 16h40
Sve@r

Bonjour

D'après l'erreur ce ne sera pas évident. En effet, l'erreur indique que l'objet "Service", sous Linux, ne possède pas de méthode "process()" (probablement spécifique Windows).
Cela veut dire qu'il faudra trouver des équivalents ou des contournements Linux à des actions Windows...
24/01/2023, 17h01
wiztricks

Citation:

Envoyé par Sve@r

D'après l'erreur ce ne sera pas évident. En effet, l'erreur indique que l'objet "Service", sous Linux, ne possède pas de méthode "process()" (probablement spécifique Windows).

ou que le code Windows s'appuie sur des versions anciennes... et qu'il y a un minimum d'étude de l'existant à faire avant de. Mais ce n'est pas le bon forum pour recruter des programmeurs qui pourront faire un devis et réaliser la prestation.

- W
24/01/2023, 17h03
sam01

Si vous avez un bon forum à me conseiller je suis preneur ;-)
24/01/2023, 17h29
wiztricks

Citation:

Envoyé par sam01

Si vous avez un bon forum à me conseiller je suis preneur ;-)

Cherchez sur Internet des sites de freelance ou autres programmeurs.

- W
25/01/2023, 09h28
VinsS

Salut,

Ce qui est surprenant c'est que l'erreur est levée dans /selenium/webdriver/common/service.py

... ?
25/01/2023, 12h27
Diablo76

Salut,

Citation:

Envoyé par VinsS

Salut,

Ce qui est surprenant c'est que l'erreur est levée dans /selenium/webdriver/common/service.py

... ?

Bien vu 8-)

Du coup, passage Windows ➤ Linux, il est fort probable que chromedriver ne soit pas installé et que son chemin doit être précisé dans les paramètres de selenium.
25/01/2023, 12h51
sam01

Ha ben avant de faire appel à un dev, je vais essayer de voir si je peux faire ça tout seul en mettant le chemin de chromedriver comme tu le le suggère. Je ne sais pas si ça va suffire mais on verra bien. Merci
25/01/2023, 13h29
Diablo76
Citation:

Envoyé par sam01

Ha ben avant de faire appel à un dev, je vais essayer de voir si je peux faire ça tout seul en mettant le chemin de chromedriver comme tu le le suggère. Je ne sais pas si ça va suffire mais on verra bien. Merci

Tu peux le faire, sans avoir à télécharger manuellement chromedriver, il faut installer webdriver-manager qui téléchargera automatique le driver:

Code:

pip install webdriver-manager

Et la syntaxe qui fonctionne encore mais est maintenant obsolète:

Code:

driver = webdriver.Chrome("path_driver")

à remplacer par:
Code:

1 2 3 4 5 6 from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager # # driver = webdriver.Chrome(ChromeDriverManager().install())
25/01/2023, 14h05
sam01

Ha mais trop Merci diablo76.
Je vais faire ça ce soir. Je vous dit si ça à fonctionné 😀
25/01/2023, 14h49
wiztricks

Citation:

Envoyé par Diablo76

Du coup, passage Windows ➤ Linux, il est fort probable que chromedriver ne soit pas installé et que son chemin doit être précisé dans les paramètres de selenium.

La lecture des sources du module donne à penser qu'on aurait eu un message d'erreur explicite un peu avant.

- w
25/01/2023, 15h42
Diablo76

Citation:

Envoyé par wiztricks

La lecture des sources du module donne à penser qu'on aurait eu un message d'erreur explicite un peu avant.

- w

Effectivement :), du coup on tombe sur ce ticket de 2016.
A voir si une MàJ de selenium est nécessaire...
25/01/2023, 17h55
sam01

Je fais la modif ou ça sert à rien ?
25/01/2023, 18h45
wiztricks

Citation:

Envoyé par sam01

Je fais la modif ou ça sert à rien ?

Faire le changement et constater le résultat ne coute pas grand chose (surtout si ça marche).
Et si ça ne marche pas, vous ne serez pas plus avancé...

- W
25/01/2023, 22h05
marco056

Selenium change en permanence sous linux. J'ai eu ce pb de "Service" pour la première fois cette année. Tous les ans, il faut s'adapter.

Bonjour,

j'ai effectué les changements mais j'ai l'erreur suivante

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
[WDM] - Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.96M/6.96M [00:00<00:00, 53.5MB/s]
/home/swapnfly/mypythonapp/main-no-prompt.py:19: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
  driver = webdriver.Chrome(ChromeDriverManager().install())
Traceback (most recent call last):
  File "/home/swapnfly/mypythonapp/main-no-prompt.py", line 19, in <module>
    driver = webdriver.Chrome(ChromeDriverManager().install())
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 80, in __init__
    super().__init__(
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/chromium/webdriver.py", line 101, in __init__
    self.service.start()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 104, in start
    self.assert_process_still_running()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 117, in assert_process_still_running
    raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}")
selenium.common.exceptions.WebDriverException: Message: Service /home/swapnfly/.wdm/drivers/chromedriver/linux64/109.0.5414/chromedriver unexpectedly exited. Status code was: -5

Citation:

Envoyé par sam01

Bonjour,

j'ai effectué les changements mais j'ai l'erreur suivante

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
[WDM] - Downloading: 100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 6.96M/6.96M [00:00<00:00, 53.5MB/s]
/home/swapnfly/mypythonapp/main-no-prompt.py:19: DeprecationWarning: executable_path has been deprecated, please pass in a Service object
  driver = webdriver.Chrome(ChromeDriverManager().install())
Traceback (most recent call last):
  File "/home/swapnfly/mypythonapp/main-no-prompt.py", line 19, in <module>
    driver = webdriver.Chrome(ChromeDriverManager().install())
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 80, in __init__
    super().__init__(
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/chromium/webdriver.py", line 101, in __init__
    self.service.start()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 104, in start
    self.assert_process_still_running()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 117, in assert_process_still_running
    raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}")
selenium.common.exceptions.WebDriverException: Message: Service /home/swapnfly/.wdm/drivers/chromedriver/linux64/109.0.5414/chromedriver unexpectedly exited. Status code was: -5

Oupps, la bonne syntaxe est:

Code:

1
2
 
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
 
Traceback (most recent call last):
  File "/home/swapnfly/mypythonapp/main-no-prompt.py", line 19, in <module>
    driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/chrome/webdriver.py", line 80, in __init__
    super().__init__(
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/chromium/webdriver.py", line 101, in __init__
    self.service.start()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 104, in start
    self.assert_process_still_running()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 117, in assert_process_still_running
    raise WebDriverException(f"Service {self.path} unexpectedly exited. Status code was: {return_code}")
selenium.common.exceptions.WebDriverException: Message: Service /home/swapnfly/.wdm/drivers/chromedriver/linux64/109.0.5414/chromedriver unexpectedly exited. Status code was: -5

je l'ai codé comme ça

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
 
from selenium import webdriver
import time
from bs4 import BeautifulSoup
import requests
from web3 import Web3
from ens import ENS
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import csv
from tqdm import tqdm
import os
 
 
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

26/01/2023, 19h11
Diablo76
Là je ne vois pas le problème, quelle est ta version de Selenium ?
Code:

1 2 pip show selenium
Chez moi c'est la 4.8.0

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ pip show selenium
Name: selenium
Version: 4.8.0
Summary:
Home-page: https://www.selenium.dev
Author:
Author-email:
License: Apache 2.0
Location: /home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages
Requires: certifi, trio, trio-websocket, urllib3
Required-by:

Citation:

Envoyé par sam01

Code:

1
2
3
4
5
6
7
8
9
10
11
12
 
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ pip show selenium
Name: selenium
Version: 4.8.0
Summary:
Home-page: https://www.selenium.dev
Author:
Author-email:
License: Apache 2.0
Location: /home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages
Requires: certifi, trio, trio-websocket, urllib3
Required-by:

Bon... On aura essayé :?

EDIT: Par contre tu peux tenter avec Firefox :

Code:

1
2
3
4
5
6
 
from selenium import webdriver
 
url = "https://www.google.com"
driver = webdriver.Firefox()
driver.get(url)

salut.
Même punition :

Code:

1
2
3
4
5
6
7
8
9
10
11
 
Traceback (most recent call last):
  File "/home/swapnfly/mypythonapp/main-no-prompt.py", line 22, in <module>
    driver = webdriver.Firefox()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/firefox/webdriver.py", line 191, in __init__
    self.service.start()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 104, in start
    self.assert_process_still_running()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 115, in assert_process_still_running
    return_code = self.process.poll()
AttributeError: 'Service' object has no attribute 'process'

Est-ce qu'il ne suffirait pas d'adapter cette ligne ainsi:

Code:

driver = webdriver.Chrome('/path/to/chromedriver')

En mettant le chemin complet vers l'exécutable Chrome?

Ou sinon, peut-être qu'il suffirait de garder driver = webdriver.Chrome(options=options) mais ajouter quelque chose comme ça (vérifier la doc pour être sûr):

Code:

options.setBinary("/path/to/other/chrome/binary")

Vu que vous utilisez "service", voici un exemple d'utilisation:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 import time from selenium import webdriver from selenium.webdriver.chrome.service import Service service = Service('/path/to/chromedriver') service.start() driver = webdriver.Remote(service.service_url) driver.get('http://www.google.com/'); time.sleep(5) # Let the user actually see something! driver.quit()
Référence: ChromeDriver - WebDriver for Chrome - Getting started

Je vous conseille fortement de reconstituer un petit lab dans un VM par exemple. Essayez d'installer la même version de Python et de Selenium que sous Windows, afin de faire tourner votre application dans un environnement "comparable".

De toute façon, vous pouvez tester Selenium séparément de votre application et c'est ce que je vous conseille de faire. Vous pouvez partir du lien que je vous ai donné précédemment. Faites tourner Selenium dans un script à part et une fois que vous aurez validé son fonctionnement vous verrez mieux ce qu'il y a à changer dans votre code.

Merci d'avoir essayer de m'aider mais j'ai l'erreur suivante :

Code:

1
2
3
4
5
6
7
8
9
 
Traceback (most recent call last):
  File "/home/swapnfly/mypythonapp/main-no-prompt.py", line 22, in <module>
    service.start()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 104, in start
    self.assert_process_still_running()
  File "/home/swapnfly/virtualenv/mypythonapp/3.10/lib/python3.10/site-packages/selenium/webdriver/common/service.py", line 115, in assert_process_still_running
    return_code = self.process.poll()
AttributeError: 'Service' object has no attribute 'process'

avec ce code

Code:

1
2
3
4
5
6
7
8
9
10
11
 
from selenium import webdriver
 
from selenium.webdriver.chrome.service import Service
 
 
service = Service('/home/swapnfly/mypythonapp')
service.start()
 
driver = webdriver.Remote(service.service_url)
driver.get('http://www.google.com/');

28/01/2023, 18h46
sam01
je ne sais pas si c'est important mais pour me connecter à mon terminal, je tape les commandes suivantre :
Code:

1 2 source /home/swapnfly/virtualenv/mypythonapp/3.10/bin/activate && cd /home/swapnfly/mypythonapp
28/01/2023, 22h06
binarygirl

Non, comme expliqué plus haut, mettez le path complet vers l'exécutable Chrome, pas vers votre application... probablement qu'en tapant which chrome vous pouvez récupérer la bonne valeur.

la commande

Code:

which

chrome me donne ça

Code:

1
2
3
 
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ which chrome
/usr/bin/which: no chrome in (/home/swapnfly/virtualenv/mypythonapp/3.10/bin:/usr/local/cpanel/3rdparty/lib/path-bin:/usr/local/cpanel/3rdparty/lib/path-bin:/usr/local/cpanel/3rdparty/lib/path-bin:/usr/local/jdk/bin:/usr/kerberos/sbin:/usr/kerberos/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/usr/X11R6/bin:/usr/local/bin:/usr/X11R6/bin:/root/bin:/opt/bin:/opt/cpanel/composer/bin:/home/swapnfly/bin)

Pour info, j'ai mis l'exécutable chromedrive.exe dans mon application

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ ll
total 13980
drwxrwxr-x 2 swapnfly swapnfly       44 Jan 20 15:11 __pycache__
-rw-rw-r-- 1 swapnfly swapnfly     4120 Jan 26 14:34 a.txt
-rwxr-xr-x 1 swapnfly swapnfly 12358144 Jan 23 10:13 chromedriver.exe
-rw-rw-r-- 1 swapnfly swapnfly        0 Jan 27 13:36 geckodriver.log
-rw-rw-r-- 1 swapnfly swapnfly  1908226 Jan 26 14:29 get-pip.py
-rw-r--r-- 1 swapnfly swapnfly     6543 Jan 28 12:48 main-no-prompt.py
-rwxr-xr-x 1 swapnfly swapnfly     5773 Jan 23 15:41 main.py
-rw-r--r-- 1 swapnfly swapnfly      333 Jan 20 15:11 passenger_wsgi.py
-rw-r--r-- 1 swapnfly swapnfly      159 Jan 18 16:08 pip-command.txt
-rw-r--r-- 1 swapnfly swapnfly       87 Jan 20 15:20 pip-upgrade.txt
-rw-r--r-- 1 swapnfly swapnfly       28 Jan 18 16:14 pip.txt
drwxr-xr-x 2 swapnfly swapnfly        6 Jan 18 15:42 public
-rw-rw-r-- 1 swapnfly swapnfly       28 Jan 23 15:33 test.py
drwxr-xr-x 2 swapnfly swapnfly       25 Jan 18 15:42 tmp

29/01/2023, 16h49
binarygirl

Ce que je ne comprends pas très bien, c'est que vous essayez apparemment de lancer un exécutable .exe (chromedriver.exe) sous Linux ?
Vous devez installer Chrome + Selenium en suivant les instructions adaptées à votre plateforme Linux, pas juste copier un programme windows en espérant que ça va marcher sous Linux... Et une fois que ce sera fait, essayez de faire tourner Chrome puis Chrome + Selenium avant de les intégrer à votre application.

Et chromedriver à lui seul ne suffit pas, il faut aussi que Chrome soit installé. Et ensuite Selenium.

Je suis allé sur plusieurs tuto mais ma distribution ne reconnait aucune commande : ni sudo, ni yum, ni apt...
Il n'y a rien qui passe

Code:

1
2
3
4
5
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ sudo yum install ./google-chrome-stable_current_*.rpm
bash: sudo: command not found
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ yum install ./google-chrome-stable_current_*.rpm
bash: yum: command not found
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$

29/01/2023, 20h11
binarygirl

Quelle est votre distro ? A tout hasard essayez: hostnamectl.

j'ai vraiment l'impression que le système reconnaît aucune commande

Code:

1
2
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ hostnamectl
bash: hostnamectl: command not found

la version est la suivante

Code:

1
2
((mypythonapp:3.10)) [swapnfly@world-202 mypythonapp]$ cat /proc/version
Linux version 3.10.0-962.3.2.lve1.5.36.el7.x86_64 (mockbuild@buildfarm03.cloudlinux.com) (gcc version 4.8.5 20150623 (Red Hat 4.8.5-39) (GCC) ) #1 SMP Mon May 18 02:16:06 EDT 2020

30/01/2023, 00h56
binarygirl

Mais votre hébergeur (car c'est un hébergeur n'est-ce pas ?) vous a vendu quoi ?
Est-ce que vous n'êtes pas plutôt sur une espèce d'hébergement mutualisé, cheap mais qui ne vous donne aucun droit sur la machine y compris installer des packages ?
Ca ressemble un peu à un environnement bridé. Si vous n'avez pas de compte root et pas de sudo alors il faudra peut-être clarifier vos besoins auprès de l'hébergeur.

Comme vous êtes manifestement sur du Red Hat, dnf et/ou yum devraient fonctionner pour installer des packages au départ d'un repo, mais si dans le cas présent vous voulez installer un fichier .rpm préalablement téléchargé, c'est plutôt quelque chose comme ceci:

Code:

rpm -i fichier.rpm

Mais encore une fois, installer des packages requiert des droits root.
30/01/2023, 08h02
sam01

Oui c'est un hébergeur mutualisé.
Je vais me renseigner auprès d'eux pour savoir quels droits j'ai exactement.
Merci
31/01/2023, 14h57
sam01

Je viens d'avoir la réponse de mon hébergeur et c'est comme vous l'aviez dit. Je suis en hébergement mutualisé; je ne peux donc rien installé. Trop deg.
Il faut maintenant que je trouve une solution pour héberger mon script python avec possibilité d'installer des packages.
si vous avez des idées, je suis preneurs ;-)
31/01/2023, 15h33
wiztricks

Citation:

Envoyé par sam01

Il faut maintenant que je trouve une solution pour héberger mon script python avec possibilité d'installer des packages.

Déjà faire fonctionner l'application développée sous Windows sur un Linux "local" sur lequel vous pourrez installer/modifier ce que vous voulez serait un préalable...
Après vous faites un peu ce que vous voulez mais ici, c'est un forum de développeurs avec le langage Python. Pour les solutions d'hébergements, il y a des forums ad hoc ici ou ailleurs.

- W
02/02/2023, 19h10
binarygirl

Il y a des VPS pour quelques $... je doute que vous ayez besoin d'un serveur dédié rien que pour ça, juste un petit VPS.
Ou peut-être une machine chez AWS ferait l'affaire...
En attendant, je vous conseillerais de créer un environnement Linux dans une VM avec Virtualbox ou VMware. Ou bien il y a d'autres options comme utiliser une image Docker. Ainsi vous pourriez travailler sur le portage de ce projet au départ de votre poste de travail.

Gardez quand même en tête que la procédure d'installation des packages varie un peu d'une distribution à une autre, il serait donc bien d'avoir une idée dès à présent. Là vous étiez parti sur du Red hat mais ce n'est pas forcément un choix délibéré de votre part.

En réalité il n'y a pas tellement de choses à installer: Chrome, Selenium + Chrome driver mais ça demande de lire attentivement la doc.
Et peut-être quelques packages Python mais si vous travaillez dans un virtualenv c'est encore plus facile.
02/02/2023, 19h36
sam01

Merci beaucoup binarygirl pour tout ton aide et ta pédogogie.
Je vais voir comment m'installer un environnement linux sur mon Windows 10.
Merci encore 👌

Fuseau horaire GMT +2. Il est actuellement 12h30.