[Résolu]Appeler WGET dans un script

Version imprimable

24/07/2017, 09h39
F6AAP

[Résolu]Appeler WGET dans un script

Bonjour,

Est-il possible d'utiliser la commande WGET dans un script PYTHON.

Je souhaite accéder à un site avec connexion automatique (user, mdp) afin de récupérer des données.

Pour l'instant je dispose d'un "bash" pour faire.

Si c'est possible, je vois un bon sujet de perfectionnement de mes connaissances de PYTHON.

Merci de votre aide,

Cordialement
24/07/2017, 10h26
nekcorp

Salut,

Il est possible d'installer un package wget pour avoir cette fonctionnalité sous python.

Sinon si tu veux utiliser le wget disponible directement sous ta distribution linux tu peux passer par le module sys de python qui permet de lancer des commandes systèmes.
24/07/2017, 10h26
wiztricks

Salut,

Pour appeler une commande externe depuis un script Python, il faut (apprendre à) utiliser le module subprocess.
Ceci dit, il y a ce qu'il faut côté bibliothèques standards (ou externes) pour écrire l'équivalent d'un "wget" sans trop d'efforts.

- W

2 pièce(s) jointe(s)

Bonjour,

J'ai suivi vos conseils et j'ai passé 2 commandes avec WGET.

Les résultats ne sont pas ceux que je souhaitais "la connexion est refusée" : je ne trouve pas mon erreur.

ci-dessous mon script avec les identifiant cachés par contre je peux les fournir en direct.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
 
#/usr/local/bin/python
from tkinter import *
from tkinter import messagebox
import sqlite3
import os
import shutil
import time
from PIL import Image
 
TMP = "/var/tmp"
USER = "xxx"
PASS = "xxx"
URL = "http://www.eqsl.cc/qslcard/"
#
# PROGRAMME PRINCIPAL
#
#
if __name__ == "__main__":
    os.system('wget -T 25 -q --cookies=on --keep-session-cookies --save-cookies="' + TMP + '/cookie.txt" -O "' + TMP +'/tmp.txt"' + URL +'"LoginFinish.cfm?Callsign="' +USER + '\&EnteredPassword=' + PASS + '\&Login=Go')
    os.system('wget -T 25 -q --referer ' + URL + '"LoginFinish.cfm?Callsign="' + USER + '\&EnteredPassword=' + PASS + '\&Login=Go --cookies=on --load-cookies="' + TMP + '/cookie.txt" --keep-session-cookies --save-cookies="' + TMP + '/cookie.txt" -O "' + TMP + '/tmp.txt" ' + URL + '"DownloadInBox.cfm"') 
# fenetre principale
if __name__ == "__main__":
    fen = Tk()
    fen.title("CHARGEMENT DES QSL DEPUIS LE SITE E-QSL")
    fen.geometry("1500x800")
 
    fen.mainloop()

J'ai mis en pièces jointes les fichiers cookie et tmp.

Votre aide me sera précieuse merci par avance.

Cordialement

25/07/2017, 12h00
nekcorp

Salut,

Alors plusieurs remarques :

Pourquoi écrire deux fois :

Code:

if __name__ == "__main__":

Ensuite, je peux me tromper mais wget ne permet il pas de télécharger des fichiers uniquement ?

Si oui, lorsque vous essayé de vous connecter à une page internet en utilisant login et mot de passe, je ne pense pas que wget puisse répondre à vos attentes.

Et pour les prochains post que vous pourriez être amené à écire n'hésitez pas à mettre le message d'erreur que vous obtenez, ça aide beaucoup et vous aurez plus de réponses de la part des gens qui liront votre problème.
25/07/2017, 14h50
wiztricks

Salut,

Citation:

Envoyé par F6AAP

Les résultats ne sont pas ceux que je souhaitais "la connexion est refusée" : je ne trouve pas mon erreur

Votre code fabrique une chaîne de caractères en fonction de variables comme URL, USER,.... et passe le résultat à os.system...
Une chose à faire est de s'assurer que votre chaîne est "bien construite": plutôt que de l'expédier à os.system, vous l'affichez avec print. Vous devriez pouvoir avec un copie/coller l'exécuter côté shell pour voir si çà fonctionne ou vérifier qu'elle est bien ce que vous attendez.

- W
25/07/2017, 15h32
nekcorp

Donc wget permet de se connecter à une page web avec login et mdp ?
25/07/2017, 16h42
wiztricks

Citation:

Envoyé par nekcorp

Donc wget permet de se connecter à une page web avec login et mdp ?

Le sujet serait plutôt comment automatiser avec Python, l'exécution d'une commande "bash"...
La première chose à s'assurer lorsqu'on passe par os.system est que la ligne de commande se retrouve bien dans la chaîne de caractères passée en argument...
Ce qui s'applique aussi à d'autres commandes!

Sinon est-ce que wget accepte une authentification, c'est plutôt une question à poser dans un forum Linux, mais oui çà le fait.

- W

Bonsoir,

Merci pour les réponses fournies : elles m'ont permis d'avancer un peu.

Tout d'abord une erreur de syntaxe dans la 1ère commande WGET : Nouvelle commande :

wget -T 25 -q --cookies=on --keep-session-cookies --save-cookies="/var/tmp/cookie.txt" -O "/var/tmp/tmp.txt" "http://www.eqsl.cc/qslcard/LoginFinish.cfm?Callsign="xxx\&EnteredPassword=xxx\&Login=Go"

avec cette commande le fichier cookie évolue :

# HTTP cookie file.
# Generated by Wget on 2017-07-25 20:32:22.
# Edit at your own risk.

www.eqsl.cc FALSE / FALSE 0 USEJPG 1
www.eqsl.cc FALSE / FALSE 0 STATE
www.eqsl.cc FALSE / FALSE 0 COUNTRY FRANCE
www.eqsl.cc FALSE / FALSE 0 NICKNAME Saint%20Georges%20des%20Gr
www.eqsl.cc FALSE / FALSE 2447087549 MENUTYPE I
www.eqsl.cc FALSE / FALSE 0 PAGELANGUAGE FR
www.eqsl.cc FALSE / FALSE 0 LOGINUSERID 54992
www.eqsl.cc FALSE / FALSE 0 LOGINHAMID 1295377
www.eqsl.cc FALSE / FALSE 0 LOGINDATE %7Bts%20%272017%2D07%2D25%2018%3A32%3A29%27%7D
www.eqsl.cc FALSE / FALSE 0 MUGWUMP C419E204BF3402651AB324BD7741E776
www.eqsl.cc FALSE / FALSE 0 LOGINCALLSIGN xxx

Je comprend pas pourquoi dans le fichier cookie on ne retrouve pas le mot de passe

ci-dessous la partie du code du site accédé concernant le loging
Code:

1 2 3 4 5 6 <TD BGCOLOR="#000000" ALIGN="LEFT" VALIGN="MIDDLE" COLSPAN="2"> <INPUT TYPE="TEXT" NAME="Callsign" SIZE="6" MAXLENGTH="15"> <INPUT TYPE="PASSWORD" NAME="EnteredPassword" SIZE="6" MAXLENGTH="14"> <INPUT TYPE="SUBMIT" NAME="Login" VALUE="Go"> </TD>
J'espère que ceci vous permettra de localiser ce qui ne va pas.

Avec tous mes remerciements anticipés,

Cordialement

25/07/2017, 20h42
wiztricks

Salut,

Citation:

Envoyé par F6AAP

J'espère que ceci vous permettra de localiser ce qui ne va pas

Si wget ne fait pas ce que vous en attendez sous bash, ce n'est pas un sujet "python" mais éventuellement "linux"...

- W

Bonjour,

Merci pour toutes vos réponses.

Mon problème se résume à une erreur de syntaxe :

bonne commande

Code:

1
2
3
4
5
6

	Code:
	
123  
wget -T 25 -q --cookies=on --keep-session-cookies --save-cookies="/var/tmp/cookie.txt" -O "/var/tmp/tmp.txt" "http://www.eqsl.cc/qslcard/LoginFinish.cfm?Callsign="xxx\&EnteredPassword=xxx\&Login=Go
wget -T 25 -q --referer http://www.eqsl.cc/qslcard/"LoginFinish.cfm?Callsign="xxx\&EnteredPassword=xxx\&Login=Go --cookies=on --load-cookies="/var/tmp/cookie.txt" --keep-session-cookies --save-cookies="/var/tmp/cookie.txt" -O "/var/tmp/tmp.txt" http://www.eqsl.cc/qslcard/"DownloadInBox.cfm"

Il me reste à intégrer les autres commandes pour arriver à mes fins.

Cordialement