Discussion :

[marco056]

Bonjour,
Je me casse le nez sur un souci depuis longtemps.
Je vais sur une page sur laquelle je me connecte avec un identifiant et mot de passe.
Ensuite, je peux aller sur une autre page dont je souhaite récupérer le contenu.

J'ai fait pas mal d'essais, par exemple celui-ci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import requests
s = requests.session()
res = s.get(url)
cookies = dict(res.cookies)
 
payload = (userName, passWord)
 
with requests.Session() as session:
    post = s.post(url, auth=payload,verify=False,cookies=cookies)
    r1 = session.get(url)
    print(r1.text)
    r2 = session.get(url2)
    print(r2.text)

Quelle que soit la méthode utilisée, le message retourné est que la session est expirée et que je dois me reconnecter.
Est-il possible de contourner ce problème ?
J'ai testé également ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
import urllib.request
passman = urllib.request.HTTPPasswordMgrWithDefaultRealm()
passman.add_password(None, url, userName, passWord)
authhandler = urllib.request.HTTPBasicAuthHandler(passman)
opener = urllib.request.build_opener(authhandler)
urllib.request.install_opener(opener)
res = urllib.request.urlopen(url)
res_body = res.read()

[marco056]

Bon, j'ai avancé un peu avec robobrowser :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
import re
from robobrowser import RoboBrowser
 
br = RoboBrowser()
br.open(url)
form = br.get_form()
 
form["g_ea_cod"] = userName
form["g_ea_mot_pas"] = passWord
 
br.submit_form(form)
src = str(br.parsed())
print(src

Et là, je suis planté. Voici ce que j'ai avec l'inspecteur d'élément en image jointe.

[marco056]

En développant, j'ai imaginé ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
start = '<div class="dataTables_scrollBody"'
end = '</div>'
result = re.search('%s(.*)%s' % (start, end), src).group(1)
print(result)

mais j'obtiens l'erreur :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

AttributeError: 'NoneType' object has no attribute 'group'

Donc, a priori, rien n'est trouvé...

[wiztricks]

Est-il possible de contourner ce problème ?

Si vous écrivez:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
import requests
s = requests.session()
res = s.get(url)
cookies = dict(res.cookies)
 
payload = (userName, passWord)
 
with requests.Session() as session:
    post = s.post(url, auth=payload,verify=False,cookies=cookies)
    r1 = session.get(url)
    print(r1.text)

Vous avez créé 2 instances de Session (s et session)... et si vous faites le .post avec une puis utilisez l'autre, comment voulez vous que çà fonctionne?
Vous avez plein d'exemples sur Internet ou dans la documentation de requests... Mais il faut arriver à comprendre que qu'est le protocole HTTP sans y perdre son Python.

- W

[marco056]

Oui, effectivement, je me suis mélangé les pinceaux.
J'ai modifié et cela va beaucoup mieux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
import requests
 
payload = {"g_ea_cod" : userName, "g_ea_mo_pas" : passWord}
 
post = requests.post(url, params=payload)
r1 = requests.get(url)
print("r1.text : ", r1.text)

J'ai obtenu dans le corps ceci :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
<div id="main">
         <form name="authentification" method="post" action="authentification" onsubmit="return verifLoginPassword(this);">
                <div class="formulaire">
                        <div class="form">
                                <label style="width: 40%;">Identification :</label>
                                <span style="width: 58%;"><input type="text" size="30" name="g_ea_cod" /></span>
                        </div>
                        <div class="form">
                                <label style="width: 40%;">Mot de passe :</label>
                                <span style="width: 58%;"><input type="password" size="30" name="g_ea_mot_pas" /></span>
                        </div>
 
                </div>
                <input type="hidden" name="ACTION" value="1" />
                <div class="validation">
                        <table class="bouton">
        <tr>
                <td class="gauche"></td>
                <td class="milieu"><input type="submit" value="OK" class="bouton" />            </td>
                <td class="droite"></td>
        </tr></table>
 
                </div>
        </form>
</div>
        </div>
 </div>

J'avoue mon ignorance quant aux protocoles HTTP et la doc de requests est assez imposante mais je ne trouve pas mon bonheur.
Je souhaite accéder à des rubriques de la page, sans succès.

[marco056]

Je n'ai pas beaucoup de succès...
Du coup, je pars sur autre chose : j'espère que cela m'aidera à comprendre.
J'ai donc utilisé un site dispo pour tout le monde.
Est-ce quelqu'un peut m'indiquer comment remplir les champs ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
url = "http://www.fftt.com/site/competition/championnats-par-equipes/niveau-departemental"
 
import requests
s = requests.session()
res = s.get(url)
print(res.text)

[marco056]

Ici, j'obtiens une liste cohérente sauf que je n'ai pas la bonne page : celle qui correspond à ma recherche liée à payload.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
 
url = "http://www.fftt.com/site/competition/championnats-par-equipes/niveau-departemental"
 
payload = {"structures_foreign_id": "56",
        "persons_sexe":"M",
        "phases_id":"2",
        "competitions_id":"7505"}
 
import requests
from bs4 import BeautifulSoup
 
r=requests.get(url, data = payload ) 
soup = BeautifulSoup(r.text,'lxml')
print(soup)
products = soup.findAll('div', {'class':'partners-picture2'})
print(products)

[edit] Je vais passer mon fil en "Général Python" car j'ai l'impression qu'il n'y a pas beaucoup de passage ici...

[BufferBob]

salut marco056,

perso je te filerai bien un coup de main, mais j'avoue que j'ai rien pigé à ce que tu veux faire depuis le début