Discussion :

[N_BaH]

Bonjour,

j'ai ce code simple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/usr/bin/python3
# -*-coding: utf-8 -*-
 
import requests
from bs4 import BeautifulSoup as bs
 
with requests.get('https://www.developpez.net/forums/f806/systemes/autres-systemes/mobiles/') as r:
	soup = bs(r.content,'html.parser')
	with open('/tmp/dvp.html', 'w') as f:
		f.write(str(soup))

le HTML qui en résulte montre que les apostrophes sont convertit en "private use two" (des "quotes") : ","name":"La part de march\u00e9 de l\u0092iPhone grimpe \u00e0 55 % aux USA alors que les ventes.

que puis-je faire au niveau de mon code (à part faire un replace()) pour avoir un "encodage" correct ?
si c'est le fait du forum, à qui puis-je m'adresser pour qu'il cesse cette pratique ?; )

[jurassic pork]

Hello,
ce n'est pas beautifulsoup qui est en cause mais plutôt la chaîne qu'on lui donne en entrée :
Dans google chrome si on fait Afficher le code source de la page on trouve que :

"name":"La part de march\u00e9 de l\u0092iPhone grimpe \u00e0 55 % aux USA alors que les ventes d\u0092appareils Android chutent fortement"

se trouve dans un script

<script type="application/ld+json">

Si dans google chrome on utilise Plus d'outils/outils de développement qui permet de visualiser le code de la page dont les scripts ont été exécutés on trouve :

La part de marché de l’iPhone grimpe à 55 % aux USA alors que les ventes d’appareils Android chutent fortement

ce qui est correct.

il faut un module comme selenium pour obtenir la page dont les scripts on été interprétés par un navigateur.
voir ici : scrape-content-from-dynamic-websites

To scrape content from a static page, we use BeautifulSoup as our package for scraping, and it works flawlessly for static pages. We use requests to load page into our python script. Now, if the page we are trying to load is dynamic in nature and we request this page by requests library, it would send the JS code to be executed locally. Requests package does not execute this JS code and just gives it as the page source.
BeautifulSoup does not catch the interactions with DOM via Java Script. Let’s suppose, if you have a table that is generated by JS. BeautifulSoup will not be able to capture it, while Selenium can.
If there was just a need to scrape static websites, we would’ve used just bs4. But, for dynamically generated webpages, we use selenium.

Ami calmant, J.P

[wiztricks]

Salut,

que puis-je faire au niveau de mon code (à part faire un replace()) pour avoir un "encodage" correct ?
si c'est le fait du forum, à qui puis-je m'adresser pour qu'il cesse cette pratique ?; )

Un solution sera de décoder la chaine de bytes reçue (r.content) avec l'encoding unicode_escape (i.e récupérer l'unicode retourné par r.content.decode('unicode_escape')) ou d'ajouter from_encoding='unicode_escape' à l'appel à BS.

Est-ce que cet encodage est correct? A mon sens, si on fait le scrapping d'un site, on doit se débrouiller pour rendre consommable le contenu qu'on récupère... ce qui le maintiennent se contentent d'assurer que le rendu des contenus sont lisibles par différents navigateurs.

- W

[N_BaH]

il faut un module comme selenium pour obtenir la page dont les scripts on été interprétés par un navigateur.

je trouve selenium lourd; je le réserve pour les cas où le code de la page n'est pas accessible sans "interface graphique".
ici, le code est accessible, il n'y que quelques caractères (je crois qu'il y en a au moins un autre) qui sont modifié entre ce qui est entré (je suppose) par le PO et ce que je reçois.

ou d'ajouter from_encoding='unicode_escape' à l'appel à BS

c'est sans effet.
et r.content.decode('unicode_escape') provoque une erreur : <stdin>:8: DeprecationWarning: invalid escape sequence '\/'.

soit dit en passant, je ne parviens pas à faire un replace()

[binarygirl]

Je me tournerais plutôt vers la normalisation Unicode, par exemple unicodedata.normalize('NFKD', <string>)

[N_BaH]

unicodedata.normalize ne change pas grand-chose.

par contre, ça a mis en évidence que pour remplacer \u0092, il faut faire un replace('\\u0092','\\u0027')

[wiztricks]

c'est sans effet.
et r.content.decode('unicode_escape') provoque une erreur : <stdin>:8: DeprecationWarning: invalid escape sequence '\/'.

Chez moi, çà marche et pour le warning je vous suggère la lecture de cet article sur OVF.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> b'zzz\\u0092Xyz\\u00e9'.decode('unicode_escape')
'zzz\x92Xyzé'
>>>

Le \x92 est une question de glyph inexistante (comparé au é). On peut le remplacer dans un 2ème temps:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
>>> _.replace('\x92', '*')
'zzz*Xyzé'
>>>

- W

[jurassic pork]

Hello,
si on regarde le code source de la page, on s'aperçoit que suivant les articles, les apostrophes utilisées dans les titres ne sont pas toujours du même type : donc l'introduction de ce \u0092 serait dû aux auteurs des articles ? le \u0092 ne correspond pas au code "standard" de l'apostrophe.

The character ’, or U+0092, falls under the Unicode category "C1 Controls and Latin-1 Supplement". Officially, this Unicode code point is designated as a control character, specifically "Private Use Two" in the C1 control code set. Its usage is not standardized and it can be used for any purpose defined by a specific implementation. It's worth noting that in many contexts, this code point is incorrectly used to represent the typographical apostrophe or right single quotation mark (’), due to legacy issues with some software and systems. The standard Unicode characters for these marks are U+2019 (right single quotation mark) and U+02BC (modifier letter apostrophe), respectively.

Ami calmant, J.P

[CosmoKnacki]

La situation est bien obscure entre la quasi-intégralité de la page encodée en utf-8, la balise <meta content="text/html; charset=iso-8859-1" http-equiv="Content-Type"/>, la partie json qui présente des soit-disant code-point UNICODE mais qui sont en réalité des octets d'iso-8859-1 déguisés en code-point, ajoutons à ça la magie noire pratiquée par BeautifulSoup pour être "arrangeant". Bref, j'ai trouvé ça, mais franchement, je ne peux pas te garantir que ça fonctionnera pour toutes les pages du site.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
#!/usr/bin/python3
# -*-coding: utf-8 -*-
 
import requests
from bs4 import BeautifulSoup as bs, UnicodeDammit as ud
 
with requests.get('https://www.developpez.net/forums/f806/systemes/autres-systemes/mobiles/') as r:
    markup=ud(r.content, ['iso-8859-1'], smart_quotes_to='html').unicode_markup
    soup = bs(markup, features='html.parser')
 
    with open('/tmp/dvp.html', 'w') as fo:
        fo.write(str(soup))