Discussion :

[assoum27]

Bonjour,

actuelement j'esseye d'implémter un prog qui lit le contenu d'une page html et copie le contenu sur un fichier TXT.

j'ai réussi a l'implémenté avec codage et encodage UTF-8,

le résultat (le contenu des fichier text) seront analysé par un autre logiciel .

selement voilà ce logiciel n'accepte que les fichier codé en utf-16.

j'ai utilisé le même programme que j'ai développé pour utf-8 en remplaçant .encode('utf8') et .decode ('utf8') par utf-16.(voir ci dessous)

mais lors de l'exécution il m'a généré des erreurs et n'a pas pu s'exécuter,

#C:/python27
# -*- coding: utf-16 -*-

def lire_ecrire_fichier_txt(url, name_file):

print "décut de l'éxécution"
htmlSource = urllib.urlopen(url).read().decode('utf-16')

text=htmlSource.lower().split('<p')[1:]
path = createFile(name_file)
f = open(path, "a")
title=htmlSource.lower().split('<title>')[1:]
for i in title:

if (i[:i.find('</title>')]!=-1):
txt= i[:i.find('</title>')]
text=enlever_balise(txt)
text=netoyer_text(text)
if text!= '':
f.write((text+'\n').encode('utf-16'))
for chunk in htmlSource.lower().split('<p')[1:]:
if(chunk.find('</p>')!=-1):

if chunk[0] != '<':
text= chunk[:chunk.find('</p>')]+"\n"
txt= chunk[:chunk.find('</p>')]+"\n"
text=enlever_balise(txt)
text=netoyer_text(text)


if text!= '':
f.write((text+'\n').encode('utf-16'))

f.close()
nb_token(path)

[VinsS]

Salut,

Quelles erreurs ? Il serait bien de montrer le traceback.

Une remarque: ton script ne doit pas être obligatoirement en utf-16 pour ce que tu veux faire, l'encodage de ton script et celui de tes données n'ont rien à voir ensemble.

Exemple:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
 
# -*- coding: utf-8 -*-
 
TEXT = u"Noël au balcon, Pâques au tison"
 
with open('proverbe.txt', 'w') as objf:
    objf.write(TEXT.encode('utf-16'))
 
with open('proverbe.txt', 'r') as objf:
    txt = objf.read().decode('utf-16')
 
print txt

vincent@tiemoko:~/Bureau$ python utf16.py
Noël au balcon, Pâques au tison

D'autre part, le parsing de ton html m'a l'air encombré de choses inutiles, tes erreurs viennent peut-être de là.

[assoum27]

Merci pour ta réponse mais lorsque j'ai tenté de lire à partir de la page HTML en utf-16 avec la commande
htmlSource = urllib.urlopen(url).read().decode('utf-16')

un message d'erreur est apparu




Traceback (most recent call last):
File "<pyshell#2>", line 1, in <module>
lancer()
File "C:\Users\ESSMA\Desktop\getlien_khabar.py", line 328, in lancer
base = get_Html("http://www.elkhabar.com/ar/")
File "C:\Users\ESSMA\Desktop\getlien_khabar.py", line 216, in get_Html
htmlSource = urllib.urlopen(url).read().decode('utf-16')
File "C:\Python27\lib\encodings\utf_16.py", line 16, in decode
return codecs.utf_16_decode(input, errors, True)
UnicodeDecodeError: 'utf16' codec can't decode bytes in position 262-263: illegal UTF-16 surrogate

[wiztricks]

Merci pour ta réponse mais lorsque j'ai tenté de lire à partir de la page HTML en utf-16 avec la commande
htmlSource = urllib.urlopen(url).read().decode('utf-16')

Pourquoi essayer de décoder en "utf-16" une page HTML dans laquelle on trouve "<meta content="text/html; charset=utf-8" http-equiv="Content-Type">"?

[assoum27]

pour répondre a ta qst :

je veux construire une base de données de texte arabe

j'ai extrait le contenu d'une page HTML avec decode(utf-8)
et j'ai copié le text sur un fichier TXT avec un encode (utf-8)

j'ai implémenté ceci avec succès

mais la phase d'après, le logiciel avec le quel je veux utilisé ces fichier doivent etre txt codé en UTF-16 et utilise l'AnSi ce lodicizl est déja pret

alors comment puis je refaire la meme chose en utf -16

Merci

[VinsS]

Si tu l'as déjà fait avec succès, alors il suffit de refaire exactement la même chose en changeant uniquement la dernière étape. C'est-à-dire en enregistrant en utf-16.

Que le document original soit en utf-8 ne t'empêche pas de l'enregistrer dans un autre encodage.