Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter
Discussion :
Erreur "Expected byte 2 of 2-byte UTF-8 sequence"
Bonjour,
J'ai fait le parsing du fichier xml par ExpSaxHandler avec SAX (le fichier est de taille 19G), le parsing se fait correctement pendant un certain temps puis il m'extrait l'erreur suivant:
Pouvez-vous m'aider?
Code : Sélectionner tout - Visualiser dans une fenêtre à part
2
3
Merci
Il y a une erreur d'encodage de caractère dans ton fichier XML, probablement sur un accent ou un autre caractère pas très US.
Le plus simple est de mesurer la position dans le fichier au fur et à mesure de la lecture, et s'arrêter quand l'erreur arrive. Ainsi, on peut regarder avec un éditeur hexa où est l'erreur précisément, et vérifier quelle est cette erreur d'encodage, ce qui permettra de réfléchir à une solution.
Ah, et si tout ça est incroyablement compliqué, c'est normal : on ne fait pas de fichiers XML de l'ordre de la dizaine de mégas, et encore moins de gigas.
rep
Tout d'abord merci pour la réponse.
Je peux pas accéder aux fichier xml pour voir où se situe l'erreur exactement.Envoyé par thelvin
Si tu veux dire n'existe pas des fichiers xml de cette taille complètement, je te dis que la base de données de wikipédia peut atteindre plus que ça (2G compréssé et 20 G décompressé), et si tu veux dire que c'est difficile à traiter je te dix que j'ai pas le choix.Ah, et si tout ça est incroyablement compliqué, c'est normal : on ne fait pas de fichiers XML de l'ordre de la dizaine de mégas, et encore moins de gigas.
?
Eh ben, ma foi, je t'ai dit grosso-modo en quoi consiste l'erreur. Je ne vois pas ce que tu peux faire de plus si tu n'as pas accès au fichier.
Et quand il y a une erreur là-dedans ils galèrent grave pour y faire quelque chose, eux aussi. Raison pour laquelle ils font des stress-test très poussé à petite échelle (quelques kilooctets,) et qu'en cas de problème ils peuvent découper en fichiers de taille raisonnable et analysable.
CQFD.
Il est toujours techniquement possible de découper en des tailles raisonnables permettant de chercher l'erreur. Si on ne te laisse pas ce choix technique, pas de chance, mais il aurait fallu qu'on te le laisse pour que la situation soit gérable. Beurre, argent du beurre, etc.
De toute façon, je t'ai indiqué comment déterminer grosso-modo à quel endroit du fichier il y a une erreur. Ce qui permettrait d'extraire cet endroit, de l'analyser et de vérifier l'erreur. Ce qui permettrait de déterminer ce qui la cause et comment réagir à tout ça.
Mais si tu n'as pas accès au fichier, ben ce fichier contient une erreur fatale et il n'y a rien à faire. Il faut des fichiers qui ne contiennent pas d'erreur fatale.
Lorsque j'ai dis que je peux pas accéder au fichier c.à.d je peux pas ouvrer le fichier directement à partir le file mais par la classe Handler je peux entrer au document et extraire quelques parties selon des conditions et je peux pas afficher tout le texte tel qu'il est.
Mon programme est d'extraire les phrases qui contiennent les mots clés que je cherche.
Peux-tu m'envoyer un lien où je peux trouver un exp de programme de découpage?
????
L'exécution reste afficher les textes désirés jusqu'à arriver à cet erreur, il s’arrête sans afficher le texte spécifique à l'erreur.
Le fichier est déja en utf-8.
et bien, tu fait un random access file dessus, tu lit à partir de 2k avant l'erreur jusque 2k après, t'en fait un nouveau fichier et tu ouvre avec un éditeur hex.
Si t'es sous unix, la commande suivante peut faire le travail
ca lit jusque 50 lignes au delà de ton erreur et ça en extrait les 200 dernière lignes.
Code : Sélectionner tout - Visualiser dans une fenêtre à part head -n 206010650 ton_fichier |tail -n 200 > extrait.bin
de toutes façons, le problème est un problème d'encodage.
Soit le fichier est un fichier utf-8 -> alors le programme qui l'a créé s'est vautré et à fait rentrer du caca. Si tu ne peux pas y accéder, demande à l'opérateur qui reçois l'erreur de le faire
Soit le fichier n'est pas en utf-8 alors deux options
-> le xml déclare que l'encodage est en utf-8: une nouvelle fois l'application qui l'a généré s'est donc vautrée
-> tu ouvre en utf-8 "par défaut" : essaie d'ouvrir avec le bon encodage.
Dans le pire des cas, tu ouvre en iso-8859-1. Comme toutes les combinaisons de byte sont valides, pas d'erreur possible, mais des accents pourris dans ton décodage si c'est pas un iso-8859-1
Sur des fichiers de cette taille, c'est pas facile-facile. Il faut aussi vérifier qu'on fait pas une connerie, en testant d'autres encodages comme ça.
c'est pour ça que j'ai mis dans le pire des cas. C'est la solution qui lit le fichier jusqu'au bout, mais probablement mal
Répondre avec citation
Partager