Discussion :

[wooster]

Bonjour,
comment intercepter dans une variable un message d'erreur donné (lors d'un while <F>) 'utf8 "\xB6" does not map etc.' ou 'Malformed UTF-8 etc." de façon à interrompre un traitement d'un fichier non codé en utf-8 (et détecter dans une grande quantité de .txt d'Europe de l'est ceux qui ne sont pas en utf8 et les transcoder sans les ouvrir un à un [NB un test par num. de code ne marche pas, étant transformé en celui de la grille utf8]) ?
J'ai repris Perl après une assez longue interruption. Quelqu'un peut m'aider ou m'indiquer où trouver précisément le renseignement ?
Merci d'avance.

[wooster]

dois me contenter provisoirement du test if ord(car) = 0, en espérant que le comportement constaté sur exemples est général ; oui, lire la doc... j'y pense.
while (<F>) {
map {$bad=1 if ord($_)==0} split //;
if ($bad) {push @non_utf, $nomfich ; last}
}

[djibril]

Peux tu nous montrer un code un peu plus complet ?

[wooster]

Hello Djibril,
merci d'avoir jeté un coup d'oeil. Avant de poursuivre, me suis lancé dans quelques nouveaux tests (il y a pourtant sans doute une super doc sur le sujet, mais je sature déjà avec d'autres perltut et autres). Pour simplifier la vie avec des codages hétérogènes. Suite à bientôt sans doute...

[wooster]

La question : comment transformer sans les ouvrir à la main des fichiers .txt d'origine diverse en .utf.
- les fichiers à traiter sont suffixés .asc .iso2 .cp .utf .txt (et .htm .mht .docx etc.).Laissons les derniers (autre approche) et les .utf.
Pour les extensions explicites, aucun problème, ouverture selon codage (cp1250, ISO-8859-2) et réécriture utf8. Pour les .asc, rien ne leur redonnera leurs diacritiques, ils peuvent donc aussi être transformés directement (leur particularité sera notée dans la double extension .asc.utf)
Restent les nombreux .txt (=asc?=cp? =iso2 =utf?). Le but : un test permettant de détecter automatiquement (avec un nombre raisonnable d'erreurs) leur encodage. Les asc n'ont que des codes < 128. Le BOM intial des utf, présent ou non, visible ou non, ne mène pas très loin. Quant à cp et iso2 (en gros), ils ont en commun de provoquer, ouverts en utf8, une erreur (pour leurs codes "asc. étendu" (128-255), codés sur un seul octet, dont le '1' en 1e position ne respecte pas le formalisme utf-8... ou le respecte par hasard et aboutit à des aberrations).
J'avais pensé intercepter à la volée le message d'avertissement ou d'erreur, si c'était possible ; ou vérifier si les codes fautifs génèrenttous un code 0. La 1e sol. : sais pas comment faire sans la lourdeur d'un fichier d'erreurs. La 2e, après tests plus précis, ça pose problème (refus parfois muets d'écriture).
En parcourant la doc, nouvelle solution, simple, mais dont je ne sais pas si elle doit s'accompagner de précautions (la doc de base n'est pas trop claire) : ça a l'air de marcher (sur échantillons réels) en permettant de tester sur octets (mais : choisir 'read' ou 'binmode' ? pièges ? ...) :

[wooster]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
foreach (@fich) {
	...
	open $fh, "<$fich" or die " >>>> pb : $!";
	...
	read ($fh, $car,1) ; if (ord($car)==239) {$ext=".u_f" ;  close $fh ; next}	#   vs ZWNBS ; u_f2utf
	while (!$ext) {
		my $nb=read ($fh, $car, 1); last if $nb==0;
		ord($car)=~/(195|196|197)|(156|159)|(177|182)/ ;
		if ($1) {$ext=".utf"; last}				# ou u_f : u_f2utf
		if ($2) {$ext=".cp"; last}				# cp2utf
		if ($3) {$ext=".iso2"; last}				# iso2utf
	}
	if (!$ext) { print "$fich à vérifier\n"}				# queltype2
	close $fh;
}