Discussion :

[dmganges]

Bonjour,

Je crée des fichiers texte qui pour être compatibles avec d'autres outils sont soit en UTF8 soit en ANSI/ASCII.
J'ai écrit un petit programme pour rechercher des chaînes, notamment dans ces fichiers.

Est-il possible de connaître l'encodage d'un fichier avant l'ouverture ?

de façon à faire le bon open, dans le cas présent :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

unless (open (IN, "<:utf8", $IN_Fic)) {

ou

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

unless (open (IN, "<:", $IN_Fic)) {

Mais éventuellement avec tous les autres encodages...

MERCI d'avance !

[Philou67430]

L'outil POSIX "file" permet d'obtenir l'encodage des fichiers textes (options --mime-type --mime-encoding, et même sans option).

Des modules perl qui pourraient faire quelque chose de similaires :
- File::MimeInfo::Magic
- File::Type
Mais ces modules retournent des types MIME, sans l'encodage.

Il y a le module Encode::Guess également, mais la doc n'est pas simple. Je te laisse voir ce qui sera le plus utile.

[dmganges]

MERCI pour ta réponse Philou67430,
Je vais exploiter tout çà !

[dmganges]

Superbe Philou67430
Je vais donc faire avec file !

MERCI !

[Philou67430]

file m'a aussi semblé la solution la plus facile et la plus complète. Le seul hic, est la limite de portabilité aux seuls systèmes Unix/Linux

[dmganges]

Ben non !
C'est la première idée que j'ai eu, en Unix je connaissais...
mais j'ai tenté en Win7 et c'est OK, une bricole en perl pour récupérer et c'est excellent

[Philou67430]

J'ai pas compris : comment tu fais pour récupérer file sur Win7 ?

[dmganges]

Tu vois ci-dessus que la commande file existe en Win7,
ce qui m'a époustouflé, mais bon j'en étais encore à DOS 3.3

puis en perl :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

my $Encodage = `file "$IN_Fic"`;

Entre simples quottes inversées je récupère le résultat de la commande.

[EDIT 30/7 06:25] Code supprimé et remplacé dans post suivant.


Les fichiers Com... sont en UTF-8
Les fichiers Fic... sont en ASCII car ils doivent pouvoir être lus par Balabolka.exe (synthèse vocale) qui ne connaît pas UTF-8
Et je n'ai plus le foutoir dans l'affichage...

[Philou67430]

Sur mon système Win7, file n'existe pas. Je pense que tu as installé un toolkit POSIX ou qqchose du genre :/

[dmganges]

Non, je ne l'ai pas installé explicitement.

Mais j'ai installé Microsoft Visual Studio, il n'est pas impossible que ce soit lui qui ait fait l'installation.
Où mieux encore Cygwin (POSIX)

[EDIT] le petit bout de code mérite d'être revu :
Je n'ai pas pris en compte les noms de fichier ou de répertoire qui contiennent des espaces.... et qui sèment le brin
...
[EDIT 30/7 06:27] Donc nouveau code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
my $Encodage = `file "$IN_Fic"`;
			my $Codage   = '';
			$Codage      = 'utf8' if ( $Encodage =~ 'UTF-8' );			#	$Codage      = ''     if ( $Encodage =~ 'ISO-8859' );
			unless (open (IN, "<:".$Codage, $IN_Fic)) {
				$LabMessage = "ERREUR : Impossible d'ouvrir $IN_Fic - ENCODAGE=$Encodage $! - $@\n";
				$Wm->Label->update();
				return;
			}

NB les ISO-8859, natifs, n'ont pas à être traités.

[EDIT] Je viens d'en découvrir une :
Cygwin amène les commandes POSIX dans l'invite de commande Windows,
Jusqu'à présent, lorsque j'en avais besoin j'ouvrais un terminal Cygwin

A part ces deux, je ne vois pas quel autre aurait pu l'installer, je n'ai pas grand chose, pour info :

[Philou67430]

file est bien sûr avec Cygwin, mais à moins de modifier la variable d'environnement "PATH" de Win7, tu ne devrais pas y avoir accès.
Je viens de vérifier qu'en ajoutant le dossier <root_cygwin>/bin dans PATH, la commande file devient accessible.

C'est donc doublement peu portable

[dmganges]

C'est donc doublement peu portable

Oui Philou67430, j'en suis conscient, mais maintenant, je n'ai plus les problèmes de portabilité.
C'est certes égoïste de ma part, je m'efforce de satisfaire mes petits besoins qui ne sont plus seulement informatique.
12 ans que j'ai décroché, je ne suis même plus dans le coup pour donner des avis pertinents !

Le début de mon PATH :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

C:\Strawberry\c\bin;C:\Strawberry\perl\site\bin;C:\Strawberry\perl\bin;C:\Cygwin\bin;C:\Program Files (x86)\Microsoft Visual Studio 10.0\VC\bin;C:\oraclexe\app\oracle\product\11.2.0\server\bin;C:\Windows\system32;C:\Windows;

Pour moi c'est confortable !
Avant de reconstruire mon PATH, càd avant l'installation de Strawberry_5.20, je faisais mes rares unilignes Perl sur le terminal Cygwin, je n'ai jamais pris le temps de faire l'environnement qui convient sur Windows !

En tous cas je te remercie vivement pour les solutions que tu me donnes.
Lorsqu'on a plus personne à proximité pour échanger des idées, on périclite vite en informatique

[Philou67430]

Pas d'inquiétude, ce n'est pas une critique envers ton projet ou ta manière de le gérer. Je comprends parfaitement que les contraintes d'environnement t'imposent de tels choix.
C'est juste pour informer "ceux qui auraient le même besoin".

[dmganges]

Pas d'inquiétude, ce n'est pas une critique envers ton projet ou ta manière de le gérer.

Mais tu peux !
Seulement si tu as du temps, ça ne peut qu'être profitable pour moi

J'ai modifié le test (voir ci-dessus pour les autres lecteurs), qui pour moi devient plus simple car mes recherches portent sur de UTF8 ou ISO-8859.
Ceci-dit, si un autre encodage apparaît, au pire j'ai des caractères indésirables dans le ScrolledText, et je me repaluche un test de plus
MERCI !

[Jedai]

Un truc plus portable utilisant Encode::Guess :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# par défaut, Encode::Guess ne reconnait que ascii, utf8 ou utf16 (avec ou sans BOM)
# pour lui permettre de reconnaître latin1 par exemple, rajoutez qw/ascii latin1 utf8 utf16/ après l'import.
# attention cela ne marche qu'avec un seul encodage 8-bits autre que ascii
use Encode::Guess;
 
sub guess_file_encoding {
    my $filename = shift;
    open my $fh, '<:raw', $filename
      or die "Can't open $filename to guess encoding : $!\n";
    die "No data in $filename\n" unless read $fh, my $data, 256;
    my $enc = Encode::Guess->guess($data);
    ref($enc) or die "Couldn't guess encoding of $filename.\n";
    return $enc->name();
}

Cette fonction renvoie le nom de l'encodage, qu'on peut utiliser avec la fonction decode() de Encode ou directement à l'ouverture du fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
my $filename = "/UnFichier";
my $name_enc = guess_file_encoding($filename);
open my $fh, "<:encoding($name_enc)", $filename
  or die "Can't open $filename : $!\n";

--
Jedaï

[dmganges]

Bonjour et MERCI Jedaï pour ce complément !
Philou67430 m'avait signalé ce module
C'est évidement plus portable que file !
Je vais utiliser cette solution, ne serait-ce que pour ne pas oublier l'existence de ce module !

Petite question au passage, toujours sur l'encodage.
jusqu'à présent j'écrivais :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

open IN_Fic, '<:encoding(UTF-8)', $fichier

Puis je me suis rendu compte que :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
open IN_Fic, '<:UTF-8)', $fichier
OU
open IN_Fic, '<:utf-8)', $fichier

fonctionnait également, et donc que j'utilisais sans me poser de question...

L'usage ou non de :encoding génère t-il une différence subtile qui m'aurait échappée ?

[Philou67430]

J'avais effectivement indiqué ce module, mais je n'avais pas été convaincu par ses résultats après quelques essais.

[dmganges]

J'ai un pb de détection sur un fichier sauvegardé ASCII/AINSI.
La doc du module est compliquée pour moi !
Je reviens à la solution file que je pourrais plus facilement maintenir

[Philou67430]

Sur un certain nombre de mes fichiers avec lesquels j'avais testé Encode::Guess, ce dernier soit hésitait (réponse "latin1 or utf8"), soit ne savait pas, là où file ne se trompait pas.

[dmganges]

Bonjour Philou67430,
MERCI !
Ben toi au moins on peut dire que tu suis les sujets !

Pour info, concernant le PATH indiqué ci-dessus
Avec C:\Strawberry en tête dans le PATH Windows, j'avais bien en Cygwin la visibilité de Strawberry_5.20 qui primée sur la 5.14 de Cygwin, ça semblait super...

Le PATH Cygwin étant par défaut constitué du PATH Windows suivi de /usr/local/bin:/usr/bin ça met la pagaille notamment sur la commande find.
Je me suis rendu compte qu'un :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find . -type f -size +10000 -exec ls -Sl {} \; | awk '{print $5 " " $9 }'

échouait avec awk inconnu !

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
'awk' n'est pas reconnu en tant que commande interne
ou externe, un programme exécutable ou un fichier de commandes.

Donc en Cygwin pour rétablir la situation j'ai dû faire passer en tête /usr/local/bin:/usr/bin dans .bashrc :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

export PATH=/usr/local/bin:/usr/bin:$PATH

Bien sûr maintenant en Cygwin, je ne vois plus la 5.20 Windows, mais la 5.14 d'origine Cygwin

Donc ATTENTION !
Là j'ai pu m'en rendre compte sur une commande find classique, j'aurai pu ne pas m'en apercevoir sur une autre commande et me faire avoir...