Problème de conversion dû à l'encodage

**ovni76** · 11/12/2018, 12h02

Bonjour,
Je suis un petit utilisateur de Lazarus sous Linux depuis un certain temps et j'utilise Lazarus surtout pour la gestion de données avec sqlite3.
J'ai développé plusieurs petites applications de gestion financière dans lesquelles j'importe des fichiers de relevés bancaires au format CVS, XLS jusqu'ici sans problème.
Voiàa suite à un relevé d'une nouvelle banque les fichiers au format CSV ou XLS me donnent des données étranges quand je lis les fichiers de la manière suivante :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
Openchoix.InitialDir:=MCHEMIN+'releveCE'+MSEPARATEUR;
MEXTENSION:=Copy(OpenChoix.FileName,Length(OpenChoix.FileName)-2,3);
  if  (OpenChoix.FileName<>'') and (MEXTENSION='csv') then
  begin
  AssignFile(FICHIER, OpenChoix.FileName);{ Fichier dans la boite}
  MFICHIER:=OpenChoix.FileName;
  Reset(FICHIER); // on se positionne sur le premier enregistrement du fichier
  TAMPON:='';
  XTAB:=1;
    while not eof(FICHIER) do  // on charge un tableau avec chaque ligne lue
    begin
    Readln(FICHIER,XTAMPON);
    TAB[XTAB]:=XTAMPON;
    Inc(XTAB);
    end;
  CloseFile(FICHIER);
  DebutTraitement;
  end
  else
  begin
  MessageDLG ('Erreur, pas de fichier sélectionné', mtError, [mbCancel],0);
  end;

Je pense qu'il y a un problème de codage mais voilà je ne sais pas comment résoudre mon problème, je pense qu'il faudrait trouver le codage du fichier téléchargé et le convertir avant de le lire avec les composants de l'unité LazUtl8 mais les explications sont en anglais et le projet exemple donné ne veut pas se compiler chez moi.
Alors une petite prise en main me serait utile.
Merci d'avance

**ovni76** · 11/12/2018, 14h50

J'ai trouvé une solution pour résoudre mon problème c'est l'utilisation de la commande file -i pour connaître l'encodage et ensuite la commande iconv pour convertir mon fichier mais comment ajouter ces commandes dans mon programme lazarus, et donc rendre transparent le traitement.
C'est peut-être possible mais je ne connais pas encore cette modification.
A+

**Roland Chastain** · 11/12/2018, 22h26

Bonjour !

Est-ce que vous pourriez fournir un échantillon de fichier qui pose problème, et aussi les lignes de commande que vous avez utilisées pour résoudre le problème ? De façon qu'on puisse vous faire une réponse vraiment utile.

**ovni76** · 11/12/2018, 23h20

Bonsoir,
Merci de me répondre. Mon problème est résolu en traitant le fichier téléchargé de la manière suivante avec des commandes de linux :
La première file -i nom du fichier pour connaître son codage et ensuite la commande iconv qui permet d'indiquer le codage existant et le codage souhaité.
Ensuite mon application est capable de lire et utiliser les données du fichier reçu.
Maintenant je cherche à intégrer ces fonctions dans mon application et j'en suis à l'utilisation de Tprocess pour de réaliser les mêmes opérations mais pour l'instant ce n'est pas une réussite même en utilisant les exemples du wiki de lazarus.
En cherchant à utiliser ces exemples j'ai une erreur étrange qui m'informe que l'option de la commande

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
AProcess:=TProcess.Create(nil);
  AStringList:=TStringList.Create;
  AProcess.CommandLine:='file -i /donnees/laz_linux/bnp/releves_BNP/E3423137.csv';
  AProcess.Options:=AProcess.Options+[poWaitOnExit,poUsePipes];

AProcess.CommandLine: ne serait pas correcte ou plus d'actualité avec pour message warning : symbol "commandeline" is deprecated.
Bien étrange j'ai pourtant la dernière version validée de lazarus la 1.8.4.
Selon l'utilisation d'un exemple j'ai trouvé que le fichier à problème est codé iso-8859-1.
Donc il me reste à trouvé réaliser la même chose que via le terminal à moins de réussir à utiliser les fonctions WinCPToUtf8 ou son inverse mais pour l'instant je en sais pas les utilier d'où mon orientation vers l'utilisation de Tprocess.
A+

**Roland Chastain** · 12/12/2018, 05h56

Je pense que le plus simple serait d'utiliser les fonctions internes de Lazarus, plutôt que les commandes file et iconv.

Voici un exemple qui fonctionne chez moi (sous Windows). La fonction GuessEncoding() permet de faire une conjecture sur l'encodage du fichier. Chez moi, avec le fichier que j'ai utilisé, la fonction renvoie "cp1252". La fonction ConvertEncoding() convertit le fichier en UTF8.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
uses
  LConvEncoding;
 
procedure TForm1.Button1Click(Sender: TObject);
var
  liste: TStringList;
  texteOriginal: string;
  texteUTF8: string;
begin
  liste := TStringList.Create;
  try
    liste.LoadFromFile('mon_fichier.csv');
    texteOriginal := liste.Text;
    ShowMessage(texteOriginal);
    ShowMessage(GuessEncoding(texteOriginal));
    texteUTF8 := ConvertEncoding(texteOriginal, GuessEncoding(texteOriginal), EncodingUTF8);
    ShowMessage(texteUTF8);
  finally
    liste.Free;
  end;
end;