Discussion :

[tourlourou]

Bonjour,
Je tâche de mettre l'export HTML de ma bibliothèque iTunes en BD UTF-8. Cette bibliothèque est originaire d'un PC sous W7.
C'est essentiellement le chemin des morceaux qui me pose problème :

1. '&' est remplacé par '&' ce qui est trivial à pallier ;
2. des caractères (souvent accentués) sont remplacés par un code hexa style '%C5%A1', plus complexe à gérer pour les raisons exposées ci-après.

Par exemple, je dois traduire :

file://localhost/C:/Users/R%C3%A9gine/Music/iTunes/iTunes%20Media/Music/Delphine%20Volange/_..Et%20de%20Delphine%20Volange%20le%20ciel%20%C3%A9tait/05%20H%C3%B4tel%20Chopin.mp3

en

file://localhost/C:/Users/Régine/Music/iTunes/iTunes Media/Music/Delphine Volange/_..Et de Delphine Volange le ciel était/05 Hôtel Chopin.mp3

Ce qui se complique pour d'autres chemins, dont les codes ne sont pas évidents... Selon les morceaux, 'À' (A majuscule avec accent grave) est codé par '%C2%A7' ou '%C3%80', par exemple, alors que sous Word il est donné pour 00C0 ! Et que Char($C2A7) me donne autre chose...

Ceci m'oblige à tâtonner, faute que fonctionne par exemple S := TIdURI.URLDecode(KeyValue);.

Je manque d'une solution globale, univoque, efficace.

Merci pour vos pistes !

[EDIT] Les exemples que je donne ne sont pas forcément justes, mais issus d'un mix qualitatif de mes nombreux errements...

[acaumes]

Bonjour,

as tu testé UTF8ToWinCP aux traductions de % près qui est normalement traité via URLdecode

Cordialement

[tourlourou]

C'est malheureusement inefficace ; merci.

[tourlourou]

Finalement, pas si variable que ça ! Mais il y avait tellement de caractères bizarrement accentués et tantôt en minuscules, tantôt en majuscules (titres de chansons oblige), que j'ai cru à des doublons.
Résolu au pris d'un remplacement systématique en piochant dans un tableau.

[BeanzMaster]

Bonsoir peut-être une solution ici
ou la avec la methode ISO_8859_1ToUTF8 Si non j'ai trouvé ça mais c'est pour l'encodage. Inverser la méthode ne me semble pas très compliqué.

Bonne soirée

Jérôme

[DomDA91]

Bonjour,

...
Résolu au pris d'un remplacement systématique en piochant dans un tableau.

A mon avis répertorier les caractères accentués (ou autres) dans un tableau est forcément limité et n'est même pas nécessaire.

Il suffit de rechercher toutes les séquences de la forme '%xx' (avec xx de 00 à FF) et de remplacer chacune de ces séquences de trois caractères par un unique caractère exprimé par Char($xx) et ce quel que soit xx.

La seule précaution à prendre est de faire cette substitution dans une variable chaîne ordinaire, pas dans une propriété chaîne car la chaîne résultat présente des états transitoires intermédiaires invalides d'un point de vue UTF-8 (lesquels peuvent être rejetés par un éventuel setter de la propriété). La chaîne résultat n'est valide qu'une fois tous les %xx substitués.

[tourlourou]

La curiosité l'ayant emporté, j'ai fait une version décodage, mais c'est galère.
Limité aux caractères codés sur 3 octets maximum, ce qui était mon cas.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
      S := UTF8StringReplace(SourceString, '&', '&', [rfReplaceAll]);
      PourCent := UTF8Pos('%', S);
      while PourCent > 0 do begin
        Hexa := '$' + UTF8Copy(S, PourCent+1, 2);
        c := StrToInt(Hexa);
        if c < $80 then
          Len := 1  // débute par 0
        else if (c and $E0) = $C0 then
          Len := 2  // débute par 110
        else if (c and $F0) = $E0 then
          Len := 3; // débute par 1110
        case Len of
          1:   CodePoint := c;
          2: begin
               CodePoint := (c and $1F) shl 6;
               if UTF8Copy(S, PourCent+3, 1) = '%' then
                 Hexa := '$' + UTF8Copy(S, PourCent+4, 2)
               else raise Exception.Create('Longueur CodePoint erronée !');
               c := StrToInt(Hexa);
               CodePoint := CodePoint + (c and $3F);
          end;
          3: begin
               CodePoint := (c and $F) shl 12;
               if UTF8Copy(S, PourCent+3, 1) = '%' then
                 Hexa := '$' + UTF8Copy(S, PourCent+4, 2)
               else raise Exception.Create('Longueur CodePoint erronée !');
               c := StrToInt(Hexa);
               CodePoint := CodePoint + ( (c and $3F) shl 6);
               if UTF8Copy(S, PourCent+6, 1) = '%' then
                 Hexa := '$' + UTF8Copy(S, PourCent+7, 2)
               else raise Exception.Create('Longueur CodePoint erronée !');
               c := StrToInt(Hexa);
               CodePoint := CodePoint + (c and $3F);
          end;
        else
          raise Exception.Create('Longueur CodePoint non gérée !');
        end;
        S := UTF8Copy(S, 1, PourCent-1) + UnicodeToUTF8(CodePoint) + UTF8Copy(S, PourCent+3*Len, UTF8Length(S)-PourCent+3*Len);
        PourCent := UTF8Pos('%', S);
      end;

[DomDA91]

Bonjour,

Ho-la la! tu d'em... bien inutilement ! La solution à laquelle je pensait est bien plus bestiale que cela. Les octets composant un caractère UTF8 est déjà fournie dans la chaine source par un nombre correspondant de %xx consécutifs et xx donne la valeur hexadécimale de chacun d'eux, il suffit simplement de les mettre sous la forme convenable.
Par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
Function ConvURL(S : RawByteString): string;
Var Pourcent, c: Integer;
    Hexa : String;
    K: Char;
Begin
      Result := S;
      PourCent := Pos('%', Result);
      while PourCent > 0 do begin
        Hexa := '$' + Copy(Result, PourCent+1, 2);
        If TryStrToInt(Hexa, c) Then
           K := Char(c)
        Else
           K := '?';   // %xx non hexadécimal
        Result := Copy(Result, 1, Pourcent-1) + k + Copy(Result, pourcent + 3, Length(Result) - Pourcent +3);
        PourCent := Pos('%', Result);
      end;
end;

[tourlourou]

Merci.

Tu as raison, mais hier je voulais mieux comprendre les codages et mécanismes, et je m'étais réservé cette approche pour cette après-midi !

[DomDA91]

Si ça peut aider, en PJ un document de ma conception sur le codage UTF-8 qui évite les fastidieux discours (et en anglais de surcroit) des spécifications Unicode ou ISO 10648.

[tourlourou]

Il est très clair, merci !