Discussion :

[pepito62]

Bonjour tout le monde !

Voilà, j'ai un problème pour tronquer du texte dans les pays suivant :
- Japon (Japonnais) : 1 caractère peut aller jusqu'à 4 octets
- Corée (Coréen) : 1 caractère peut aller jusqu'à 4 octets
- Thailande (Thai) : 1 caractère peut aller jusqu'à 3 octets

Que me conseillez-vous pour tronquer une chaine de caractère, sans tronquer l'idéogramme ?
=> Je veux que le dernier "idéogramme" soit complet.


Pour le Chinois, le Vietnamien et le taiwanais, j'arrive à contrer le problème car un caractère peut aller jusqu'à 2 octets.

Dans ce cas, j'ai écris une petite procédure delphi :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
function TForm.RenvoieChaineFormatee(Chaine: String;
  NbCaractere: integer): String;
var
  AsciiVal: Integer;
  Cpt : Integer;
  C: Char;
  DebutIdeogramme : Boolean;
begin
  Result:= '';
  DebutIdeogramme := True;
  for Cpt := 1 to Length(Chaine) do
  begin
    C := Chaine[Cpt];
    AsciiVal := Ord(C);
    if (AsciiVal > 128) then
    begin
      if DebutIdeogramme then
      begin
        DebutIdeogramme := False;
        if Cpt >= NbCaractere then
          break
        else
          Result := Result + C;
      end
      else
      begin
        DebutIdeogramme := True;
        Result := Result + C;
      end;
    end
    else
      Result := Result + C;
  end;
end;

[pseudocode]

Voilà, j'ai un problème pour tronquer du texte dans les pays suivant :
- Japon (Japonnais) : 1 caractère peut aller jusqu'à 4 octets
- Corée (Coréen) : 1 caractère peut aller jusqu'à 4 octets
- Thailande (Thai) : 1 caractère peut aller jusqu'à 3 octets

Tu parles de la taille de l'encodage en UTF8 ?

[pepito62]

Non pas spécialement.
Exemple, ce caractère ㅈ est stocké sur 2 octets.

Si on lance la fonction length('ㅈ'), elle nous retourne 2.

[pseudocode]

Non pas spécialement.
Exemple, ce caractère ㅈ est stocké sur 2 octets.

Si on lance la fonction length('ㅈ'), elle nous retourne 2.

Heu... oui, tous les caractères UTF8 ne sont pas codés sur le meme nombre d'octets. Ce que je voulais savoir, c'est si tu voulais tronquer "a la fin d'un caractère UTF8" (quelque soit sa taille), ou si tu cherchais quelque chose de plus sophistiqué lié a la langue japonaise, coréene ou thai.

[Mac LAK]

Pour l'UTF8 :

Le premier octet d'une séquence permet d'en déterminer la longueur. Il suffit de compter le nombre de bits valant un au début. Il est donc possible d'extraire n'importe quelle partie d'une chaîne de caractères sans risque de couper au milieu d'un caractère. Une séquence décrivant un caractère n'apparaît jamais dans une séquence plus longue décrivant un autre caractère comme c'est le cas avec Shift-JIS par exemple.

Donc, si ton premier caractère est supérieur à 127, il te suffit de vérifier combien de bits sont mis à un dans l'octet pour avoir la taille du caractère UTF-8 en octets. S'il est inférieur ou égal à 127, alors il ne fait qu'un seul octet par convention.

Tu peux utiliser soit un For avec un masque (méthode lente), ou mieux, une LUT associant pour chaque premier octet possible la longueur adéquate (méthode très rapide, mais demande un précalcul).

[pseudocode]

ou, plus simplement un test sur la valeur du 1er octet:

0-127 : single byte sequence (US-ASCII)
194-223 : Start of 2-byte sequence
224-239 : Start of 3-byte sequence
240-244 : Start of 4-byte sequence

(source : http://en.wikipedia.org/wiki/UTF-8#Description )