Création d'un Index de fichier *.txt avec accents

Version imprimable

05/10/2006, 19h29
panda31

Création d'un Index de fichier *.txt avec accents

Bonjour à tous.

Ma question va paraître bête à beaucoup, mais je n'arrive pas à trouver mon bonheur sur google ou sur Developpez.com.

J'ai vu le site d'Emmanuel Delahaye (une bible ces derniers temps pour moi !) et ce post : http://www.developpez.net/forums/sho...d.php?t=153534
mais rien ne me convainc vraiment.

Le projet sur lequel je bosse est en fait un créateur d'index à partir d'un fichier contenant un texte quelconque et un fichier contenant une liste de mots "non-clés". Je m'explique, je cherche tous les mots du texte potentiellement indexable selon certains critères dont leur affluance ou encore leur présence dans la liste des mots non clés.

Mon problème se situe dans la gestion des accents... Ca me semble assez récurrent comme requête mais je m'y casse les dents. Comment les traiter? Les caractères de la table ASCII étendue semblent me convenir mais j'ai lu dans le forum, ce n'est pas portable. Alors que faire ? Me pencher sur Unicode? Perso, cela me fait peur...

Auriez-vous une idée?

PETITE INFO : Devinez en quoi j'ai modélisé ça ? En Strucural Design !!! Mouaaaaaarf

Merci d'avance.
06/10/2006, 06h13
Lunixinclar

Ecris le fichier en UTF-8 ça permettra de comprendre même un fichier écrit en russe.
Bon je dis ça mais je n'ai pas trop compris le problème. Peut-être une question de locales.
06/10/2006, 11h25
Gruik

Euh non, si il doit traiter que du texte français ou anglais, le latin1 ou latin9 serait plus aproprié

Dans ton "index", il faut que tu sauvegardes aussi la version "non accentuée" de chaque mot clé.

Pour convertir une chaine accentuée latin1 en chaine non accentuée, il te faut une table d'équivalence "char accentué" => "char non accentué" dont l'indice dans le tableau correspond (avec un decallage possible) au code du caractere latin1
06/10/2006, 11h29
Gruik

Latin 1 (ISO-8859-1) : http://en.wikipedia.org/wiki/Latin1#Code_table
Latin 9 (ISO-8859-15), pareil mais avec quelques car. speciaux qui different : http://en.wikipedia.org/wiki/ISO_8859-15

Pour savoir dans quel encodage sont tes fichiers il faut que t'arrives à identifier d'où proviennent les chaines (si ça vient d'un textarea d'un formulaire sur le web, il faut voir l'encodage de la page qui contenait ce formulaire)
06/10/2006, 18h58
panda31

Merci. mais comment cela s'utilise ? (Aïe pas sur la tête!)
07/10/2006, 00h02
David.Schris
Bonjour,

Citation:

Envoyé par panda31

Me pencher sur Unicode? Perso, cela me fait peur...
Code:

1 2 3 4 5 6 7 8 #define UNICODE #include <stdio.h> #include <stdlib.h> int main(void) { wprintf(TEXT("%s\n"),TEXT("Bou!")); exit(EXIT_SUCCESS); }
T'as eu peur ?

Citation:

Envoyé par panda31

Auriez-vous une idée?

Oui : lance toi.

Citation:

Envoyé par panda31

PETITE INFO : Devinez en quoi j'ai modélisé ça ? En Strucural Design !!! Mouaaaaaarf

...et ?

Citation:

Envoyé par David.Schris

Code:

1
2
3
4
5
6
7
8
#define UNICODE
#include <stdio.h>
#include <stdlib.h>
 
int main(void) {
    wprintf(TEXT("%s\n"),TEXT("Bou!"));
    exit(EXIT_SUCCESS);
}

T'as eu peur ?

Oui :

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
 
Project   : Forums
Compiler  : GNU GCC Compiler (called directly)
Directory : C:\dev\forums\
--------------------------------------------------------------------------------
Switching to target: default
Compiling: main.c
main.c: In function `main':
main.c:6: warning: implicit declaration of function `TEXT'
main.c:6: warning: passing arg 1 of `wprintf' makes pointer from integer without a cast
main.c:8:2: warning: no newline at end of file
Linking console executable: C:\dev\forums\forums.exe
.objs\main.o: In function `main':
C:/dev/forums/main.c:6: undefined reference to `TEXT'
C:/dev/forums/main.c:6: undefined reference to `TEXT'
collect2: ld returned 1 exit status
Process terminated with status 1 (0 minutes, 6 seconds)

Là, j'ai eu moins peur :

Code:

1
2
3
4
5
6
7
8
9
10
 
#include <stdio.h>
#include <wchar.h>
 
int main (void)
{
   wchar_t ws[] = L"Bou!";
   wprintf (L"%s\n", ws);
   return 0;
}

07/10/2006, 12h23
Médinoc

Les macros TEXT() et Cie sont définies dans <tchar.h> et quelque part dans windows.h ou un header qu'il inclut.

Et elles ne s'emploient pas avec wprintf(). Elle s'emploient avec les fonctions TCHAR.

Un programme bien fait doit compiler aussi bien avec UNICODE et _UNICODE définis que sans, et mélanger des fonctions wchar_t et des fonctions TCHAR ne satisfait pas cela...
08/10/2006, 11h00
panda31

Merci de votre aide. Donc, si j'ai bien compris, il faut que je fasse comme si j'étais en ASCII mais en remplaçant printf par une fontion de TCHAR ?

Merci beaucoup.

A plus.

PS : Pour le Structural Design, c'est moche quand même...NON JE NE FAIS PAS DU JEUNISME PRIMAIRE !!! :aie: