Problème avec les caractères accentués depuis FPC 3/Lazarus 1.6 avec CSVDocument

Bonjour à tous

Voici mon problème, que je ne sais comment solutionner sur un programme qui fonctionnait depuis plusieurs années.

Le programme fonctionne correctement avec CSVDocument pour lire un fichier CSV pour le charger dans une base SqlIte en UTF8.

Tout allait bien jusqu'à la compilation de FreePascal V3 / Lazarus V1.6. Je sais qu'il y a eu un changement sur la gestion en natif des caractères de la FPC3, mais là je suis sec.

Depuis cette compilation, j'ai un problème avec caractères avec accents, ils ne sont plus reconnus une fois chargés , j'ai des "?" à leur place dans la base de données : Poteau chrom� R+24 restriction acc�s

Je ne sais plus où chercher pour que les données soient intégrées correctement, comme j'avais avant.

Merci de votre aide

N'utilisant pas moi-même CSVDocument, je ne peux probablement pas être d'un très grand secours, désolé. Ceci étant...

Apparemment, CSVDocument est maintenant intégré directement dans FPC (cf. sources dans fcl-base/src) depuis la version 3.0: utilisez-vous cette "nouvelle" version (ce qui serait préférable à mon avis), ou bien toujours une "ancienne" version externe ?

Que contiennent vos fichiers CSV : des données texte encodées en ANSI ? Par ailleurs, utilisez-vous la LCL dans votre programme ?

Car l'une des conséquences directement liées à l'utilisation de la nouvelle version du compilateur et de son intégration dans Lazarus (i.e. avec la LCL), est que les chaînes de caractères de type ANSI ne sont pas/plus utilisables en tant que telles (bien que ceci soit certes un "raccourci", il a au moins le mérite d'être explicite): elles sont en effet "mappées" sur les chaînes de caractères de type UTF8.

Pour les anciens programmes traitant un tel type de chaînes de caractères, ceci peut alors poser des problèmes. Et je ne suis pas certain que ceci ait été pris en compte dans la version fournie maintenant directement avec FPC (les équipes FPC et Lazarus sont différentes).


Je viens de faire un petit test rapide (basé sur "testcsvdoc" fourni avec CSVDocument): l'exemple compilé avec FPC lit et affiche ainsi correctement des données texte en ANSI depuis un fichier CSV. Mais le même exemple compilé avec Lazarus (i.e. avec la LCL), n'affiche les données correctement que si elles sont au format UTF8 dans le même fichier CSV.


*** Edit ***

Suivant la raison de votre problème (ce qui précède n'est qu'une hypothèse de ma part concernant votre utilisation de cet outil), il y a probablement un moyen simple de corriger ou tout au moins de contourner le problème: produire de fichiers CSV avec un nouvel encodage, ou bien les convertir à la volée avant de les lire; éventuellement faire la conversion du texte en interne après le chargement (car a priori l'outil semble accepter de l'UTF8 ou de l'ANSI indifféremment), mais en utilisant alors les fonctions WinCPToUTF8/UTF8ToWinCP et surtout pas les anciennes fonctions AnsiToUTF8/UTF8ToAnsi (dans le cas: Lazarus/LCL + FPC 3.0 et sans -dDisableUTF8RTL).

Citation:

---

Envoyé par cirle78

Bonjour à tous

Voici mon problème, que je ne sais comment solutionner sur un programme qui fonctionnait depuis plusieurs années.

Le programme fonctionne correctement avec CSVDocument pour lire un fichier CSV pour le charger dans une base SqlIte en UTF8.

Tout allait bien jusqu'à la compilation de FreePascal V3 / Lazarus V1.6. Je sais qu'il y a eu un changement sur la gestion en natif des caractères de la FPC3, mais là je suis sec.

Depuis cette compilation, j'ai un problème avec caractères avec accents, ils ne sont plus reconnus une fois chargés , j'ai des "?" à leur place dans la base de données : Poteau chrom� R+24 restriction acc�s

---

J'ai rencontré le même problème.
Heureusement, Lazarus met à disposition un outil "Convertir l'encodage" qui repère les fichiers non UTF8. Il suffit de cliquer sur le bouton Convertir et le tour est joué.
Il est possible également d'utiliser des utilitaires comme NotePad+, mais la méthode me semble moins élégante.