Discussion :

[Debutant_pc]

Bonjour

Mon code lit les fichiers csv sans problème exception faite d un. J ai un message d erreur Aucun mappage pour le caractère Unicode n'existe dans la page de code multi-octet cible

Je suppose qu il s agit d un caractère qui pose problème mais lequel ?

Y a t il un moyen de le retrouver s il s agit bien de cela ?

Mon code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
FileIn := TStreamReader.Create(ed_source.Text, true);
    while not FileIn.EndOfStream do
    begin
      inc(compteur);
      Memo1.Lines.Add(FileIn.ReadLine);
      if compteur > 2 then
        break;
    end;
    FileIn.Destroy;

merci pour votre aide.

[Paul TOTH]

cette erreur se produit par exemple quand tu cherches à décoder en UTF8 un texte ansi qui contient des caractères accentués.

je n'ai jamais utilisé TStreamReader, en regardant le code cela semble devoir détecter le format du fichier...mais en fait uniquement sur le BOM (caractères d'entête)...sans BOM il prend la valeur par défaut qui n'est pas la même sous Windows (ANSI) et Android (UTF8) notamment - j'ai eu la blague.

il faudrait ouvrir le csv sous NotePad++ et regarder dans le menu Encodage ce qu'il en dit.

[SergioMaster]

je n'ai jamais utilisé TStreamReader

Moi non plus
Déjà il devrait être possible de jouer sur le Create pour forcer la détection voire l'encodage (ou plutôt le décodage)

constructor Create(Stream: TStream); overload;
constructor Create(Stream: TStream; DetectBOM: Boolean); overload;
constructor Create(Stream: TStream; Encoding: TEncoding; DetectBOM: Boolean = False; BufferSize: Integer = 4096); overload;

Mais puisqu'il s'agit de fichier CSV je me demande si un TextFile ou, s'il faut passer par un stream, TFileStream ne serait pas suffisant
quoique il y ait d'autres méthodes (par exemple avec Firedac) pour traiter les fichiers CSV

[Debutant_pc]

Merci pour vos réponses.

J ai sauvegardé mon fichier sous UTF-8 with BOM et cela fonctionne.

Concernant l'emploi du TStreamReader... Comme je débute j ai cherché des tutos sur la façon de lire de grands fichiers plus rapidement qu'avec le ReadLn.

J ai effectivement trouvé le TFileStream mais étant donné que je débute, je suis allé au plus simple. Avec le TStreamReader je lis la ligne en une seule fois alors qu avec le TFileStream je lisais caractère par caractère et reconstituais la ligne quand je lisais le saut de ligne... Mais peut être je ne l utilisais pas comme il faut....
.
En écrivant ces lignes je le dis que le TFileStream serait plus approprié étant donné que j "explode" la ligne lue. Je n aurais qu'à repérer le caractère séparateur pour chaque parties et le saut de ligne à la fin....
Je vais faire des tests...

[Debutant_pc]

Pour info voici les resultats de mes tests.
Je lis un petit .csv de 511 lignes:

Lu avec TStreamReader et "explode" de la ligne: 3 à 7 millisecondes.

Lu avec TFileStream caractère / caractère: 85 ms.

Lu avec TBufferedFileStream caractère / caractère: 1 ms. !!

Je ne connais pas la taille des fichiers à lire mais certains peuvent être très gros. Mon idée est de déterminer la taille du fichier à lire et la comparer avec la taille de la mémoire disponible et selon le cas utiliser un TBufferedFileStream ou un TStreamReader.

Donc ma question est la suivante : comment connaitre la mémoire disponible sur le système et surtout comment déterminer une "marge de manœuvre" suffisante pour ne pas avoir de dépassement mémoire car lire les données ok mails il y a leur traitement, l affichage ?

Merci pour vos conseils

[Paul TOTH]

avec TFileStream tu n'es pas obligé de lire caractère par caractère, TBufferedFileStream utilise un buffer interne pour lire par bloc, c'est pour cela qu'il est plus rapide. Donc soit tu utilises cela, soit tu lis par bloc toi même.

[Debutant_pc]

le pb que j ai avec le TFileStream c est que l on doit préciser la taille de ce que l on veut lire et moi elle n est pas fixe cette taille car le fichier n est pas organisé toujours de la même façon. Par exemple pour les dates c est un vrai pb pke certaines sont au format yyyy-mm-dd alors que d autres au format jj/mm/aaaa ou unix, tout dépend d'où j ai extrait les données....

[Paul TOTH]

le pb que j ai avec le TFileStream c est que l on doit préciser la taille de ce que l on veut lire et moi elle n est pas fixe cette taille car le fichier n est pas organisé toujours de la même façon. Par exemple pour les dates c est un vrai pb pke certaines sont au format yyyy-mm-dd alors que d autres au format jj/mm/aaaa ou unix, tout dépend d'où j ai extrait les données....

on ne s'est pas compris.

la lecture d'un fichier disque est une opération lente...ce que TBufferedStream fait, c'est de lire la fichier par paquet de 4096 octets (je crois de tête), et du coup la lecture totale est plus rapide. Tu peux faire le test de lire en boucle un FileStream octet par octet ou par bloques de 4096, tu verras une énorme différence de performance. La lecture la plus rapide sera celle qui prend des buffer de la taille des secteurs disque, puisque pour lire 1 octet il faut lire tout le secteur et en extraire un octet...ce qui prend autant de temps que de lire tout le secteur d'un coup et de conserver tous les octets dans un buffer en mémoire.

et donc ensuite, tu peux lire caractère par caractère dans le buffer de 4096 octets, le 4097ième octet sera simplement le premier du second paquet.

[Debutant_pc]

Merci

Effectivement je n avais pas compris.

J avais lu la doc pourtant mais j imaginais que cela fonctionnait comme un readln et que l on précisait la longueur de la ligne avec le nombre d octets et que du coup tout allait être décalé.

Donc c est enfin clair.
merci