Discussion :

[Watilin]

Bonsoir,
je m'arrache les cheveux depuis trois jours sur un problème assez bête : quand je lis un fichier sur l'entrée standard, dès qu'il dépasse le millier d'octets, il est tronqué.
Je voudrais pouvoir utiliser les redirections avec mon programme, par exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

mon_programme < gros_fichier.txt

mais visiblement je ne m'y prends pas de la bonne manière.

Voici un code simpliste avec lequel je peux reproduire le problème :

Code C :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// affiche la taille d'un fichier
#include<stdio.h>
#define BUFFER_SIZE 1024
 
char buffer[BUFFER_SIZE];
int main() {
   int n;
   unsigned long long int i = 0;
   while (n = fread(buffer, sizeof(char), BUFFER_SIZE, stdin)) {
      i += n;
   }
   printf("%llu\n", i);
 
   return 0;
}

Pour les fichiers de moins de 1 Ko, ça m'affiche la bonne taille. Ça marche aussi avec un fichier un peu plus gros que mon buffer, 1197 octets. Mais pour les fichiers plus gros, j'obtiens des valeurs toujours inférieures à 1024.
J'ai essayé aussi avec fgetc, même résultat. En revanche, pas de problème quand j'ouvre le fichier directement avec fopen, mais alors je ne peux pas utiliser les redirections…

Si ça peut aider, je suis sous Windows. J'ai essayé sans succès sous cmd et Powershell – mais j'ai l'intuition que ça ne dépend pas du système. C'est agaçant, je suis sûr que je passe à côté d'un truc évident… J'ai besoin de votre aide !

[Melem]

Je vois déjà deux problèmes :

- La valeur initiale de i doit être égale à 0 et non -1. Avec ton code actuel il manquera toujours au moins 1 octet à la taille affichée. En plus i est censé être non signé ...

- stdin est toujours ouvert par défaut en mode texte, alors qu'un fichier doit être ouvert en mode binaire pour qu'on puisse obtenir correctement sa taille. En clair, ce code n'a aucune chance de fonctionner.

A part ça, il faut utiliser %llu pour afficher un long long unsigned int et mettre return 0 si tu veux faire plus joli.

[Watilin]

Ok, je corrige pour la postérité. C'est un code censé reproduire le problème, autant qu'il le fasse correctement '^^

Pour le -1 je me suis dit, peu importe qu'il soit unsigned ou pas puisque c'est représenté par quelque chose comme FFFFFFFF, et dans tous les cas, si on rajoute 1 ça fait 0.
Et pourquoi -1 ? Je l'avais mis pour tester fgetc, j'ai juste oublié de le remettre à 0…

Mais avec tout ça, on parle de la forme et pas du fond

[matafan]

Ce code fonctionne correctement sous linux, donc je pense que Melem est dans le vrai quand il parle de lire en mode binaire.

Tu pourrais commencer par tester feof() pour voir si effectivement tu es à la fin du fichier, ou si tu es sorti en erreur.

[Melem]

Mais avec tout ça, on parle de la forme et pas du fond

On parle bien du fond parce que i doit être initialisé à 0 pour espérer avoir un résultat correct et parce que je te dis qu'il faut ouvrir le fichier en mode binaire donc tu dois utiliser fopen, autrement ça ne marchera jamais.

[Watilin]

Est-ce que ça signifie que le C ne permet pas, sous Windows, de traiter des gros fichiers en utilisant les redirections ?

Pour situer un peu plus les choses, j'aimerais pouvoir utiliser mon programme dans une chaîne avec le pipe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

prog1 | prog2 | prog3 | etc.

[Melem]

La taille du fichier n'a rien à voir. Le problème c'est que stdin est toujours ouvert par défaut en mode texte, ce qui ne permet pas de calculer correctement la taille d'un fichier (3ème fois que je le répète ). Sous Unix, il n'y a pas de différence entre un fichier texte et binaire mais sous les autres systèmes, cette distinction existe la plupart du temps.

Pour situer un peu plus les choses, j'aimerais pouvoir utiliser mon programme dans une chaîne avec le pipe :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

prog1 | prog2 | prog3 | etc.

Alors fais get_file_size input.txt | prog2 | prog3 | etc. au lieu de get_file_size < input.txt, comme ça tu pourras utiliser fopen ...

[matafan]

Si on va par là, du coup c'est un peu bête de lire le fichier. Autant faire fseek(SEEK_END) + ftell(), ça sera plus rapide.

[Watilin]

Justement, on ne va pas par là. Le code que j'ai donné n'était qu'un exemple

En fait je veux réaliser un programme de cryptage/décryptage de fichiers, selon un algo perso, et je me heurte à des problèmes d'E/S avant même de commencer…

Je sais le faire avec fopen. Je sais lire un fichier, écrire dans un autre. Je peux faire mon programme en utilisant uniquement les noms de fichiers passés en argument. Mais ce n'est pas intéressant : les shells mettent à ma disposition les opérateurs <, > et |, pourquoi je ne pourrais pas m'en servir avec mon propre programme ? C'est aussi par curiosité que je pose la question.

[Obsidian]

Juste un détail, quelle valeur te renvoie sizeof (char) ? Il y a peu de chances que cette valeur soit incorrecte, mais ce serait un peu bête que les caractères texte soient considérés par défaut comme des wchar sur 16 bits…

[Melem]

Mais ce n'est pas intéressant : les shells mettent à ma disposition les opérateurs <, > et |, pourquoi je ne pourrais pas m'en servir avec mon propre programme ? C'est aussi par curiosité que je pose la question.

Je rêve ! Alors pour la 4ème fois : parce que cela va provoquer l'ouverture du fichier en mode texte. En clair, la commande prog < input.txt va provoquer avant le lancement de la fonction main un code du genre stdin = fopen("input.txt", "r");. Or, si tu veux lire un fichier de manière brute, octet par octet, pour en calculer sa taille par exemple ou pour faire un traitement particulier sur chaque octet dans le fichier, il faut ouvrir le fichier en mode binaire. En conséquence, la seule option qui s'offre à toi est d'ouvrir toi-même le fichier avec fopen ET en mode binaire. Au cas où une lecture t'intéresserait, je te propose celle-ci.

Juste un détail, quelle valeur te renvoie sizeof (char)

sizeof(char) vaut toujours 1, par définition . Tu voulais certainement voir la valeur de CHAR_BIT (défini dans <limits.h>), mais vu qu'on est sur un PC Windows, cette valeur est égale à 8.

[Obsidian]

sizeof(char) vaut toujours 1, par définition . Tu voulais certainement voir la valeur de CHAR_BIT (défini dans <limits.h>), mais vu qu'on est sur un PC Windows, cette valeur est égale à 8.

Mmpf ! Je n'ai plus les yeux en face des trous, moi…
Merci pour cette correction.

[Médinoc]

Un autre problème des flux en mode texte, c'est que les valeurs de caractères correspondant à Ctrl+D (sous *n*x) et Ctrl+Z (sous Windows) signifient la fin du flux...

[Watilin]

Bien. Puisque visiblement je parle une langue que personne ne comprend, il ne me restait plus qu'à chercher la solution par moi-même. Et… J'ai trouvé

Code C :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
#include<stdio.h>
#include<fcntl.h>
 
char buffer[1000];
int n;
 
int main() {
	setmode(fileno(stdout), O_BINARY);
	setmode(fileno(stdin), O_BINARY);
 
	while (n = fread(buffer, 1, 1000, stdin)) {
		fwrite(buffer, 1, n, stdout);
	}
 
	return 0;
}

Problème résolu.

[Melem]

Bien. Puisque visiblement je parle une langue que personne ne comprend, il ne me restait plus qu'à chercher la solution par moi-même.

On te comprenait parfaitement. Pour ma part, je ne savais tout simplement pas qu'il existait une fonction POSIX qui permettait de modifier le mode d'ouverture d'un fichier sans le réouvrir (comme avec freopen - qui est standard par contre).