IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Bibliothèque standard C Discussion :

fopen et fichiers de taille superieure a 2Go


Sujet :

Bibliothèque standard C

  1. #1
    Nouveau membre du Club
    Inscrit en
    Avril 2007
    Messages
    42
    Détails du profil
    Informations forums :
    Inscription : Avril 2007
    Messages : 42
    Points : 35
    Points
    35
    Par défaut fopen et fichiers de taille superieure a 2Go
    Bonjour a tous,

    Voila j'ai une petite question concernant la gestion des fichiers de "grande taille" et ce qu'il en est au niveau du C Ansi.

    Si je ne me trompes pas, la taille maximale possible pour un fichier dépend du système de fichier utilisé.
    Supposons que mon DD soit en Fat32 (ici au moins je suis sur de la limite a 2Go).

    Je fais un programme qui se déroule de la sorte
    1-creation d'un fichier
    2-tant que une condition n'est pas vérifiée, ecriture de données dans le fichier avec fwrite
    3-fermeture du fichier

    Je me demandais donc comment "sécuriser" mon code pour que, par exemple il s'arrête lorsque la quantité de données écrites a atteint la limite du système de fichier.

    Merci d'avance et bonne journée,
    G.

  2. #2
    Rédacteur

    Avatar de ram-0000
    Homme Profil pro
    Consultant en sécurité
    Inscrit en
    Mai 2007
    Messages
    11 517
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 61
    Localisation : France, Haute Garonne (Midi Pyrénées)

    Informations professionnelles :
    Activité : Consultant en sécurité
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Mai 2007
    Messages : 11 517
    Points : 50 367
    Points
    50 367
    Par défaut
    Citation Envoyé par GuiYom00 Voir le message
    Je me demandais donc comment "sécuriser" mon code pour que, par exemple il s'arrête lorsque la quantité de données écrites a atteint la limite du système de fichier
    Peut être en testant la valeur retournée par fwrite()

    Return Value
    The total number of elements successfully written is returned as a size_t object, which is an integral data type. If this number differs from the count parameter, it indicates an error.
    Raymond
    Vous souhaitez participer à la rubrique Réseaux ? Contactez-moi

    Cafuro Cafuro est un outil SNMP dont le but est d'aider les administrateurs système et réseau à configurer leurs équipements SNMP réseau.
    e-verbe Un logiciel de conjugaison des verbes de la langue française.

    Ma page personnelle sur DVP
    .

  3. #3
    Nouveau membre du Club
    Inscrit en
    Avril 2007
    Messages
    42
    Détails du profil
    Informations forums :
    Inscription : Avril 2007
    Messages : 42
    Points : 35
    Points
    35
    Par défaut
    Je pensais aussi a ca, mais dans ce cas est il possible de faire une difference entre par exemple un disque plein et un cas ou la taille maximale est atteinte?

    Remarque je pourrai utiliser une fonction qui permet d'estimer la taille actuelle du fichier et essayer de "deduire" de cela la cause de l'erreur mais si il y a plus "propre" je suis preneur

  4. #4
    Expert éminent
    Avatar de Melem
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Janvier 2006
    Messages
    3 656
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Janvier 2006
    Messages : 3 656
    Points : 8 389
    Points
    8 389
    Par défaut
    Citation Envoyé par GuiYom00 Voir le message
    Je pensais aussi a ca, mais dans ce cas est il possible de faire une difference entre par exemple un disque plein et un cas ou la taille maximale est atteinte?
    Pourquoi faire? Que feras-tu dans l'un ou dans l'autre cas? Il n'y a pas de meilleure solution portable que ce que ram_0000 t'as dit. Tout ce que tu peux faire c'est informer l'utilisateur de la cause de l'erreur, avec perror par exemple.
    Citation Envoyé par GuiYom00
    Remarque je pourrai utiliser une fonction qui permet d'estimer la taille actuelle du fichier et essayer de "deduire" de cela la cause de l'erreur ...
    Ah oui? et comment? En supposant que lorsqu'il y a erreur par exemple alors qu'on n'a pas atteint la limite alors c'est que le disque est plein? Au fait en parlant de limite, y a pas de fonction standard qui permet de la connaître ...
    Citation Envoyé par GuiYom00
    Supposons que mon DD soit en FAT32 (ici au moins je suis sur de la limite a 2Go)
    4Go.

  5. #5
    Nouveau membre du Club
    Inscrit en
    Avril 2007
    Messages
    42
    Détails du profil
    Informations forums :
    Inscription : Avril 2007
    Messages : 42
    Points : 35
    Points
    35
    Par défaut
    Citation Envoyé par Melem Voir le message
    Pourquoi faire? Que feras-tu dans l'un ou dans l'autre cas? Il n'y a pas de meilleure solution portable que ce que ram_0000 t'as dit. Tout ce que tu peux faire c'est informer l'utilisateur de la cause de l'erreur, avec perror par exemple.
    Voila en fait ce que je voudrais faire :
    Si fwrite renvoie 0 a cause du disque plein
    alors : arrêt du programme en informant l'utilisateur
    Si fwrite renvoie 0 car le fichier est trop gros
    alors : création d'un nouveau fichier pour continuer les enregistrements

    La aussi pour "identifier" l'erreur je peux tenter de créer un nouveau fichier en inscrivant 1octet dedans,
    si fwrite renvoie 1 => j'etais bien en taille limite de fichier
    si fwrite renvoie 0 =>arret du programme et informer l'utilisateur l'erreur était "autre"

    Citation Envoyé par Melem Voir le message
    Ah oui? et comment? En supposant que lorsqu'il y a erreur par exemple alors qu'on n'a pas atteint la limite alors c'est que le disque est plein? Au fait en parlant de limite, y a pas de fonction standard qui permet de la connaitre ...
    4Go.
    Oups pour les 2Go au lieu de 4Go j'etais mal reveillé moi :S
    Ensuite pour connaitre la taille du fichier etant donné qu'il s'agit de fichiers binaires, il y a la fonction proposée dans la FAQ C par ex
    http://c.developpez.com/faq/?page=fi...HIERS_filesize

  6. #6
    Expert éminent
    Avatar de Melem
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Janvier 2006
    Messages
    3 656
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Janvier 2006
    Messages : 3 656
    Points : 8 389
    Points
    8 389
    Par défaut
    Voila en fait ce que je voudrais faire :
    Si fwrite renvoie 0 a cause du disque plein
    alors : arrêt du programme en informant l'utilisateur
    Si fwrite renvoie 0 car le fichier est trop gros
    alors : création d'un nouveau fichier pour continuer les enregistrements
    fwrite ne retourne pas forcément 0 lorsqu'ily a une erreur. Lis bien la doc de cette fonction. On ne peut pas connaître de manière portable si un disque est plein ou non. De même il n'y a pas de fonction portable qui permette de conaître la taille limite dans le système de fichiers. Même la valeur placée dans errno par une fonction pour indiquer la cause d'une erreur est dépendante (pas à 100% quan même) de l'implémentation ...
    La aussi pour "identifier" l'erreur je peux tenter de créer un nouveau fichier en inscrivant 1octet dedans,
    si fwrite renvoie 1 => j'etais bien en taille limite de fichier
    Comme je l'ai dit, tu vas supposer ... Tout ce que tu peux en déduire d'une manip de ce genre c'est qu'il est possible que ...
    Ensuite pour connaitre la taille du fichier etant donné qu'il s'agit de fichiers binaires, il y a la fonction proposée dans la FAQ C par ex
    J'ai jamais dit qu'on ne pouvait pas calculer la taille d'un fichier.

  7. #7
    Membre du Club
    Profil pro
    Inscrit en
    Décembre 2007
    Messages
    52
    Détails du profil
    Informations personnelles :
    Âge : 38
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Décembre 2007
    Messages : 52
    Points : 66
    Points
    66
    Par défaut
    Tu peux verifier la valeur de errno:

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
     
    if ((size = fwrite(.......)) == 0)
     if (errno == EFBIG)
       {
           perror("myprog");
           exit(1); 
        }
    les codes de errno set par fwrite:
    http://www.mkssoftware.com/docs/man3/fwrite.3.asp
    Puis si tu ne connais pas errno:
    http://www.linux-kheops.com/doc/man/...3/errno.3.html

    Globalement c'est pas mal de proteger tous les appels systemes de cette maniere. Utiliser perror permet d'avoir un message explicite "automatiquement" en fonction de la valeur de errno.

  8. #8
    Expert éminent
    Avatar de Melem
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Janvier 2006
    Messages
    3 656
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 38
    Localisation : France, Essonne (Île de France)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Électronique et micro-électronique

    Informations forums :
    Inscription : Janvier 2006
    Messages : 3 656
    Points : 8 389
    Points
    8 389
    Par défaut
    Citation Envoyé par totaliou Voir le message
    Tu peux verifier la valeur de errno:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
     
    if ((size = fwrite(.......)) == 0)
     if (errno == EFBIG)
       {
           perror("myprog");
           exit(1); 
        }
    Voilà un bon exemple de code dépendant d'une implémentation (EFBIG). Merci.

  9. #9
    Membre du Club
    Profil pro
    Inscrit en
    Décembre 2007
    Messages
    52
    Détails du profil
    Informations personnelles :
    Âge : 38
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Décembre 2007
    Messages : 52
    Points : 66
    Points
    66
    Par défaut
    Citation Envoyé par Melem Voir le message
    Voilà un bon exemple de code dépendant d'une implémentation (EFBIG). Merci.
    Effectivement l'implem. de fwrite n'est pas normalisé à ce niveau. Au temps pour moi. La portabilité.... un vrai problème
    Merci.

  10. #10
    Expert éminent sénior
    Avatar de Emmanuel Delahaye
    Profil pro
    Retraité
    Inscrit en
    Décembre 2003
    Messages
    14 512
    Détails du profil
    Informations personnelles :
    Âge : 67
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Retraité

    Informations forums :
    Inscription : Décembre 2003
    Messages : 14 512
    Points : 20 985
    Points
    20 985
    Par défaut
    Citation Envoyé par totaliou Voir le message
    Effectivement l'implem. de fwrite n'est pas normalisé à ce niveau. Au temps pour moi. La portabilité.... un vrai problème
    Merci.
    Le problème, c'est de ne pas lire les docs de référence...

    http://www.opengroup.org/
    Pas de Wi-Fi à la maison : CPL

  11. #11
    Membre du Club
    Profil pro
    Inscrit en
    Décembre 2007
    Messages
    52
    Détails du profil
    Informations personnelles :
    Âge : 38
    Localisation : France, Paris (Île de France)

    Informations forums :
    Inscription : Décembre 2007
    Messages : 52
    Points : 66
    Points
    66
    Par défaut
    Citation Envoyé par Emmanuel Delahaye Voir le message
    Le problème, c'est de pas lire les docs de référence...

    http://www.opengroup.org/
    Cela reste un problème...
    Il y a t-il une doc sur opengroupe.org particulière? C'est un peu déroutant sans recherche spécifique.

  12. #12
    Expert éminent sénior
    Avatar de Emmanuel Delahaye
    Profil pro
    Retraité
    Inscrit en
    Décembre 2003
    Messages
    14 512
    Détails du profil
    Informations personnelles :
    Âge : 67
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Retraité

    Informations forums :
    Inscription : Décembre 2003
    Messages : 14 512
    Points : 20 985
    Points
    20 985
    Par défaut
    Citation Envoyé par totaliou Voir le message
    Cela reste un problème...
    Il y a t-il une doc sur opengroupe.org particulière? C'est un peu déroutant sans recherche spécifique.
    POSIX.1 tu t'inscris, c'est gratuit, pas de spam.
    Pas de Wi-Fi à la maison : CPL

  13. #13
    Nouveau membre du Club
    Inscrit en
    Avril 2007
    Messages
    42
    Détails du profil
    Informations forums :
    Inscription : Avril 2007
    Messages : 42
    Points : 35
    Points
    35
    Par défaut
    Désolé de la réponse tardive, je n'ai pas pu me repencher sur ce probleme recement...

    Donc merci pour vos réponses et je vais faire avec ces informations pour gerer ca. Je vais faire une version POSIX.1 si présent et dans le non POSIX.1 je pense m'orienter la dessus :
    definir une taille maximale de fichier en Mo: 1024Mo par ex
    -dans les routines d'ecriture, si taille actuelle+taille nouvel enregistrement <taille maximale, on écrit
    -si taille actuelle+taille nouvel enregistrement >taille maximale, on crée un nouveau fichier.
    -si le nombre d'éléments écrits par fwrite est différent du nombre d'éléments a écrire =>erreur et arret du programme.
    Je sais que ce systeme n'est pas parfait, mais j'essaye de trouver le meilleur compromis pour mon problème, étant donné que ces fichiers peuvent nécessiter facilement plusieurs jours pour etre obtenus.
    De plus je possèdes des moyens tiers d'analyse des fichiers en "post-traitement" qui peuvent permettre de vérifier si les données présentes sont cohérentes ou pas



    PS : Merci Emmanuel pour les liens sur l'opengroup, je vais garder ca en bookmark

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Trier des fichiers par taille par le VB
    Par tedparker dans le forum Access
    Réponses: 2
    Dernier message: 23/08/2006, 11h59
  2. taille des fichiers et taille des segments
    Par pline dans le forum Sybase
    Réponses: 1
    Dernier message: 12/06/2006, 18h30
  3. Ouvrir un fichier de taille aleatoire...
    Par nairolf_ dans le forum C
    Réponses: 4
    Dernier message: 24/01/2006, 20h18
  4. [Perf] Optimiser la lecture d'un fichier de taille > 2 m
    Par sacofan dans le forum Entrée/Sortie
    Réponses: 7
    Dernier message: 22/07/2005, 13h25
  5. Ouvrir (fopen) un fichier caché
    Par shef dans le forum C
    Réponses: 2
    Dernier message: 09/09/2002, 09h06

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo