IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

z/OS Discussion :

Gestion de fichiers volumineux


Sujet :

z/OS

  1. #1
    Membre averti
    Inscrit en
    Mars 2004
    Messages
    1 907
    Détails du profil
    Informations forums :
    Inscription : Mars 2004
    Messages : 1 907
    Points : 411
    Points
    411
    Par défaut Gestion de fichiers volumineux
    Bonjour,

    nous avons de très gros fichiers disques dans un GDG à 32 générations :

    chaque fichier fait à peu près 600 000 tracks.

    Dans la dataclass, ces fichier sont EXTENDED, REQUIRED et COMPACTION à yes

    De plus, ils sont garantee space sur 59 volumes.

    l'allocation des fichier est la suivante : SPACE=(CYL,(480,400),RLSE)

    Les fichiers sont alimentés par paquets de 8 afin de ne pas solliciter tout l'espace d'un seul coup.

    Résultat, chaque fichier est sur 59 volumes avec une allocation d'environ : 9435 tracks par volume.

    J'aimerais changer le système d'allocation en utilisant le dsntype=large afin de profiter au maximum des model 9 et 27 qui sont à nos disposition.

    Par contre, je ne sais pas si le DSNTYPE est compatible avec la notion de compression (COMAPCTION à YES).
    Comment savoir si le paramètre de compression est efficace à à combien s'effectue la compression. Si je retire ce paramètre COMPACTION à YES, est-ce que les fichiers vont doubler de volume, vu qu'ils ne seront plus compressés ?

    D'un autre côté, je me pose la question sur la la GUARANTEE SPACE. Est-il vraiment utile ?

    GARANTEE SPACE signifie qu'il doit trouver 480 cylindres en contigu sur 59 volumes. J'ai bien peur que ce soit trop restrictif. De toutes façon, ces volumes sont réservés à ces traitement, je ne vois pas l'utilité de garantir cet espace.
    Je préférerai ne pas les mettre en GARANTEE SPACE et le laisser se trouver l'espace nécessaire avec les allocations secondraires.

    Qu'en pensez-vous ?

  2. #2
    Membre chevronné Avatar de bernard59139
    Profil pro
    Administrateur de base de données
    Inscrit en
    Octobre 2006
    Messages
    950
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Octobre 2006
    Messages : 950
    Points : 2 064
    Points
    2 064
    Par défaut
    extrait de la doc:
    7.3.4 Defining the guaranteed space attribute
    You can allocate space for single volume and multivolume data sets by specifying a storage class with the Guaranteed Space attribute. SMS fails the request when space is insufficient. The Guaranteed Space attribute does not apply to objects, but it does apply to both VSAM and non-VSAM-managed data sets. For a multivolume system-managed data set, the system preallocates primary space on all the volumes. The first volume becomes the primary volume. The remaining volumes become candidate volumes with preallocated space. The system operates differently depending on what the user codes for DISP. When the existing allocated space on the current volume becomes full with DISP=NEW or MOD, the system attempts to create secondary extents on the current volume. If not enough space is left on the current volume, the system uses the preallocated primary extent on the next volume. The system converts this next volume from a candidate volume to a primary volume. When the allocated space (possibly including secondary amounts) on the current volume becomes full with DISP=OLD or SHR, the system switches to the next volume. The system allocates new space only on the last volume. The system converts each candidate volume to a primary volume. For VSAM key-sequenced data sets with key ranges specified, KEYRANGES will be ignored if it is specified for the DEFINE CLUSTER command of IDCAMS. For information about key ranges, see the description of the DEFINE CLUSTER command in z/OS DFSMS Access Method Services for Catalogs.
    pour compaction:
    Compaction Specifies whether data is to be compressed. You can compress data on tape, or on DASD if the data set is allocated in the extended format. This field is ignored for DASD data sets if the data set name type is not EXT. A compressed data set cannot reside on the same cartridge as a data set that is not compressed. For physical sequential data sets, you can specify T or G to compress using either tailored or generic compression dictionaries. This overrides the compression option set in PARMLIB, and lets you select the type of compression on a data set level. Current users of generic dictionaries can move to using tailored dictionaries a data set at a time, as new data sets are created.
    .
    A faire vérifier que la compression est active.

  3. #3
    Membre averti
    Inscrit en
    Mars 2004
    Messages
    1 907
    Détails du profil
    Informations forums :
    Inscription : Mars 2004
    Messages : 1 907
    Points : 411
    Points
    411
    Par défaut
    Bonjour,

    la compression est bien active car lorsque je ragarde la sysout je vois le message suivant :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    ALLOCATED SUCCESSFULLY WITH 59 STRIPE(S).                                      
    IGD17160I DATA SET X.VGAR.G0001V00                                            
    IS ELIGIBLE FOR COMPRESSION                                                    
    IGD101I SMS ALLOCATED TO DDNAME (X   )                                     
            DSN (X.VGAR.G0001V00                            )                     
            STORCLAS (SVGT) MGMTCLAS (MSVGT) DATACLAS (COMP1)               
            VOL SER NOS= PDU165,PDU127,PDU152,PDU044,PDU148,PDU096,PDU145,PDU103,PD
                         PDU098,PDU097,PDU099,PDU106,PDU164,PDU110,PDU029,PDU022,PD
                         PDU137,PDU004,PDU153,PDU093,PDU021,PDU121,PDU056,PDU039,PD
                         PDU053,PDU006,PDU111,PDU043,PDU160,PDU073,PDU112,PDU126,PD
                         PDU034,PDU079,PDU067,PDU068,PDU045,PDU129,PDU070,PDU037,PD
                         PDU078,PDU082,PDU149,PDU089,PDU125,PDU024,PDU102,PDU158,PD
    IGD17271I ALLOCATION HAS BEEN ALLOWED TO PROCEED FOR DATA SET
    Mais comment connaître le taux de compression ?

    Comment quel place aurait pris le fichier sans cette compression ?

    Et ce ce qui concerne le message suivant

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    ALLOCATED SUCCESSFULLY WITH 59 STRIPE(S).
    Que signifie STRIPES ? Quel est sont intérêt ?

  4. #4
    Membre chevronné Avatar de bernard59139
    Profil pro
    Administrateur de base de données
    Inscrit en
    Octobre 2006
    Messages
    950
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations professionnelles :
    Activité : Administrateur de base de données

    Informations forums :
    Inscription : Octobre 2006
    Messages : 950
    Points : 2 064
    Points
    2 064
    Par défaut
    Mais comment connaître le taux de compression ?
    avec ISMF.
    Que signifie STRIPES ?
    si la Dataclass est en garanteed space, c'est normal.
    normalement, cela permet aux programmes d'accéder simultanément à chacun des volser (jamais vu d'utilisation de cette fonctionnalité).

  5. #5
    Membre à l'essai
    Homme Profil pro
    Analyse système
    Inscrit en
    Octobre 2014
    Messages
    10
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 59
    Localisation : France, Gironde (Aquitaine)

    Informations professionnelles :
    Activité : Analyse système
    Secteur : Service public

    Informations forums :
    Inscription : Octobre 2014
    Messages : 10
    Points : 21
    Points
    21
    Par défaut
    Le GUARANTEE SPACE est inutile à mon avis.
    Le DYNVOL COUNT de la DATACLASS doit être à 59, et tu as déjà DSNTYPE = EXTENDED REQUIRED
    et EXTENDED ADDRESSABILITY à YES.
    Donc tu peux utiliser DSNTYPE=LARGE dans les JCL, pour dépasser les 4Go par disque; nul doute qu'il te faudrait alors moins de 59 disques pour étaler tes fichiers.
    Tu ne dépasseras toujours pas 16 extents par disque, donc il pourrait être judicieux de gonfler l'allocation primaire.
    (480,400) --> 480+15*400 = 6480. On ne remplit même pas un modèle 9.

    La notion de STRIPE est attachée aux nombres de canaux utilisés simultanément pour lire ou écrire un fichier.
    La lecture/écriture se fait alors en distribuant 1 enregistrement sur chaque disque alloué, puis en recommençant jusqu'à la fin.
    En théorie, un stripping sur 8 disques va 8 fois plus vite que quand il n'y en a pas.
    En pratique, cela dépend du nombre de canaux physiques qui relient la CPU à la baie de disques. Dépasser ce nombre ne sert plus à rien (mais ne mange pas de pain !).
    C'est gentiment en train de tomber en désuétude au vu de l'évolution technique des baies de disques actuelles.

    En espérant avoir pu t'être utile !

Discussions similaires

  1. gestion de fichier à partir d'un formulaire
    Par seb59dk dans le forum Access
    Réponses: 3
    Dernier message: 06/09/2005, 16h52
  2. Fonctions de gestion de fichiers
    Par sebduth dans le forum Fortran
    Réponses: 4
    Dernier message: 22/08/2005, 10h38
  3. Chargement fichier volumineux
    Par kirsoul dans le forum Installation
    Réponses: 2
    Dernier message: 26/07/2005, 14h53
  4. [JDOM] Gestion "gros fichiers"
    Par Haazheel dans le forum Format d'échange (XML, JSON...)
    Réponses: 10
    Dernier message: 17/10/2003, 13h42
  5. [Concept] BD ou Gestion par fichier. Intérêt de la BD ?
    Par Cian dans le forum Décisions SGBD
    Réponses: 3
    Dernier message: 28/11/2002, 12h16

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo