IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

C# Discussion :

Buffer de grande taille


Sujet :

C#

  1. #1
    Membre régulier
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2022
    Messages
    109
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Meurthe et Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Mai 2022
    Messages : 109
    Points : 113
    Points
    113
    Par défaut Buffer de grande taille
    Bonjour tout le monde,

    Avec un StringBuilder, ou avec "".PadLeft(), on peut remplir un buffer de l'ordre de 2 Mo, puisque pour la taille on utilise un paramètre de type int.

    Si maintenant je veux remplir un buffer de 2 Go, est-ce qu'il faut boucler 1024 fois ?

    Ou est-ce que peut-être il existe quelque chose de plus rapide ...

    Ah tiens, avoir posé la question me fait penser à regarder du côté des tableaux.

    C'est pratique, la fonction canard en plastique des forums.

    Bon, je vais regarder ça.
    Problème de mot de passe réglé pour Gluups.

  2. #2
    Membre régulier
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2022
    Messages
    109
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Meurthe et Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Mai 2022
    Messages : 109
    Points : 113
    Points
    113
    Par défaut
    Bon ... Ça s'est quand même fini avec des boucles.

    Sans certitude d'avoir échappé au syndrome de l'usine à gaz.

    Voilà le code pour 1 Go.
    Il faut cinq à six secondes sur la machine de développement.

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
                    StringBuilder sb = new StringBuilder(1024);
                    for(int i = 0; i < 1024; i++)
                    {
                        sb.Append(" ");
                    }
                    string[] words = new string[1024 * 1024];
     
                    for(int i=0; i<words.Length; i++)
                    {
                        words[i] = sb.ToString(); 
                    }
                    foreach(string word in words)
                    {
                        sw.Write(word);
                    }
    Problème de mot de passe réglé pour Gluups.

  3. #3
    Expert éminent sénior

    Avatar de François DORIN
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Juillet 2016
    Messages
    2 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juillet 2016
    Messages : 2 761
    Points : 10 543
    Points
    10 543
    Billets dans le blog
    21
    Par défaut
    Avec un StringBuilder, ou avec "".PadLeft(), on peut remplir un buffer de l'ordre de 2 Mo, puisque pour la taille on utilise un paramètre de type int.
    Un int, c'est au maximum 2147483647, soit 2Go, pas 2Mo.

    Maintenant, je ne suis pas certains que l'usage d'un StringBuilder soit le plus recommandé ici. Je pencherai plutôt pour l'utilisation d'un StreamWriter. Et la durée va dépendre énormément du type de Stream sous-jacent. On n'aura pas les mêmes temps de réponse entre un MemoryStream, un FileStream, ou NetworkStream par exemple.
    François DORIN
    Consultant informatique : conception, modélisation, développement (C#/.Net et SQL Server)
    Site internet | Profils Viadéo & LinkedIn
    ---------
    Page de cours : fdorin.developpez.com
    ---------
    N'oubliez pas de consulter la FAQ C# ainsi que les cours et tutoriels

  4. #4
    Membre régulier
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2022
    Messages
    109
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Meurthe et Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Mai 2022
    Messages : 109
    Points : 113
    Points
    113
    Par défaut
    Bonjour,

    Oups, on dirait que je vais devoir choper un administrateur du site quelque part ...
    Depuis le week-end dernier j'ai un changement de mot de passe en attente, et hier je n'ai pas reçu de mail entre 07:44 et 11:18, donc heureusement que j'ai le tableau de bord, puisque je n'aurais pas eu connaissance de ta réponse autrement ...

    Je reçois par mail des alertes de messages des forums developpez, mais pas celui-là.

    Tiens ... à la lecture ça me semble vrai, ce que tu dis, au sujet des 2 Go.
    Pourtant, j'ai essayé de gérer des fichiers de différentes tailles, en multipliant par 1024, une fois pour des kilos, deux fois pour des mégas ...

    Je n'ai réussi à obtenir un fichier d'un giga-octets qu'avec une boucle, donc on dirait que je vais devoir attendre de pouvoir m'asseoir le temps qu'il faut pour réfléchir posément.

    Alors j'ai bien utilisé un StreamWriter pour écrire un fichier, mais après il faut lui passer en argument ce qu'on veut écrire. Et si on veut une chaîne d'une longueur confortable, c'est là qu'interviennent d'autres objets, comme StringBuilder ou "".PadLeft().

    Mais après je me suis rendu compte effectivement que c'était plus simple d'écrire :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
     
    String str = new String(' ', 1024)
    Le champ de code n'est lisible que si j'y mets au moins deux lignes. Ah oui c'est parce que j'ai dû augmenter la hauteur de l'ascenseur, et que je ne me suis pas servi du dos de la petite cuiller.

    Et alors à la place de 1024 effectivement je peux mettre deux millions, qui sont toujours int, là-dessus on dirait que je me suis loupé.

    J'ai un bouton qui crée un fichier de 1 Go en deux secondes, au moins ça c'est fait, même si manifestement je devrais pouvoir le faire avec un code plus simple.

    Mais après je voudrais quelque chose de réglable, j'écris une taille dans une zone de texte, puis je veux créer un fichier de la taille demandée.
    Et ça a l'air simple, mais finalement faire ça entre la lessive et la liste de courses, ça ne marche pas bien.

    Donc ... à bientôt.
    Problème de mot de passe réglé pour Gluups.

  5. #5
    Expert éminent sénior

    Avatar de François DORIN
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Juillet 2016
    Messages
    2 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juillet 2016
    Messages : 2 761
    Points : 10 543
    Points
    10 543
    Billets dans le blog
    21
    Par défaut
    Si l'idée est d'obtenir un fichier d'une taille donnée, on peut faire assez simple.

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
     
    string kilo = new String(' ', 1024);
    int size = 154879564;
    int sizeInKilo = size / 1024;
    int remainingSize = size % 1024;
     
    for(int i = 0; i < sizeInKilo; ++i)
    {
      writer.Append(kilo);
    }
     
    if (remainingSize > 0) 
    {
      writer.Append(new String(' ', remainingSize);
    }
    Code compact, besoin en mémoire réduit. Il suffit de mettre dans la variable size la taille désirée, et que la variable writer soit un StreamWriter sur le fichier cible. On peut même mettre le code dans une fonction pour une réutilisation facile.
    François DORIN
    Consultant informatique : conception, modélisation, développement (C#/.Net et SQL Server)
    Site internet | Profils Viadéo & LinkedIn
    ---------
    Page de cours : fdorin.developpez.com
    ---------
    N'oubliez pas de consulter la FAQ C# ainsi que les cours et tutoriels

  6. #6
    Membre régulier
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2022
    Messages
    109
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Meurthe et Moselle (Lorraine)

    Informations professionnelles :
    Activité : Développeur .NET

    Informations forums :
    Inscription : Mai 2022
    Messages : 109
    Points : 113
    Points
    113
    Par défaut
    C'est bien ce que j'ai fait.

    Le défaut, c'est que pour atteindre un giga-octet, il faut compter de l'ordre de trente secondes (à la louche, je n'ai pas noté précisément ; mais c'est peut-être plus ; et encore, avec une machine à 64 Go de mémoire).

    Alors qu'avec un autre code j'ai pu le faire en deux secondes.

    C'est pour ça que je continue à travailler dessus.
    Problème de mot de passe réglé pour Gluups.

  7. #7
    Expert éminent sénior

    Avatar de François DORIN
    Homme Profil pro
    Consultant informatique
    Inscrit en
    Juillet 2016
    Messages
    2 761
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Charente Maritime (Poitou Charente)

    Informations professionnelles :
    Activité : Consultant informatique
    Secteur : High Tech - Éditeur de logiciels

    Informations forums :
    Inscription : Juillet 2016
    Messages : 2 761
    Points : 10 543
    Points
    10 543
    Billets dans le blog
    21
    Par défaut
    Vérifies peut-être que la propriété AutoFlush est à false sur le writer. Sinon, les données sont écrites dans le stream (et donc le disque) après chaque écriture, ce qui peut pénaliser plus ou moins fortement les délais. Si la valeur est à false, les données seront buffurisées pour de meilleures performances.

    Ne pas oublier de fermer le writer une fois les écritures terminées.
    François DORIN
    Consultant informatique : conception, modélisation, développement (C#/.Net et SQL Server)
    Site internet | Profils Viadéo & LinkedIn
    ---------
    Page de cours : fdorin.developpez.com
    ---------
    N'oubliez pas de consulter la FAQ C# ainsi que les cours et tutoriels

Discussions similaires

  1. Buffer De Grande Taille
    Par rojbi dans le forum C++
    Réponses: 6
    Dernier message: 12/07/2006, 17h32
  2. problème de conversion de très très grande taille !
    Par Conficius dans le forum Langage
    Réponses: 2
    Dernier message: 05/11/2005, 22h14
  3. Réponses: 1
    Dernier message: 04/04/2005, 11h19
  4. Réponses: 6
    Dernier message: 19/10/2004, 13h46
  5. [firebird 1.5] Probleme sur tables de grande taille
    Par iguanevif dans le forum Débuter
    Réponses: 2
    Dernier message: 12/08/2004, 13h33

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo