IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Windows Forms Discussion :

streamreader.Readfile et lenteur


Sujet :

Windows Forms

  1. #1
    Membre éclairé
    Inscrit en
    Septembre 2007
    Messages
    1 137
    Détails du profil
    Informations personnelles :
    Âge : 40

    Informations forums :
    Inscription : Septembre 2007
    Messages : 1 137
    Points : 707
    Points
    707
    Par défaut streamreader.Readfile et lenteur
    Bonjour,

    je lis un fichier .csv qui contient plusieurs milliers de ligne (18000 à 200000)
    Je recupere des infos que je transmet ensuite dans une base de donnée le tout en LinQ.

    Tout fonctionne tres bien, mis á part que le temps d'execution est de plus en plus lent.

    Au debut entre 30 et 35 lignes du fichiers par seconde et au bout de la 4000 lignes plus que 20 lignes/seconde et ainsi de suite.

    Que puis-je faire pour que le temps reste constant. Une idée ?
    Merci

  2. #2
    Membre actif Avatar de Neiflheim
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2011
    Messages
    135
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : France, Vaucluse (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Développeur .NET
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Mai 2011
    Messages : 135
    Points : 269
    Points
    269
    Par défaut
    Bonjour,

    Tu lis le fichier dans sa globalité puis tu traites les lignes? Ou tu lit ligne par ligne le fichier? (J'ai constaté de meilleure performances pour la lecture ligne par ligne en traitant des fichiers de 400.000 lignes)).

    Pour comparaison, je lis environ 600.000 lignes au total que j'insère dans une base de données après plusieurs traitements en environ 4/5 secondes...
    si mon message a été utile - si je suis à côté de la plaque - quand vous avez la réponse à votre question

  3. #3
    Modérateur

    Homme Profil pro
    Chef de projet NTIC
    Inscrit en
    Avril 2007
    Messages
    1 996
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 40
    Localisation : France, Ille et Vilaine (Bretagne)

    Informations professionnelles :
    Activité : Chef de projet NTIC
    Secteur : Service public

    Informations forums :
    Inscription : Avril 2007
    Messages : 1 996
    Points : 3 102
    Points
    3 102
    Par défaut
    Je pense aussi qu'un traitement séquentiel serait le plus adapté.
    Pourrais-tu nous montrer comment tu procèdes et comment est structuré ton CSV ?

  4. #4
    Membre éclairé
    Inscrit en
    Septembre 2007
    Messages
    1 137
    Détails du profil
    Informations personnelles :
    Âge : 40

    Informations forums :
    Inscription : Septembre 2007
    Messages : 1 137
    Points : 707
    Points
    707
    Par défaut
    un fichier csv contient 60 colonnes qui se répartisse dans 25-30 tables de ma base de donnée.

    Je prends un Streamreader et ensuite dans une boucle while(string line = streamreader.Read())

    Je n'ai pas le code sous les yeux mais je peux le poster demain matin.

    si tu arrives à insérer 600 000 lignes en 4/5 secondes dans Sql server va falloir me donner une idée car moi j'y arrive pas en moyenne 20 lignes par secondes

  5. #5
    Rédacteur
    Avatar de Nathanael Marchand
    Homme Profil pro
    Expert .Net So@t
    Inscrit en
    Octobre 2008
    Messages
    3 615
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : France, Paris (Île de France)

    Informations professionnelles :
    Activité : Expert .Net So@t
    Secteur : Conseil

    Informations forums :
    Inscription : Octobre 2008
    Messages : 3 615
    Points : 8 080
    Points
    8 080
    Par défaut
    Pour avoir déjà rencontré le cas, ca n'est clairement pas la bonne stratégie.
    Il faut faire un bulk insert en base dans une table temporaire, verifier les contraintes métier dans cette table et enfin faire une fusion (via INSERT, UPDATE ou MERGE) vers les tables de destination.

  6. #6
    Membre éclairé
    Inscrit en
    Septembre 2007
    Messages
    1 137
    Détails du profil
    Informations personnelles :
    Âge : 40

    Informations forums :
    Inscription : Septembre 2007
    Messages : 1 137
    Points : 707
    Points
    707
    Par défaut
    Tu crois que c'est cela qui prends du temps ?

    Voila le code:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
     using (StreamReader readFile = new StreamReader(sPath))
                {
     
     
                    while ((line = readFile.ReadLine()) != null)
                    {
    }
    }
    est ce deja la bonne methode ou pas ?

  7. #7
    Membre actif Avatar de Neiflheim
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2011
    Messages
    135
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : France, Vaucluse (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Développeur .NET
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Mai 2011
    Messages : 135
    Points : 269
    Points
    269
    Par défaut
    Bonjour,

    Moi j'aurais plutôt utilisé un while not readfile.endofstream...

    Mais je pense que la lenteur de ton code se situe au niveau du traitement de la ligne
    si mon message a été utile - si je suis à côté de la plaque - quand vous avez la réponse à votre question

  8. #8
    Membre éclairé
    Inscrit en
    Septembre 2007
    Messages
    1 137
    Détails du profil
    Informations personnelles :
    Âge : 40

    Informations forums :
    Inscription : Septembre 2007
    Messages : 1 137
    Points : 707
    Points
    707
    Par défaut
    ce qui est bizarre c'est que pour les petits fichiers 25-30000 lignes c'est bon, mais pour les fichiers de 200000 lignes il est plus lent, or c'est le meme programme peu importe la taille du fichier

  9. #9
    Membre actif Avatar de Neiflheim
    Homme Profil pro
    Développeur .NET
    Inscrit en
    Mai 2011
    Messages
    135
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 37
    Localisation : France, Vaucluse (Provence Alpes Côte d'Azur)

    Informations professionnelles :
    Activité : Développeur .NET
    Secteur : Agroalimentaire - Agriculture

    Informations forums :
    Inscription : Mai 2011
    Messages : 135
    Points : 269
    Points
    269
    Par défaut
    Si on ne voit pas le traitement qu'il y a derrière, on peux pas s'avancer sur les causes possibles Peut-être des variables qui s'accumulent et qui ne sont pas vidés? etc.
    si mon message a été utile - si je suis à côté de la plaque - quand vous avez la réponse à votre question

  10. #10
    Membre éclairé
    Inscrit en
    Septembre 2007
    Messages
    1 137
    Détails du profil
    Informations personnelles :
    Âge : 40

    Informations forums :
    Inscription : Septembre 2007
    Messages : 1 137
    Points : 707
    Points
    707
    Par défaut
    je vais jeter un coup d'oeil pour voir si effectivement y'a qq chose qui cloche

Discussions similaires

  1. [LG]Lenteur de parcours de fichier
    Par YéTeeh dans le forum Langage
    Réponses: 9
    Dernier message: 26/11/2003, 23h57
  2. [Débutant] Lenteur avec TComPort
    Par PhDt76 dans le forum C++Builder
    Réponses: 22
    Dernier message: 27/09/2003, 22h43
  3. lenteur d'affichage de requete dans un DBGrid
    Par nico27 dans le forum InterBase
    Réponses: 9
    Dernier message: 23/06/2003, 14h54
  4. [Sybase]probleme de lenteur
    Par MASSAKA dans le forum Sybase
    Réponses: 3
    Dernier message: 19/03/2003, 23h58
  5. Lenteur d'execution de Jbuilder 6
    Par Tsimplice dans le forum JBuilder
    Réponses: 6
    Dernier message: 18/12/2002, 15h41

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo