IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Langage Perl Discussion :

Additionner les doublons dans une série de fichiers / tableaux


Sujet :

Langage Perl

  1. #1
    Membre à l'essai
    Profil pro
    Inscrit en
    Avril 2009
    Messages
    37
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Avril 2009
    Messages : 37
    Points : 12
    Points
    12
    Par défaut Additionner les doublons dans une série de fichiers / tableaux
    Bon, j'ai bien avancé depuis mon dernier post où beaucoup de personnes avaient bien voulu m'aider (en particulier Philou, qui avait trouvé la solution hip hip hip). Pourtant, j'ai encore un petit problème : mon programme vise à extraire des listes de fréquences de formes dans des séries de fichier. Cependant, le décompte bloque - pour tout un tas de raisons - si le fichier est trop gros (OUT OF MEMORY). J'ai donc écrit un petit programme qui

    1. me divise le dit fichier en plusieurs petits.
    2. Fait les décomptes pour chacun des "petits morceaux".
    3. Replace les décomptes dans un seul et même fichier.

    ... mais maintenant, il faudrait retirer les "doubles entrées" de ce fichier, en additionnant leurs valeurs.

    Je m'explique plus clairement avec un exemple. Mon fichier final - pour le moment - ressemble à ça :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
     
    Enzo#12
    Enzo#1
    Enzo#45
    Hugo#2
    Louis#5
    Louis#7
    Louis#1
    Louis#20
    Lucas#1
    Mathis#5
    Nathan#1
    Nathan#7
    Raphael#10
    Theo#14
    Theo#11
    Thomas#1
    or, je voudrai obtenir ça :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
     
    Enzo#58
    Hugo#2
    Louis#33
    Lucas#1
    Mathis#5
    Nathan#8
    Raphael#10
    Theo#25
    Thomas#1
    Quelqu'un aurait-il une idée s'il vous plaît, afin de passer d'un tableau à l'autre ? J'ai essayé pas mal de choses... mais à mon avis je m'y prends très très mal car ça devient vraiment vite complexe (et au final ça ne tourne pas ). Faut-il employer une table de hash s'il vous plaît ? C'est quelque chose que je ne connais pas bien...

    Voilà, en vous priant de m'excuser de vous déranger à nouveau avec une question supplémentaire... mais la dernière fois, ça m'avait vraiment permis d'avancer plus loin (et d'apprendre à partir du code qu'on m'avait donné ).

    Merci pour toute réponse. Cordialement.

  2. #2
    Membre averti

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Janvier 2011
    Messages
    184
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Matériel informatique

    Informations forums :
    Inscription : Janvier 2011
    Messages : 184
    Points : 322
    Points
    322
    Par défaut
    Un hash est une bonne solution :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
     
    use strict;
    use warnings;
     
    my %h;
     
    while ( my $l = <DATA> ) {
      if ( $l =~ /^(.+)#(\d+)$/ ) {
        $h{$1} += $2;
      }
    }
     
    while ( my ($k, $v ) = each %h ) {
      print $k, " = ", $v, "\n";
    }
     
    __DATA__
    Enzo#12
    Enzo#1
    Enzo#45
    Hugo#2
    Louis#5
    Louis#7
    Louis#1
    Louis#20
    Lucas#1
    Mathis#5
    Nathan#1
    Nathan#7
    Raphael#10
    Theo#14
    Theo#11
    Thomas#1

  3. #3
    Membre à l'essai
    Profil pro
    Inscrit en
    Avril 2009
    Messages
    37
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Avril 2009
    Messages : 37
    Points : 12
    Points
    12
    Par défaut
    MERCI ! MERCI ! MERCI

    C'est exactement ça. Je vais marquer le sujet comme résolu (edit : en fait je ne vois pas comment faire... quel noob je suis !!! ). Au passage : est-ce que vous savez, s'il vous plaît, s'il existe un tutorial sur le hash ? Son fonctionnement, ses possibilités, etc. ?

    Quoi qu'il en soit, merci encore : beaucoup

  4. #4
    Membre averti

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Janvier 2011
    Messages
    184
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : High Tech - Matériel informatique

    Informations forums :
    Inscription : Janvier 2011
    Messages : 184
    Points : 322
    Points
    322
    Par défaut
    Je connais celui de Sylvain Lhullier que je trouve vraiment bon :
    http://sylvain.lhullier.org/publicat...hapitre07.html

    Il y a également le man perl si tu n'es pas réfractaire à l'anglais

  5. #5
    Expert confirmé

    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Avril 2009
    Messages
    3 577
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Âge : 58
    Localisation : France, Bas Rhin (Alsace)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Avril 2009
    Messages : 3 577
    Points : 5 753
    Points
    5 753
    Par défaut
    Il y a aussi les man en français : http://perl.enstimac.fr/DocFr/perldata.html

    Sinon, le fait que le traitement des gros fichiers ne conviennent pas vient peut-être du fait que tu charges ces fichiers entièrement en mémoire. Il existe peut-être un algorithme qui permettrait de les traiter ligne à ligne au lieu de les lire en entier pour les traiter ensuite, ce qui ferait disparaitre le problème.

    Peux-tu nous montrer comment tu lis ton fichier, et la forme générale de ton algorithme ?
    Plus j'apprends, et plus je mesure mon ignorance (philou67430)
    Toute technologie suffisamment avancée est indiscernable d'un script Perl (Llama book)
    Partagez vos problèmes pour que l'on partage ensemble nos solutions : je ne réponds pas aux questions techniques par message privé
    Si c'est utile, say

Discussions similaires

  1. supprimer les doublons dans une table
    Par mavean dans le forum Requêtes et SQL.
    Réponses: 6
    Dernier message: 26/06/2019, 13h26
  2. Eviter les doublons dans une requete ?
    Par DrySs dans le forum Requêtes
    Réponses: 1
    Dernier message: 30/03/2006, 05h24
  3. Rechercher une chaîne de caractère dans une série de fichier
    Par Edoxituz dans le forum VB 6 et antérieur
    Réponses: 3
    Dernier message: 28/02/2006, 12h51
  4. [vbexcel]Comment supprimer les doublons dans une combobox?
    Par Mugette dans le forum Macros et VBA Excel
    Réponses: 20
    Dernier message: 24/11/2005, 11h12
  5. Éviter les doublons dans une requete
    Par royrremi dans le forum MS SQL Server
    Réponses: 8
    Dernier message: 03/08/2004, 19h37

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo