IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Python Discussion :

Filtrage de doublons entre deux fichiers


Sujet :

Python

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre averti
    Homme Profil pro
    etudiant
    Inscrit en
    Mars 2021
    Messages
    44
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : etudiant
    Secteur : Enseignement

    Informations forums :
    Inscription : Mars 2021
    Messages : 44
    Par défaut Filtrage de doublons entre deux fichiers
    Bonjour!

    J'aimerais savoir s'il existe un moyen de rechercher les valeurs qui apparaissent en double entre deux fichiers :

    Par exemple, dans le fichier 1 j'ai ces valeurs :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
     
    18.170 2.6877E+12 
    18.320 2.6078E+12 
    18.470 2.5558E+12 
    18.770 2.5375E+12 
    18.920 2.5782E+12
    et dans le fichier 2 :
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
     
    18.170 2.6877E+12 
    18.320 2.6078E+12 
    18.470 2.5558E+12 
    18.620 2.5283E+12 
    18.770 2.5375E+12 
    18.920 2.5782E+12
    On peut voir dans le fichier 2 que plusieurs valeurs du fichier 1 sont aussi présentes dedans. Je cherche à faire apparaître les valeurs qui apparaissent uniquement dans le fichier 2.
    J'ai regardé la commande 'uniq' mais je pense qu'elle est plutôt adapté à trier les doublons d'un seul fichier.

    Vous auriez une petite idée de script qui pourrait m'aider ?

    Merci!

  2. #2
    Membre éprouvé
    Inscrit en
    Juillet 2013
    Messages
    80
    Détails du profil
    Informations forums :
    Inscription : Juillet 2013
    Messages : 80
    Par défaut
    Bonjour,

    Commencez par séparer les difficultés :
    1) Ouvrir/lire un fichier
    2) Comparer des listes

    Votre problème est principalement celui de comparer deux listes (ou d'en trouver l'intersection) et cela devrait être assez rapide ; je vous laisse proposer un code qui prend deux listes en arguments et qui retourne une troisième liste contenant tous les éléments communs aux deux entrées

  3. #3
    Membre averti
    Homme Profil pro
    etudiant
    Inscrit en
    Mars 2021
    Messages
    44
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : etudiant
    Secteur : Enseignement

    Informations forums :
    Inscription : Mars 2021
    Messages : 44
    Par défaut
    Alors pour sélectionner les listes de mes deux fichiers, j'ai utilisé ce code :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
     
     
     
    fic1= LidarAMA/lidarAMA_$Fic.txt
     
    fic2=LidarnotAMA/lidarnotAMA_$Fic.txt
     
    diff - y $fic1 $fic2
    où $Fic correspond à une variable que je défini au début de mon code (le script est assez long et il fait plusieurs opérations sur les fichiers. Ici je n'ai montré que l'étape où je cherche à comparer les deux listes.)

    La commande diff -y m'affiche bien les lignes différentes ( avec le caractère > ), mais elle m'affiche également les lignes identiques :

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
     
     
    							      >	12.170 1.7528E+12 
    12.320 1.3971E+12 						12.320 1.3971E+12 
    							      >	12.470 1.0143E+12 
    							      >	12.620 8.0024E+11 
    							      >	12.770 7.7966E+11 
    12.920 7.8995E+11 						12.920 7.8995E+11 
    13.070 6.9965E+11 						13.070 6.9965E+11

    Ce que j'aimerais c'est de récupérer uniquement les lignes différentes qui apparaissent dans le fichier 2.

  4. #4
    Membre Expert
    Homme Profil pro
    Enseignant
    Inscrit en
    Juin 2013
    Messages
    1 617
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Enseignant
    Secteur : Enseignement

    Informations forums :
    Inscription : Juin 2013
    Messages : 1 617
    Par défaut
    on n'est pas en python, là, si ?

  5. #5
    Membre averti
    Homme Profil pro
    etudiant
    Inscrit en
    Mars 2021
    Messages
    44
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Seine Saint Denis (Île de France)

    Informations professionnelles :
    Activité : etudiant
    Secteur : Enseignement

    Informations forums :
    Inscription : Mars 2021
    Messages : 44
    Par défaut
    Ah oui mince, j'ai un programme python pour traiter mes données, mais je voulais gérer ce petit problème juste avec un script en bash.

    Du coup trompé de forum oui, je vais recréer une discussion dans le bon forum.

  6. #6
    Membre prolifique
    Avatar de Sve@r
    Homme Profil pro
    Ingénieur développement logiciels
    Inscrit en
    Février 2006
    Messages
    12 840
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France, Oise (Picardie)

    Informations professionnelles :
    Activité : Ingénieur développement logiciels
    Secteur : Aéronautique - Marine - Espace - Armement

    Informations forums :
    Inscription : Février 2006
    Messages : 12 840
    Billets dans le blog
    1
    Par défaut
    Bonjour
    Citation Envoyé par GlmGil Voir le message
    On peut voir dans le fichier 2 que plusieurs valeurs du fichier 1 sont aussi présentes dedans. Je cherche à faire apparaître les valeurs qui apparaissent uniquement dans le fichier 2.

    Vous auriez une petite idée de script qui pourrait m'aider ?

    ...mais je voulais gérer ce petit problème juste avec un script en bash.
    Code bash : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    cat fichier2 |while read ligne; do
    	fgrep "^$ligne$" fichier1 1>/dev/null || echo "$ligne"
    done
    Ensuite si fichier1 et fichier2 sont triés, on peut alors produire un algo plus rapide basé sur une lecture des deux fichiers en même temps.

    Citation Envoyé par GlmGil Voir le message
    J'ai regardé la commande 'uniq' mais je pense qu'elle est plutôt adapté à trier les doublons d'un seul fichier.
    Exact.

    Citation Envoyé par GlmGil Voir le message
    Du coup trompé de forum oui, je vais recréer une discussion dans le bon forum.
    Tu aurais pu demander à un modo de la déplacer
    Mon Tutoriel sur la programmation «Python»
    Mon Tutoriel sur la programmation «Shell»
    Sinon il y en a pleins d'autres. N'oubliez pas non plus les différentes faq disponibles sur ce site
    Et on poste ses codes entre balises [code] et [/code]

+ Répondre à la discussion
Cette discussion est résolue.

Discussions similaires

  1. Réponses: 9
    Dernier message: 12/07/2011, 17h25
  2. Outils sur les différences entre deux fichiers XML
    Par Community Management dans le forum XML/XSL et SOAP
    Réponses: 19
    Dernier message: 21/07/2008, 15h21
  3. Différence entre deux fichiers
    Par Celelibi dans le forum Langage
    Réponses: 4
    Dernier message: 26/04/2006, 17h36
  4. [EXCEL] difference entre deux fichiers
    Par Mokhtar BEN MESSAOUD dans le forum Macros et VBA Excel
    Réponses: 4
    Dernier message: 19/01/2006, 11h12
  5. [langage] Passage d objet entre deux fichiers
    Par Slippers dans le forum Langage
    Réponses: 2
    Dernier message: 28/04/2005, 14h45

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo