IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)
Navigation

Inscrivez-vous gratuitement
pour pouvoir participer, suivre les réponses en temps réel, voter pour les messages, poser vos propres questions et recevoir la newsletter

Shell et commandes GNU Discussion :

Suppression de doublons


Sujet :

Shell et commandes GNU

Vue hybride

Message précédent Message précédent   Message suivant Message suivant
  1. #1
    Membre confirmé
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    200
    Détails du profil
    Informations personnelles :
    Localisation : France, Bas Rhin (Alsace)

    Informations forums :
    Inscription : Septembre 2005
    Messages : 200
    Par défaut Suppression de doublons
    Bonjour à tous,

    J'ai un disque dur de sauvegarde, sur lequel je cherche à supprimer les doublons.
    Par contre, par peur de perdre des informations, je souhaite le faire de façon progressive.

    Je cherchais un outil de détection de doublons mais je n'ai pas trouvé d’utilitaire avec les options qui me conviennent :

    1) Supprimer les doublons par inode:
    J'ai des sauvegardes récursives, avec plusieurs fichiers ayant le même inode.
    Comment supprimer tous ces doublons ?

    2) Supprimer les fichiers qui ont le même contenu ET le mème nom ET la même date.

    3) Avoir la liste des fichiers qui ont le même contenu, avec leur date et leur nom, pour faire de dernier ménage manuellement.

    Merci à vous pour vos conseils

    Nicolas

  2. #2
    Modérateur
    Avatar de N_BaH
    Profil pro
    Inscrit en
    Février 2008
    Messages
    7 677
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2008
    Messages : 7 677
    Par défaut
    Bonjour,

    plusieurs fichiers ayant le même inode.
    normalement, ce n'est pas possible sur un même système de fichiers.
    Et s'ils ne sont pas sur le même système de fichiers, rien ne dit que ce sont les mêmes fichiers.
    N'oubliez pas de consulter les cours shell, la FAQ, et les pages man.

  3. #3
    Membre confirmé
    Profil pro
    Inscrit en
    Septembre 2005
    Messages
    200
    Détails du profil
    Informations personnelles :
    Localisation : France, Bas Rhin (Alsace)

    Informations forums :
    Inscription : Septembre 2005
    Messages : 200
    Par défaut
    Citation Envoyé par N_BaH Voir le message
    normalement, ce n'est pas possible sur un même système de fichiers.

    Je me suis mal exprimé.
    Mon objectif est de supprimer les "pointeurs" dans arborescence.

    J'ai un peu avance

    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    find -type f -printf "%i\t%n\t%s\t%A@\t%f\t%A+\t\"%p\"\t%i\n" | sort -n
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    23494491        30      2223    1608750411.0961266100   koi-win 2020-12-23+21:06:51.0961266100  "./n2/nginx/koi-win"    23494491
    23494491        30      2223    1608750411.0961266100   koi-win 2020-12-23+21:06:51.0961266100  "./n3/n2/nginx/koi-win" 23494491
    23494491        30      2223    1608750411.0961266100   koi-win 2020-12-23+21:06:51.0961266100  "./nginx/koi-win"       23494491
    23494492        30      2837    1608750411.2961160330   koi-utf 2020-12-23+21:06:51.2961160330  "./n2/nginx/koi-utf"    23494492
    23494492        30      2837    1608750411.2961160330   koi-utf 2020-12-23+21:06:51.2961160330  "./n3/n2/nginx/koi-utf" 23494492
    23494492        30      2837    1608750411.2961160330   koi-utf 2020-12-23+21:06:51.2961160330  "./nginx/koi-utf"       23494492
    23494507        30      60      1612309671.5057070760   50-mod-http-xslt-filter.conf    2021-02-03+01:47:51.5057070760  "./n2/nginx/modules-enabled/50-mod-http-xslt-filter.conf"       23494507
    23494507        30      60      1612309671.5057070760   50-mod-http-xslt-filter.conf    2021-02-03+01:47:51.5057070760  "./n3/n2/nginx/modules-enabled/50-mod-http-xslt-filter.conf"    23494507
    23494507        30      60      1612309671.5057070760   50-mod-http-xslt-filter.conf    2021-02-03+01:47:51.5057070760  "./nginx/modules-enabled/50-mod-http-xslt-filter.conf"  23494507
    23494508        30      53      1612309671.5057070760   50-mod-http-echo.conf   2021-02-03+01:47:51.5057070760  "./n2/nginx/modules-enabled/50-mod-http-echo.conf"      23494508
    23494508        30      53      1612309671.5057070760   50-mod-http-echo.conf   2021-02-03+01:47:51.5057070760  "./n3/n2/nginx/modules-enabled/50-mod-http-echo.conf"   23494508
    23494508        30      53      1612309671.5057070760   50-mod-http-echo.conf   2021-02-03+01:47:51.5057070760  "./nginx/modules-enabled/50-mod-http-echo.conf" 23494508
    Reste à garder les lignes "doublons" pour pouvoir les supprimer (et non pas le premier de chaque groupe comme avec | uniq -f7 -d) .

    Merci

  4. #4
    Expert confirmé Avatar de disedorgue
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    Décembre 2012
    Messages
    4 376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Décembre 2012
    Messages : 4 376
    Par défaut
    Citation Envoyé par N_BaH Voir le message
    Bonjour,

    normalement, ce n'est pas possible sur un même système de fichiers.
    Et s'ils ne sont pas sur le même système de fichiers, rien ne dit que ce sont les mêmes fichiers.
    Et les lien hard ?

  5. #5
    Modérateur
    Avatar de N_BaH
    Profil pro
    Inscrit en
    Février 2008
    Messages
    7 677
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2008
    Messages : 7 677
    Par défaut
    je suis trop jeune. je n'y ai pas droit.

    N'oubliez pas de consulter les cours shell, la FAQ, et les pages man.

  6. #6
    Expert confirmé Avatar de disedorgue
    Homme Profil pro
    Ingénieur intégration
    Inscrit en
    Décembre 2012
    Messages
    4 376
    Détails du profil
    Informations personnelles :
    Sexe : Homme
    Localisation : France

    Informations professionnelles :
    Activité : Ingénieur intégration
    Secteur : High Tech - Opérateur de télécommunications

    Informations forums :
    Inscription : Décembre 2012
    Messages : 4 376
    Par défaut
    Peut-être:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    find . -type f -not -links 1 -printf "%i %p\n" | awk 'Tab[$1] == 1 {print}{Tab[$1]=1}'
    Ceci t'affichera tout les fichiers doublons d'inode sauf 1 à chaque fois.
    Exemple:
    Code : Sélectionner tout - Visualiser dans une fenêtre à part
    1
    2
    3
    4
    5
    6
    7
    $ find . -type f -not -links 1 -printf "%i %p\n"
    2890846 ./fic_test_ln3
    2890846 ./fic_test_ln2
    2890846 ./fic_test_ln1
    $ find . -type f -not -links 1 -printf "%i %p\n" | awk 'Tab[$1] == 1 {print}{Tab[$1]=1}'
    2890846 ./fic_test_ln2
    2890846 ./fic_test_ln1

  7. #7
    Modérateur
    Avatar de N_BaH
    Profil pro
    Inscrit en
    Février 2008
    Messages
    7 677
    Détails du profil
    Informations personnelles :
    Localisation : France

    Informations forums :
    Inscription : Février 2008
    Messages : 7 677
    Par défaut
    je préférais \0 plutôt que \n, avec awk 'BEGIN{ RS="\0" }....

    on ne sait jamais quel peut être
    N'oubliez pas de consulter les cours shell, la FAQ, et les pages man.

Discussions similaires

  1. Suppression de doublons et insertion
    Par Samish dans le forum MS SQL Server
    Réponses: 1
    Dernier message: 15/08/2005, 21h57
  2. Réponses: 17
    Dernier message: 03/12/2004, 11h17
  3. [langage] Suppression de doublon dans tableau
    Par LFC dans le forum Langage
    Réponses: 5
    Dernier message: 15/04/2004, 14h08
  4. Requête de suppression de doublons : besoin d'aide
    Par biocorp dans le forum Langage SQL
    Réponses: 3
    Dernier message: 27/01/2004, 17h04
  5. [LG]Suppression de doublons
    Par moustique31 dans le forum Langage
    Réponses: 5
    Dernier message: 20/12/2003, 21h03

Partager

Partager
  • Envoyer la discussion sur Viadeo
  • Envoyer la discussion sur Twitter
  • Envoyer la discussion sur Google
  • Envoyer la discussion sur Facebook
  • Envoyer la discussion sur Digg
  • Envoyer la discussion sur Delicious
  • Envoyer la discussion sur MySpace
  • Envoyer la discussion sur Yahoo