Suppression des fichiers dans un repertoire avec un temps de pause automatique avec shell/Linux

**TMampionona** · 10/04/2019, 13h28

Bonjour à toutes et tous,

J'ai un problème à propos de notre serveur backup. En fait, ce serveur backup contient des millions de fichiers *.dat dans un répertoire, ce dernier est presque plein en ce moment et je devrai le nettoyer mais mon souci est le suivant:

Le serveur ne supporte qu'une suppression de 2 000 fichiers puis il lui faut une pause de 5 minutes et ainsi de suite, or qu'il s'agit des millions de fichier.

Pourriez-vous m'aider à automatiser cette suppression de 2 000 premiers fichiers avec une pause de 5 minutes avec un script shell s'il vous plaît?

Ce que je voudrais avoir est donc de faire un boucle de suppression des 2 000 premiers fichiers + pause 5minutes jusqu'on trouve le nom de fichier xxxxxxx.dat

Comptant sur votre aide précieuse.

Par avance merci,
Cordialement,
Tmamp

**Flodelarab** · 10/04/2019, 13h48

Bonjour

Qu'as-tu fait jusqu'ici ?

Il n'y a aucune difficulté.

Pour attendre 5 minutes :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sleep 300

Pour extraire les 2000 premières lignes d'un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

head -n 2000 fichier

Pour supprimer les 2000 premières lignes d'un fichier :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i '1,2000d;' fichier

À toi de jouer

**TMampionona** · 10/04/2019, 13h58

Bonjour et merci bcp Flodelarab je vais essayer ces commandes, en fait je suis très débutant avec linux !

Encore merci

**TMampionona** · 10/04/2019, 14h07

Flodelarab

Comme j'ai déjà dit tout à l'heure, je suis très débutant, j'ai une question : est-ce toujours valable ces commandes pour la suppression des fichiers dans un répertoire (mais non pas suppression des lignes d'un fichier) ?

Je voulais dire pour la commande sed

Par avance merci!!
Cordialement,
Tmamp

**disedorgue** · 10/04/2019, 14h18

Bonjour,

Déjà, pourquoi cette limite de 2000 fichiers ?

Quelles sont les commandes que tu passes pour effacer tes fichiers et comment utilises-tu celles-ci ?

Et sinon, comment détermines-tu ta liste de fichier à effacer ?

**TMampionona** · 10/04/2019, 14h27

Si on supprime plus de 2 000 fichier, il s'agissait une alarme au serveur et ce dernier reste indisponible dans un certain temps.

Voici la commande que j'ai fait actuellement mais c'est une suppression manuelle alors qu'il s'agit des millions de fichier à supprimer:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

SERVEUR:/var/back/backsave/AP/second/A # rm A0286[6-7]*

(en orange les 2 000 fichiers)

pour déterminer la liste des fichiers effacer, je met la commande ci-dessous en entrant dans le repertoire:

ls -ltr | head

et

ls -ltr | tail

NB: ces fichiers à effacer sont déjà déplacés dans un autre serveur et c'est le dernier nom de fichier déplacé qui sera le dernier fichier à effacer

Cordialement,
TMamp

**balkany** · 10/04/2019, 15h44

Ben si j'ai bien compris, tu te places dans le répertoire à nettoyer, et tu fais un truc du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
while [ "$(ls *.dat)" ]; do
    a=0
    for f in *.dat; do
        rm "$f"
        ((a++))
        if ((a==2000)); then break; fi
    done
    sleep 300
done

Mais le problème, c'est que si tu as 2 millions de fichiers, ça va te prendre 1000x5 min = 83,33 h !

**N_BaH** · 10/04/2019, 16h00

while [ "$(ls *.dat)" ]; do est stupide; la boucle for est suffisante.

**TMampionona** · 10/04/2019, 16h07

Salut Balkany,

Je vais essayer ces codes et reviens vers vous après si ça marche ou non.

Merciiiii bcp.

Cordialement,
Tojo

**balkany** · 10/04/2019, 16h11

Envoyé par N_BaH

while [ "$(ls *.dat)" ]; do est stupide; la boucle for est suffisante.

Certes, comme ça ça doit être mieux :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
a=0
for f in *.dat; do
    rm "$f"
    ((a++))
    if ((a==2000)); then
        sleep 300
        a=0
    fi
done

**N_BaH** · 10/04/2019, 17h56

oui.

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for f in *.dat
do
   test -f "$f" && rm "$f"
   ((n<2000?++n:(n=0))) || sleep 300
done

**balkany** · 10/04/2019, 19h30

Pourquoi tu rajoutes un test -f, si il sait ce que sont ses fichiers .dat ?

**N_BaH** · 10/04/2019, 19h41

d'abord, parce qu'on ne sait jamais*; ensuite, parce que s'il n'y a pas de fichiers, alors "$f" sera développé littéralement en *.dat.**

*c'est pour la même raison que je mets les développements de variables entre guillemets.
**en bash, ça peut-être éviter en positionnant nullglob avec shopt

**disedorgue** · 10/04/2019, 20h43

Mouais, bien sur, on appelle rm pour un seul fichier à la fois...

**N_BaH** · 10/04/2019, 20h47

ok, comment faire le sleep ?

**balkany** · 10/04/2019, 23h42

Ben on peut toujours concaténer les noms de fichiers et n'invoquer rm qu'une fois non ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 
a=0
cmd="rm"
for f in *.dat; do
    cmd="$cmd '$f'"
    ((a++))
    if ((a==2000)); then
        eval "$cmd"
        sleep 300
        a=0
        cmd="rm"
    fi
done
if [ "$cmd" != "rm" ]; then eval "$cmd"; fi

**N_BaH** · 10/04/2019, 23h58

beurk !

eval.
en plus, ça ne fonctionne pas : la valeur de la variable est écrasée à chaque tour.

non, on alimente un tableau :

Code bash :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
for f in *.dat
do
   test -f "$f" && ar+=( "$f" )
   if test ${#ar[*]} -eq 2000; then rm "${ar[@]}"; ar=(); sleep 300; fi
done

**balkany** · 11/04/2019, 00h05

Pourquoi beurk eval ? Et pourquoi ma variable est écrasée à chaque tour ?

**N_BaH** · 11/04/2019, 01h04

ah, oui, d'accord, tu réutilises $cmd, je cherchais cmd+="$f".

"eval is evil" : il interprète toutes les données en tant que commande.
un petit malin peut toujours passer des commandes dans les données.

il y a des choses, comme ça, dont l'usage en privé est libre, mais dont la publicité ne peut être encouragée.