Effacer un très gros repertoire [Résolu]

[Krispy]

Bonjour.

voilà mon probleme. j'ai un repertoire de 100 gigas avec des mails dedans. autrement dit, énormément de fichiers.

je veux le supprimer mais un

Code :

rm mails/

me donne l'erreur du too many arguments.

j'ai donc fait un

Code :

ls -1 mails/ >> liste.txt

j'ai donc la liste de ces mails dans un fichier texte.

mais now, comment les virer un par un ?
une boucle for devrait suffire, mais je n'y arrive pas. c'est tout con, mais ça me prend la tete. donc si vous avez une idée.

merci bcp

[djibril]

Code :

rm -rf mails/

[Krispy]

oué, j'aurais du préciser. merci de ta réponse.

malhereusement, cette commande échoue
elle rame et mouline pendant des heures sans resultat

[djibril]

tu veux un script perl qui t'efface tes fichiers puis repertoires?

[Krispy]

euh. bah juste les millions de fichiers contenus dans ce repertoire. mais faire tt un script pr ça, c'est ptet lourd.

[gnto]

Envoyé par Krispy

oué, j'aurais du préciser. merci de ta réponse.

malhereusement, cette commande échoue
elle rame et mouline pendant des heures sans resultat

si c'est des 100 de giga c'est normal !

Sinon action immédiat

Code :

rm -f /mails/*

ca mettra le meme tps mais qd tu arretera la commande y'auras des fichier de dissaparu donc au lancement de la seconde commande temps < au premier lancement

[djibril]

voilà un script.
mets ce script dans un fichier toto.pl
puis chmod +x toto.pl
puis perl toto.pl

voilà

test le sur un petit repertoire pour voir, j'ai pas eu le temps de le retester.
T'as juste à mettre le chemin de ton repertoire dans $repertoire.

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
#!/usr/bin/perl -w
use strict;
use Carp;

my $repertoire = "Le chemin de ton repertoire racine sans le slash de la fin";
&supp_rep($repertoire):

sub supp_rep{
	my $repertoire = shift;
	my @rep=();
	opendir (REP, $repertoire) || die "impossible d'ouvrir le repertoire $repertoire";
 	my @file_rep = grep { !/^\.\.?$/ } readdir(REP);
	closedir (REP);
	foreach my $nom (@file_rep) {
		if ( -f "$repertoire/$nom") {
			unlink ("$repertoire/$nom"); 
                        print "$repertoire/$nom supprimé\n"; 
	    	}elsif (-d "$repertoire/$nom") {
	      		push (@rep, "$repertoire/$nom");
	      		&supprimer_repertoire("$repertoire/$nom");
	    	}
	}
	#supprime les repertoires qui sont vide (du premier vide au dernier vide d'où le reverse)
	foreach my $rep_vide (reverse @rep) {
		rmdir ($rep_vide) if (-e $rep_vide);
	}
	rmdir($repertoire);
}

[djibril]

y avait des conneries dans le scripts, mets celui ci, je l'ai testé et optimisé :

Code :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
#!/usr/bin/perl -w
use strict;
use Carp;

my $repertoire = "Le chemin de ton repertoire racine sans le slash de la fin";
&supp_rep($repertoire);

sub supp_rep{
	my $repertoire = shift;
	my @rep=();
	opendir (REP, $repertoire) || die "impossible d'ouvrir le repertoire $repertoire";
	foreach my $nom (grep { !/^\.\.?$/ } readdir(REP)) {
		if ( -f "$repertoire/$nom") {
			unlink ("$repertoire/$nom"); 
                        print "$repertoire/$nom supprimé\n"; 
	    	}elsif (-d "$repertoire/$nom") {
	      		push (@rep, "$repertoire/$nom");
	      		&supp_rep("$repertoire/$nom");
	    	}
	}
	#supprime les repertoires qui sont vide (du premier vide au dernier vide d'où le reverse)
	foreach my $rep_vide (reverse @rep) {
		rmdir ($rep_vide) if (-e $rep_vide);
	}
	rmdir($repertoire);
}
system("rm -rf $repertoire");
	closedir (REP);

[laurentschneider]

Envoyé par gnto

si c'est des 100 de giga c'est normal !

Sinon action immédiat

Code :

rm -f /mails/*

rm -f /mails/* ne fonctionnera pas s'il y a trop de fichiers.

tu peux faire quelque chose comme

Code :

1
2
3
4
 
# rm /mails/* 
ksh: /usr/bin/rm: 0403-027 The parameter list is too long.
# echo /mails/* | xargs -n 100 rm

ça te les efface par group de 100.

testé seulement sur AIX, man xargs peut t'aider

[Katyucha]

J'avais eu ce problème sous Solaris aussi. Un répertoire rempli de 85 000 fichiers....
J'avais fait un truc simplissime :
rm -rf /mails/a*
rm -rf /mails/b*
rm -rf /mails/c*
etc...

Mais je pense que l'idée de Laurent est plus .... propre :p

[djibril]

pas de perleens pour me dire si mon script est nul

[gnto]

Envoyé par laurentschneider

rm -f /mails/* ne fonctionnera pas s'il y a trop de fichiers.

Ah ! Connais-tu la limite ? Est-ce mal codé ? Ce bug est-il connu, repertorié ?

[Katyucha]

C'est connu (en tout cas chez Sun)
La limite est difficile à "calculer"

Quand tu met *, le système modifie le * par la liste des fichiers.
Donc dans le code, tu dois atteindre la limite du tableau. (faut bien une limite quand même:p)

Il faut savoir que j'étais à 60 000 fichiers sans problème. A partir de 65 000 j'avais l'erreur. Les noms de fichiers étaient sur 11 caractères (importation d'une plateforme NT)

[laurentschneider]

en testant la limite sur AIX, j'ai vu la chose suivante

jusqu'à 3703 fichiers, ça marche.
entre 3704 et et 3719 ça bugge (Process Killed)
à plus de 3720 ça retourne une erreur

mais ça dépend de ta syntaxe (et d'autres paramètres). Il me parait sûr de dire que jusqu'à 255 paramètres c'est OK

[usf70]

Sur AIX, la commande suivante fonctionne sans problèmes:

# find mails -type f | xargs -I{} rm -f {}

Après, l'option "I" n'est pas la même sous linux ... Je crois que c'est "i", de mémoire, mais à vérifier.

[MarcG]

Code :

1
2
 
find mails -type f -exec rm -f {} \;

[2Eurocents]

Envoyé par MarcG

Code :

Cette solution est en général efficace et passe partout. Elle n'a qu'un inconvénient : une profusion de processus rm est lancée (un par fichier !).

C'est pour cela que je préfère une petite astuce avec Perl :

Code :

find mails -type f -print0 | perl -n0e 'unlink'

Brutal, mais efficace (reste long, quand même, à cause du find).

[Krispy]

Envoyé par MarcG

Code :

Merci, c'est ce que j'ai utilisé et ça a marché à la perfection.