Discussion :

[Invité]

Bonjour,

J'aimerai créer une commande qui va supprimer un bout de texte (script js) dans tous les fichiers qui contiennent ce bout de texte. D'après ce que je constate, c'est ne sont essentiellement que des fichiers js .

J'ai fait ressortir le nombre de fichier contenu ce bout de code à supprimer, et il y en a 25 000 fichiers.

Existe-il un script pour passer à la moulinette tous les fichiers du serveur qui contiennent le bout de script à supprimer ?

Merci vraiment pour votre aide

A+

[frp31]

oui tu peux utiliser sed dans une boucle sur la liste des fichier pour les traiter.

truc de base "qui permet de comprendre" à adapter à ton besoin

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

for i in *js ; do mv ${i} ${i}.old && sed 's/eee/aaa/' ${i}.old > ${i} && rm ${i}.old ; done

en clair

pour tout fichier *.js faire ( renomer en .old et si ok modifier eee par aaa et si ok effacer le .old )

méthode qui permet donc le retour arrière et surtout de ne pas écraser le fichier d'origine si l'étape de substitution du texte échoue pour une raison quelconque.

[Invité]

Vraiment merci pour ta réponse super rapide !

Par contre le texte de recherche ici dans ton exemple 'eee' va contenir une longue chaîne de caractères de script js qui comporte malheureusement des caractères spéciaux de code dont le '\' ou '/'

exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/http://www.domaine.tld" {$mavar} >//'

ou eee = s/http://www.domaine.tld" {$mavar} >
et aaa = rien du tout car c'est une suppression de texte mon souhait

Qu'en penses-tu ?

Faut-il passer par un fichier texte annexe qui contiendrait toute la chaine 'eee', et l'appeler dans le script à la manière d'une variable ?

Vraiment merci pour ton aide

[Invité]

Je viens d'avancé sur ton idée, en modifiant les directives de sed pour supprimer la ligne commençant par ce que je souhaite :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

for i in /home/moi/*js ; do mv ${i} ${i}.old && sed -e "/^début de mon texte de la ligne à supprimer/d" ${i}.old > ${i} && rm ${i}.old ; done

ça semble fonctionner mais j'ai encore des problèmes pour le boucler récursivement dans les sous-dossier

[N_BaH]

Bonjour,

soit tu es sous bash >=4, et tu peux positionner l'option globstar avec shopt, et tu boulce sur ~/**/*js,
ou alors tu utilises find -exec avec sh :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find ~/ -type f -name "*.js" -exec sh -c 'for i do mv ${i} ${i}.old && sed -e "/^début de mon texte de la ligne à supprimer/d" ${i}.old > ${i} && rm ${i}.old ; done' {} \+

non, je n'ai rien oublié : in "$@" est facultatif.

[zipe31]

Salut,

soit tu es sous bash >=4, et tu peux positionner l'option globstar avec shopt, et tu boulce sur ~/**/*js,

À ce moment là on peut même s'éviter une boucle, sed avec l'options "-i" (ou "-i.bak" pour faire une sauvegarde, celle-là étant facultative), devrait faire l'affaire :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -i '/^début de mon texte de la ligne à supprimer/d' ~/**/*.js

[jack-ft]

Bonjour,

soit tu es sous bash >=4, et tu peux positionner l'option globstar avec shopt, et tu boulce sur ~/**/*js,
ou alors tu utilises find -exec avec sh :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

find ~/ -type f -name "*.js" -exec sh -c 'for i do mv ${i} ${i}.old && sed -e "/^début de mon texte de la ligne à supprimer/d" ${i}.old > ${i} && rm ${i}.old ; done' {} \+

non, je n'ai rien oublié : in "$@" est facultatif.

Pour ma culture personnelle, ne peut-on pas faire un exec simple? Du genre:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
find ~/ -type f -name "*.js" -exec \
sed -i -e "/^début de mon texte de la ligne à supprimer/d" {} \;

@zipe31: grillé

[N_BaH]

ça pourrait même être plus rapide avec \+,
ça aurait le même effet que ~/**/*js, c'est à dire que tous les fichiers trouvés seraient passés d'un coup à sed.

[Invité]

Vraiment merci pour votre participation et vos conseils !

Voilà en fait mon script final que j'ai fait tourné sans problème sur mon serveur : (exécuté en root obligé, pour les modifications + chown)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
#!/bin/bash
 
cat /root/fichier_liste_js.txt | while read i; #parcours toutes les lignes du fichier
do 
	echo "Traitement de ${i}" #chaque ligne "i" passe en traitement
	mv "${i}" "${i}".old && sed -e "/^mon début de texte de la ligne à supprimer/d" ${i}.old > ${i} && rm ${i}.old ;  #édition du fichier définie dans "i" et effacement de la ligne commençant par "mon début de texte de la ligne à supprimer" si elle existe dans le fichier définie dans "i"
	user=$( echo "${i}" | cut -d '/' -f 3 ) #le chemin du fichier "i" contient obligatoire le nom du user, on place le user dans la variable "user"
	chown ${user}:users "${i}" # on redonne les droits d'origines au user respectif pour le fichier "i"
done

Ce script s'accompagne du fichier texte contenant la liste des répertoires/fichiers du /home qui est le résultat du requête find :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
 
find /home -name "*" -exec grep -Hn "mon début de texte de la ligne à supprimer" {} \; > /root/fichier_liste_js.txt

Après une petite transformation du fichier fichier_liste_js.txt en édition csv, pour ne récupérer que la colonne qui liste les répertoires, voici un exemple de contenu du fichier traité par le script de remplacement :

...
/home/moi/rep1/rep2/file1.js
/home/moi/rep1/rep3/file2.js
/home/moi/rep78/rep3/file3.js
/home/moi/rep1/file4.js
/home/lui/rep5/rep2/file1.js
/home/lui/rep12/rep3/file3522435.js
/home/elle/rep324/rep5325/file3525.js
/home/elle/rep12313412/file647476.js
...

En gros, même si je pense que vous avez les compétences de tout faire en 1 seule commande j'ai préféré faire ça en 2 temps pour mieux en contrôler les tests intermédiaires, car ça reste une action sur un serveur en prod.

Mais le principal est que je sois parvenu à mes fins, pour le traitement automatique de plus de 25 000 fichiers.
Et ceci en partie grâce à vous ! Z'êtes sympa

Pour info, le script a tourné environ 5 min pour traiter les 25 000 fichiers.

A+