[Bash] Script de nettoyage

Hello,
Pour un projet perso je travail avec une énorme liste de nom de domaine (+ de 50000), seulement certains comportent encore le fameux "www." de début d'url que je souhaite supprimer automatiquement, avant un effacement des doublons pour éviter les erreurs par la suite.
Pour le moment voilà ce que ça donne:

Code:

---

1 2 3 4 5 6 7 8 9 10

#!/bin bash   #Suppression du www. sed 's/www.//' fichier_temp.txt > /home/user/Bureau/fichier_temp.txt   #Effacement des doublons sort -g /home/user/Bureau/fichier_temp.txt | uniq > /home/user/Bureau/fichier_final.txt   #Effacement du fichier temporaire rm /home/user/Bureau/fichier_temp.txt

---

Le fichier temp me sert de lien entre les deux commandes mais il existe surement plus simple.
Si quelqu'un peut me dire si j'ai tout bon car j'ai peur que ce script efface également les 'www.' pouvant se trouver ailleurs qu'en début de ligne, par exemple que "www.developpezwww.zty" devienne "developpez.zty" ce qui n'est pas le but rechercher surtout pour mon projet. :?

Salut,

Citation:

---

Si quelqu'un peut me dire si j'ai tout bon car j'ai peur que ce script efface également les 'www.' pouvant se trouver ailleurs qu'en début de ligne, par exemple que "www.developpezwww.zty" devienne "developpez.zty" ce qui n'est pas le but rechercher surtout pour mon projet.

---

En effet,
pour que ça respecte ta demande :

Code:

---

sed 's/^www.//'

---

mais avec ton code www.developpezwww.zty serait devenu developpezwww.zty mais developpezwww.zty serait devenu developpezzty car sans l'option g, sed ne remplace que la 1ere occurrence.

Citation:

---

Le fichier temp me sert de lien entre les deux commandes mais il existe surement plus simple.

---

Code:

---

1 2	sed 's/www.//' -i fichier_temp.txt # Modification directe sort -u /home/user/Bureau/fichier_temp.txt # -u pour l'option unique si -g n'est pas important

---

Pour tout faire en un mais c'est plus qu'une mauvaise idée de travailler sur un fichier et de le modifier en même temps... (continue de passer par un fichier temporaire)

Code:

---

sed 's/www.//' fichier_temp.txt | sort -u -o fichier_temp.txt # Mais plus que boiteux...

---

ou en passant par une variable mais ça risque d'être lourd...

Code:

---

1 2	valeurs=$(sed 's/www.//' fichier_temp.txt | sort -u) echo "${valeurs}" > fichier_temp.txt

---

Citation:

---

Envoyé par hizoka

Salut,

Code:

---

1 2	sed 's/www.//' -i fichier_temp.txt # Modification directe sort -u /home/user/Bureau/fichier_temp.txt # -u pour l'option unique si -g n'est pas important

---

---

Salut Hizoka, je te remercie car ça fonctionne du tonnerre, seul soucis je viens de me rendre compte que je vais devoir aussi supprimer les lignes vides ainsi que toutes celles où il y a une dièse dedans (lignes qui sont là qu'à but informatif et donc je n'en ai pas besoin pour un projet autonome et cela risque d'engendrer des erreurs) donc si tu a une autre astuce en stock je suis preneur.

J'essaye quand même, corrige moi ensuite mais je pense avoir tout juste:

Code:

---

1 2 3

sed '/^$/d' -i fichier_temp.txt sed '/#/d' -i fichier_temp.txt sort -u /home/user/Bureau/fichier_temp.txt

---

Mais déjà merci pour ça ! :mrgreen:

il faut aussi protéger le point pour qu'il ne soit pas considérer comme un caractère quelconque, mais comme un vrai point.

Citation:

---

Envoyé par N_BaH

il faut aussi protéger le point pour qu'il ne soit pas considérer comme un caractère quelconque.

---

Alors là je ne te suit pas 8O

dans une regex, le point est un caractère spécial, qui remplace n'importe quel caractère.

salut,

pour expliciter il est question de mettre sed 's/www\.//', sans quoi www2.leboncoin.fr devient .leboncoin.fr par exemple, en l'occurrence le cas arrivera peu souvent mais c'est plus strict et plus correct de protéger le point comme dit N_BaH

En effet, j'avais tilté sur l’échappement du point.

Sinon tes commandes sed sur les # et les lignes vides sont ok

Citation:

---

Envoyé par Raspy

Code:

---

1 2	sed '/^$/d' -i fichier_temp.txt sed '/#/d' -i fichier_temp.txt

---

---

Plusieurs commandes sed peuvent être regroupées avec l'option -e :

Code:

---

sed -e -i '/^$/d;/#/d' fichier_temp.txt

---

Voir la FAQ sur sed.

L'option -e ?

Code:

---

1 2	-e script, --expression=script add the script to the commands to be executed

---

pas besoin de -e ça fonctionne sans.

On trouve de nombreuses pages sur sed qui présentent l'option -e comme permettant de combiner plusieurs commandes sed. Par exemple encore:

Code:

---

sed -e '4d' -e '2d' mon-fichier.txt

---

La combinaison avec séparation par ";" n'aurait pas besoin de l'option -e pour que ça soit correctement interprété ?

Si des spécialistes de sed passent par là, ça serait bien de nous éclairer précisément sur l'option -e, ça permettrait de compléter/corriger la FAQ.

Bonjour le -e de sed est équivalent au retour à la ligne dans un script sed, il est plus strict et/ou plus fort que le ';' car la directive d'instruction est claire.

En exemple, si on veut rajouter du texte en début ou fin de ligne, on a le i pour début de ligne et a pour fin de ligne et donc si on a au départ:

Code:

---

toto

---

et que l'on veuille obtenir par exemple:

Code:

---

1 2 3

titi toto tata

---

on peut faire:

Code:

---

sed -e 'ititi' -e 'atata'

---

mais on ne peut pas faire:

Code:

---

sed 'ititi;atata'

---

Voici la grosse différence entre le ';' et '-e' et l'utilité du '-e'

Et sur un point historique, le '-e' est mieux supporté que le ';' (d'ancienne version de sed autre que gnu, ne supporte le ';' mais le -e en général si)

Donc si j'ai bien compris je pourrais remplacer ceci:

Code:

---

1 2 3

sed '/^$/d' -i /home/pi/Desktop/test/temp/ads.conf sed '/#/d' -i /home/pi/Desktop/test/temp/ads.conf sed 's/www.//' -i /home/pi/Desktop/test/temp/ads.conf

---

Par ceci ? :idea:

Code:

---

sed '/^$/#/www.//d' -i /home/pi/Desktop/test/temp/ads.conf

---

Non

Code:

---

sed -i '/^$/d;/#/d;s/www\.//'

---

et j'ai ajouté le caractère d'échappement que tu as oublié.

J'étais quand même pas loin :roll:
Merci Philippe Dpt35 ça fonctionne au delà de mes espérances, je mets en résolu ! :mrgreen:

disedorgue => Merci pour les explications et joyeux noël à vous.