Supprimer plusieurs données avec sed

Bonjour :D

Je dispose d'un fichier 'hosts' dont voici un extrait:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43

# Title: StevenBlack/hosts with the fakenews, gambling, porn and social extensions # # This hosts file is a merged collection of hosts from reputable sources, # with a dash of crowd sourcing via GitHub # # Date: 15 November 2020 18:37:51 (UTC) # Extensions added to this file: fakenews, gambling, porn, social # Number of unique domains: 88,597 # # Fetch the latest version of this file: https://raw.githubusercontent.com/StevenBlack/hosts/master/alternates/fakenews-gambling-porn-social/hosts # Project home page: https://github.com/StevenBlack/hosts # Project releases: https://github.com/StevenBlack/hosts/releases # # ===============================================================   127.0.0.1 localhost 127.0.0.1 localhost.localdomain 127.0.0.1 local 255.255.255.255 broadcasthost ::1 localhost ::1 ip6-localhost ::1 ip6-loopback fe80::1%lo0 localhost ff00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts 0.0.0.0 0.0.0.0   # Custom host records are listed here.     # End of custom host records. # Start StevenBlack   #===================================== # Hosts contributed by Steven Black # http://stevenblack.com   0.0.0.0 n2019cov.000webhostapp.com 0.0.0.0 webmail-who-int.000webhostapp.com 0.0.0.0 010sec.com 0.0.0.0 01mspmd5yalky8.com

---

Avec le code suivant:

Code:

---

1 2 3 4 5

cat "t_f" |\ sed -r -e 's/#.*//g' \ -e '/^\s*$/d' \ -e 's/\r//g' >> "$p_f"

---

Je parviens à supprimer tous les commentaires commençons par '#', les lignes vides et les retours à la ligne.
Ce qui donne:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

127.0.0.1 localhost 127.0.0.1 localhost.localdomain 127.0.0.1 local 255.255.255.255 broadcasthost ::1 localhost ::1 ip6-localhost ::1 ip6-loopback fe80::1%lo0 localhost ff00::0 ip6-localnet ff00::0 ip6-mcastprefix ff02::1 ip6-allnodes ff02::2 ip6-allrouters ff02::3 ip6-allhosts 0.0.0.0 0.0.0.0 0.0.0.0 n2019cov.000webhostapp.com 0.0.0.0 webmail-who-int.000webhostapp.com 0.0.0.0 010sec.com 0.0.0.0 01mspmd5yalky8.com

---

Je dois également supprimer toutes les parties en bleue mais à ce stade, je bloque. Un petit coup de main s'il vous plaît ?

En vous remerciant par avance :mrgreen:

Bonjour :coucou:

Alors d'abord, je t'invite à la prudence. Tu ne supprimes pas les lignes de commentaires mais les lignes qui ont un commentaire.

Code:

---

1 2 3 4 5 6

$ grep '.#' /etc/hosts |wc -l 167 $ grep '#' /etc/hosts |wc -l 366 $ cat /etc/hosts |wc -l 13494

---

Exemple ne devant pas être supprimé :

Code:

---

74.125.127.105 g # google.com

---

Ensuite, dans le fichier, les lignes ne sont pas en bleu. Quels sont les critères de choix qui t'ont poussé à mettre ces bouts en bleu. Ensuite, on traduira en regex.

Coucou :mrgreen:

J'utilise 'unwind' qui est un résolveur DNS de validation sous OpenBSD 6.8.

L'objectif, c'est de créer une liste de blocage concernant les fake news, les jeux de hasard, la pornographie etc.

Cette liste a juste besoin des noms d'hôte. Je ne veux en aucun cas intégrer les 88597 noms d'hôtes dans mon fichier 'hosts' :aie:

Bonjour,
Et si tu essayais dans l'autre sens, passer par un grep pour récupérer ce que tu as besoin au lieu de virer ce que tu n'as pas besoin ?

si je reprends ton fichier en exemple, la ligne suivante de grep récupère les 4 éléments à garder:

Code:

---

grep -o ' [0-9a-z.-]\+\.[a-z]\{2,4\}[^a-z0-9.-]*$' fichier

---

Après, faudrait voir si ça fonctionne sur la totalité du vrai fichier.

Sachant qu'ici, la regex (certainement incomplète) part sur le principe qu'un nom d'hote est une suite de lettre,chiffre,tiret,point et surtout fini par un point + au moins 2 lettres et au plus 4 lettres.

PS: Mon test est fait sous un linux, donc grep est peut-être différent.

Désolé pour la réponse tardive, tout d'abord je te remercie pour cet exemple que je vais tester de ce pas :mrgreen: