Discussion :

[Raspy]

Hello,
Pour un projet perso je travail avec une énorme liste de nom de domaine (+ de 50000), seulement certains comportent encore le fameux "www." de début d'url que je souhaite supprimer automatiquement, avant un effacement des doublons pour éviter les erreurs par la suite.
Pour le moment voilà ce que ça donne:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
#!/bin bash
 
#Suppression du www.
sed 's/www.//' fichier_temp.txt > /home/user/Bureau/fichier_temp.txt
 
#Effacement des doublons
sort -g /home/user/Bureau/fichier_temp.txt | uniq > /home/user/Bureau/fichier_final.txt
 
#Effacement du fichier temporaire
rm /home/user/Bureau/fichier_temp.txt

Le fichier temp me sert de lien entre les deux commandes mais il existe surement plus simple.
Si quelqu'un peut me dire si j'ai tout bon car j'ai peur que ce script efface également les 'www.' pouvant se trouver ailleurs qu'en début de ligne, par exemple que "www.developpezwww.zty" devienne "developpez.zty" ce qui n'est pas le but rechercher surtout pour mon projet.

[hizoka]

Salut,

Si quelqu'un peut me dire si j'ai tout bon car j'ai peur que ce script efface également les 'www.' pouvant se trouver ailleurs qu'en début de ligne, par exemple que "www.developpezwww.zty" devienne "developpez.zty" ce qui n'est pas le but rechercher surtout pour mon projet.

En effet,
pour que ça respecte ta demande :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/^www.//'

mais avec ton code www.developpezwww.zty serait devenu developpezwww.zty mais developpezwww.zty serait devenu developpezzty car sans l'option g, sed ne remplace que la 1ere occurrence.

Le fichier temp me sert de lien entre les deux commandes mais il existe surement plus simple.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
sed 's/www.//' -i fichier_temp.txt # Modification directe
sort -u /home/user/Bureau/fichier_temp.txt # -u pour l'option unique si -g n'est pas important

Pour tout faire en un mais c'est plus qu'une mauvaise idée de travailler sur un fichier et de le modifier en même temps... (continue de passer par un fichier temporaire)

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed 's/www.//' fichier_temp.txt | sort -u -o fichier_temp.txt # Mais plus que boiteux...

ou en passant par une variable mais ça risque d'être lourd...

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
valeurs=$(sed 's/www.//' fichier_temp.txt | sort -u)
echo "${valeurs}" > fichier_temp.txt

[Raspy]

Salut,

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
sed 's/www.//' -i fichier_temp.txt # Modification directe
sort -u /home/user/Bureau/fichier_temp.txt # -u pour l'option unique si -g n'est pas important

Salut Hizoka, je te remercie car ça fonctionne du tonnerre, seul soucis je viens de me rendre compte que je vais devoir aussi supprimer les lignes vides ainsi que toutes celles où il y a une dièse dedans (lignes qui sont là qu'à but informatif et donc je n'en ai pas besoin pour un projet autonome et cela risque d'engendrer des erreurs) donc si tu a une autre astuce en stock je suis preneur.

J'essaye quand même, corrige moi ensuite mais je pense avoir tout juste:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
sed '/^$/d' -i fichier_temp.txt
sed '/#/d' -i fichier_temp.txt
sort -u /home/user/Bureau/fichier_temp.txt

Mais déjà merci pour ça !

[N_BaH]

il faut aussi protéger le point pour qu'il ne soit pas considérer comme un caractère quelconque, mais comme un vrai point.

[Raspy]

il faut aussi protéger le point pour qu'il ne soit pas considérer comme un caractère quelconque.

Alors là je ne te suit pas

[N_BaH]

dans une regex, le point est un caractère spécial, qui remplace n'importe quel caractère.

[Philippe Dpt35]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
sed '/^$/d' -i fichier_temp.txt
sed '/#/d' -i fichier_temp.txt

Plusieurs commandes sed peuvent être regroupées avec l'option -e :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e -i  '/^$/d;/#/d' fichier_temp.txt

Voir la FAQ sur sed.

[hizoka]

L'option -e ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
       -e script, --expression=script
              add the script to the commands to be executed

pas besoin de -e ça fonctionne sans.

[Philippe Dpt35]

On trouve de nombreuses pages sur sed qui présentent l'option -e comme permettant de combiner plusieurs commandes sed. Par exemple encore:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

sed -e '4d' -e '2d' mon-fichier.txt

La combinaison avec séparation par ";" n'aurait pas besoin de l'option -e pour que ça soit correctement interprété ?

Si des spécialistes de sed passent par là, ça serait bien de nous éclairer précisément sur l'option -e, ça permettrait de compléter/corriger la FAQ.