Retour de chariot

Alors je reviens vers vous pour savoir ce que vous pensez de mon code. J'ai créé un site (portfolio-production.com à la main (sublime text) pour une amie il y a un certain temps déjà. Il n'y a que très peu de pages et j'ai remarqué dès le début des requêtes sur des pages qui n'existent pas (du style /wpadmin /joomla /blogs etc). J'ai donc tout de suite créé un script qui m'envoie un mail avec la page, l'ip, la relevant url et le fournisseur d'accès.
Je n'ai gardé les mails que depuis août et il n'y a que quelques jours de ça après avoir installé Evolution j'ai créé un fichier MBOX et j'ai décidé de m'amuser avec grep, sed, cut, awk, tr, sort, uniq, rev et même od et file.

Le script nommé "extract" fait les choses suivantes :
- un fichier BLOCS qui me montre juste les lignes Date, Page, Referer, Ip et Fai quand elles ne sont pas vides (Referer et Fai),
- d'autres fichiers par genre montrant uniquement les lignes avec un sort | uniq et juste le domaine principal pour le FAI (pas le sous domaine).

- Ensuite c'est plus sérieux je crée un fichier TAB avec ces 3, 4 ou 5 lignes mises en colonnes, lignes triées par date.

Le code est accessible à cette adresse.
Merci de votre retour si vous avez le temps.

Bonjour,

peux-tu ne pas compresser test fichiers avec zip, qui n'est pas installé par défaut, mais avec gzip, s'il te plaît ?
voire, si le script n'est pas excessivement long, le poster ici (ce qui est de loin préférable, car le script sera toujours là quand le site de ton amie ne sera plus entretenu).

de plus, il est nécessaire, pour qu'on le teste, qu'on ait accès à quelques fichiers de données à traiter.

merci.

Pièce jointe 339950

:ccool:

Wow. Belle mosaïque d'outils. 8-)

Un fichier exécutable peut être un texte commençant par un shebang et ayant les droits d'exécution.
Le shebang est la première ligne qui indique le logiciel qui va interpréter ta prose.
Pour ton fichier "extract", plutôt que de lancer 9 fois sed, fais un exécutable sed !

Code:

---

zgrep -aE 'Date:|Page :' PORTFOLIO\ 404.mbox.tar.gz | reconditionnement.sed > BLOCS

---

Avec reconditionnement.sed suivant:

Code:

---

1 2 3 4 5 6 7 8 9 10 11

#!/bin/sed -f   s/Date:/\nDate :/g s/http:\/\/portfolio-production.com\///g s/From : <br>//g s/Fai : <br>//g s/<br>/\n/g /<a/d s/Ip :/Ip :/g s/Fai :/Fai :/g s/http:\/\///g

---

Au passage, tu as noté que grep n'est qu'un filtre. Et sed filtre tout aussi bien tout seul.

sort|uniq fait la même chose que sort -u.

Mais, même au global, il ne faudrait pas faire comme ça.

1. Tu extrais l'info utile par un seul script sed appliqué à ton fichier html qui organise tout en colonnes ayant un séparateur clair.
2. Tu transmets le contenu par un pipe à awk qui adore les fichiers textes en colonnes. Genre fichier csv (compréhensible par les tableurs).
3. awk traite ton fichier pour avoir une sortie rêvée.

Ce sera plus clair.

Donc la question est: quel est ton fichier rêvé de sortie ?
Tu obtiens un résultat propre mais les IP et les FAI sont séparés. Alors qu'ils ont un lien, n'est-ce pas ?

Merci pour les infos @Flodelarab! Pour awk je suis au courant de sa puissance pour traiter les chaînes de caractères et les tableaux mais je ne sais pas où trouver la syntaxe et les règles pour les expressions régulières et pas à l'aise avec les boucles ni array...

Par exemple "quand tu vois 3 fois un chiffre " j'écrirais "[0-9]{3}" mais à priori ce n'est pas ça, et est-ce que ça change entre awk et sed? Un autre truc, comment transformer la chaîne trouvée (les 3 chiffre) en 3 chiffes entre parenthèses (c'est un exemple). Et cela s’écrit-il pareil en sed ou en awk. Genre 's/([0-9}{3}/(&1)/'. Comment transformer une expression trouvée en une autre.. Désolé je n'ai pas trouvé de doc indiquant clairement comment traiter ça.

Concernant le FAI je trouvais l'info pas très importante, je garde l'ordre de mon mail. J'ai constaté sur 20 requêtes datant de ce jour la même seconde on a autant d'IP et de FAI différents !!!

Citation:

---

Envoyé par Flodelarab

Code:

---

zgrep -aE 'Date:|Page :' PORTFOLIO\ 404.mbox.tar.gz | reconditionnement.sed > BLOCS

---

---

J'ai mis ./reconditionnement.sed sinon il trouvait pas, ce qui me parait normal.
BLOCS affiche correctement uniquement les blocs qui n'ont pas de ligne vide sinon il n'affiche que la ligne date (si From ou FAI est vide).
J'ai du sortir '/<a/d' du fichier .sed vers extract avant la sorite vers BLOCS. Un détail, ne perd pas de temps la dessus (moi oui peut-être pour mieux comprendre sed) et merci pour le principe de she-bang.

J'ai retrouvé mes adresses URL de memento pour sed et awk. Aucune des deux n'existe encore. :lol:
A la place:
Référence awk

Pour awk, la force vient des tableaux, c'est vrai, mais surtout du fait que pour désigner la colonne 3, il suffit d'écrire $3, quelque soit sa taille et position. Facile alors de faire des sommes, des moyennes, des filtres, etc.
Pour les boucles, c'est comme en c++/java.
Pour les regexp (regular expressions = expressions régulières), c'est pareil que sed. A un échappement près, peut-être.

Exemple:

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

$ cat e.txt G 7 7 1 K 12 I 5 T 8 C 28 3 28 A 9 P 11 G 3 S 3 7 4 P 3 10 M 1 4 1 10 B 7 9 8 S 8

---

On fait la somme des nombres sur chaque ligne avec awk.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14

$ awk '{total=0; for (i=2;i<=NF;i++) total += $i; print $1,total;}' e.txt G 15 K 12 I 5 T 8 C 59 A 9 P 11 G 3 S 14 P 13 M 16 B 24 S 8

---

Citation:

---

j'écrirais "[0-9]{3}" mais à priori ce n'est pas ça

---

Le code est bon. Soit est-ce un problème d'échappement des accolades. Tout caractère est interprété ou non. Ou alors un problème de version awk.

Code:

---

1 2 3 4 5 6

$ awk '/[0-9]{2}/' e.txt K 12 C 28 3 28 P 11 P 3 10 M 1 4 1 10

---

Ici, ton code marche.

Citation:

---

Genre 's/([0-9}{3}/(&1)/'.

---

Ah ! Les références arrières. \1 à \9 désigne les groupes de parenthèses définies précédemment, du 1er au 9ème.
Exemple avec rename (c'est le même principe sauf que la référence arrière se fait avec $)

Code:

---

1 2 3 4 5

$ ls 14312* 14312-05.01.2018-ITEMA_21546677-3.mp3 $ rename 's/(.....)-(..)(....)(....)/$4$3$2\-$1/' 14312-05.01.2018-ITEMA_21546677-3.mp3 $ ls 2018* 2018.01.05-14312-ITEMA_21546677-3.mp3

---

C'est pareil avec sed. Sauf que sed sans option, tu écriras probablement \(blablabla\) pour que la parenthèse soit interprétée.


Sinon, 2 philosophies:
Tu peux faire "sed" et supprimer les lignes indésirables
OU
faire "sed -n" et imprimer les lignes qui t'intéressent (commande p)

Dommage pour les url des memento, j'irais voir "à la place" merci.
Le code que vous faites en 5mn je met 4h :mrgreen:

Concernant awk dans extract je m'en sert et ca marche bien mais les boucles... genre 'total=0' ... et '<=' ... comment savoir que 'commence à $i jusqu'à la dernière colonne' c'est '<=', c'est pas marqué dans le man. Juste vu ca :

| |& Piped I/O for getline, print, and printf.

< > <= >= != ==
The regular relational operators.

Pour rename merci pour le coup des parenthèses je vais me pencher dessus.

Sinon c'est un peu gênant au niveau fiabilité le fait que "/<a/d" en fin de fichier sed fonctionne pas (il me vire des trucs) et que ca marche si je l'écrit dans le extract en dernière pipe

Citation:

---

Concernant awk dans extract je m'en sert et ca marche bien mais les boucles... genre 'total=0' ... et '<=' ... comment savoir que 'commence à $i jusqu'à la dernière colonne' c'est '<=', c'est pas marqué dans le man. Juste vu ca :

---

Euh... c'est la base.
for (point de départ;condition pour continuer; incrément)
for (i=0;i<3;i++) fait la boucle pour i=0 puis 1 puis 2. Mais pas 3.

<= c'est juste "inférieur ou égal".

NF Number of Fields est le nombre de colonnes, donc forcément l'indice de la dernière.

Citation:

---

Sinon c'est un peu gênant au niveau fiabilité le fait que "/<a/d" en fin de fichier sed fonctionne pas (il me vire des trucs) et que ca marche si je l'écrit dans le extract en dernière pipe

---

J'avais loupé un truc: Tu introduis des \n. C'est pour cela que faire plusieurs pipes fonctionnent. Ton expression régulière pour supprimer les liens <a></a> doit être plus fine pour ne garder qu'un seul sed.

Une petite version légèrement simplifiée du filtre pour BLOCS:

Code:

---

zgrep -aEo '(Date:|Page :|Ip :|Fai :|From :) *[^<]+' PORTFOLIO\ 404.mbox.tar.gz | sed -e 's/Date/\n&/' -e 's@http://portfolio-production.com/\|http://@@g' -e '/^[^:]*: *$/d' -e 's/\(^[^ ]\+\) *:/\1\t:/' | expand -t 5 >BLOCS

---

La commande expand -t 5 n'est là que pour modifier les tabulations en espace.

Merci encore et encore pour toute ces infos. Je connais le symbole '<=' effectivement, la fatigue... Et pour' 'NF' je pensais que ça voulait dire 'dernière colonne' et qu'il fallait que ce soit précédé de '$'... Un indice ... C'est vrai j'ai du mal avec les boucles. De plus les symboles tel que '$' peuvent prendre beaucoup de valeur différentes, selon que ce soit échappé ou pas, que les quotes soit simples ou non...

Sans la commande avec l'étiquette que tu m'as donné pour le retour de chariot je n'aurais pas pu continuer mon fichier TAB. Ça devient trop complexe pour moi, je m'en sert quand même, je ne voit pas ce qu'est un espace de travail et un tampon et plein d'autre trucs malgré la lecture de Pense-bête sed que tu m'a conseillé. En tous cas le sujet est résolu et c'est bien à la base le sujet.

Sinon j'ai réussi à améliorer pour modifier le format de la date grâce à tes conseils:

Code:

---

sed 's/\(Date: .*\) \(..\) \(.*\) \(.*\) \(.*\) -\(.*\)/\4 \3 \2 \5/gI'

---

Je passe de "Date : Sat, 2 Sep 2017 22:39:49 -0700 (PDT)" à "2017 Sep 2 22:39:49" comme je voulais, merci pour le coup des 'références arrières. En fait j'ai du échapper les accolades aussi et le pour afficher cette référence c'est le[B] "\n" [/B ]! Où "n" est la place de la parenthèse dans l'expression !

Voila je vais essayer de retourner à la vraie vie mais ça me turlupine.

Citation:

---

Envoyé par disedorgue

Une petite version légèrement simplifiée du filtre pour BLOCS:

Code:

---

zgrep -aEo '(Date:|Page :|Ip :|Fai :|From :) *[^<]+' PORTFOLIO\ 404.mbox.tar.gz | sed -e 's/Date/\n&/' -e 's@http://portfolio-production.com/\|http://@@g' -e '/^[^:]*: *$/d' -e 's/\(^[^ ]\+\) *:/\1\t:/' | expand -t 5 >BLOCS

---

.

---

Alors celle là elle est belle aussi! Merci et bravo.

Mais je suis mal barré pour tout comprendre , déjà rien que l'option -e de sed.
-e script, --expression=script
ajouter le script aux commandes à être exécutées

Je vois 's/RE/RES/ je ne comprend pas l'utilité du -e (même si ça ne marche pas sans...). Autre exemple : considérer les fichiers comme séparés plutôt que comme un
simple flux long et continu, effectivement dans ma commande j'appelle plusieurs fichiers mais comme je disais à flodelarab je ne voit pas ce qu'est un espace de travail et un tampon et plein d'autre trucs malgré la lecture de différentes doc. C'est vrai que j'ai besoin qu'on explique les choses, alors si tu as du temps et comme le -e 's@' m'intéresse, à ton bon plaisir. Je suis totalement improductif dès que j'essaie de faire mieux, mais en essayant de faire mieux j’améliore mes connaissances et c'est déjà pas mal car ça me déprime de rien comprendre à ce point là.

Pour la question sur le -e, je te laisse voir le lien suivant: https://www.developpez.net/forums/d2...x/#post9866093

Pour ce qui concerne le s@, en fait elle n'est pas complète:
Si tu connais s/RE/RES/, bah, le "@" ne fait que remplacer le "/" tout comme j'aurais pu utiliser n'importe quel autre caractère.
Ici, j'ai utiliser le '@' car le "/" fait partie des caractères de la regex que l'on recherche et donc pour éviter de devoir les protéger avec un "\", j'utilise le "@" comme séparateur de paramètre pour la commande "s" de sed.

Sinon, en sed, l'espace de travail, c'est l'espace ou est chargé la/les ligne(s) du fichier à traiter (toutes les commandes sed de modifications de données travail sur cet espace.
Il existe un autre espace appelé espace intermédiaire (ou en anglais, le hold space), ou nous pouvons juste faire les actions suivantes dessus avec l'espace de travail:
-interchanger les espaces
-ajouter dans l'espace intermédiaire l'espace de travail
-mettre l'espace de travail dans l'espace intermédiaire (ici, on ajoute pas, on fait une copie)
-ajouter dans l'espace de travail l'espace intermédiaire
-mettre l'espace intermédiaire dans l'espace de travail (ici, on ajoute pas, on fait une copie)

Citation:

---

Envoyé par disedorgue

Pour la question sur le -e, je te laisse voir le lien suivant: https://www.developpez.net/forums/d2...x/#post9866093

---

Tout simplement :). Pas mal le mémo.

Citation:

---

Envoyé par disedorgue

Ici, j'ai utiliser le '@' car le "/" fait partie des caractères de la regex que l'on recherche et donc pour éviter de devoir les protéger avec un "\", j'utilise le "@" comme séparateur de paramètre pour la commande "s" de sed.

---

. Pratique, bonne explication, il faudrait que je trouve cette liste de séparateurs (man sûrement)

Citation:

---

Envoyé par disedorgue

Il existe un autre espace appelé espace intermédiaire (ou en anglais, le hold space), ou nous pouvons juste faire les actions suivantes dessus avec l'espace de travail:
...)

---

La çà devient un peu compliqué, j'imagine que c'est pour entre autre,éviter de passer dans des fichiers temporaires
Là j'étais pris dans mon script, je vais trouver du temps pour chercher des tutos et autres (sur le site durement) afin de voir les possibilités, les principes et d'assimiler tout ça pour aller dans les bonnes directions.

Merci pour toutes ces explications.

Citation:

---

Envoyé par gadj0dil0

il faudrait que je trouve cette liste de séparateurs (man sûrement)

---

Non non non ! (pas trouvé de smiley adéquat)

Il n'y a PAS de liste de séparateurs, car tout caractère peut être utilisé après le "s" (de la commande "substitute"):

Code:

---

1 2 3 4 5

s/aa/bb/ # le "standard" (le plus utilisé) s@aa@bb@ # utilisé par disedorgue s|aa|bb| # mon préféré (il ne penche ni à droite ni à gauche) s#aa#bb# # un classique scaacbbc # C'est vicieux, mais ça marche!

---

Quasiment tous les caractères marchent.
Mais àmha, il vaut mieux juste éviter ceux qui peuvent avoir une interprétation particulière (comme \ $ ` par exemple).

De manière générale, il vaut mieux encadrer la commande de simples quotes (apostrophes) sed -e 's|aa|bb|g' ou bien de doubles quotes (guillemets) lorsqu'on veut qu'une variable soit évaluée sed -e "s|${from_string}|${to_string}|g" par exemple.

Rhôô c'est top ! :P merci

Citation:

---

Envoyé par jack-ft

ou bien de doubles quotes (guillemets) lorsqu'on veut qu'une variable soit évaluée

---

Pour ça je le sais bien (D'ailleurs les variables servent à être évaluées en général :) )

Citation:

---

Envoyé par gadj0dil0

(D'ailleurs les variables servent à être évaluées en général :) )

---

Oui oui... mais pas uniquement toutefois... seulement dans un peu plus de la moitié des cas...

N'oublions pas qu'elles servent aussi à être valuées !!! :mouarf:

Car à quoi cela servirait-il d'évaluer une variable qui n'a pas au préalable été valuée? Hein! J'vous l'demande! :mouarf:

(si quelqu'un a une meilleure traduction pour "settée", je suis preneur...)

Citation:

---

Envoyé par jack-ft

Oui oui... mais pas uniquement toutefois... seulement dans un peu plus de la moitié des cas...
N'oublions pas qu'elles servent aussi à être valuées !!! :mouarf:
Car à quoi cela servirait-il d'évaluer une variable qui n'a pas au préalable été valuée? Hein! J'vous l'demande! :mouarf:
(si quelqu'un a une meilleure traduction pour "settée", je suis preneur...)

---

:? :mouarf:

Citation:

---

si quelqu'un a une meilleure traduction pour "settée", je suis preneur...

---

je peux proposer "champignonnée", mais/parce que je ne suis pas sûr du sens que tu donnes à "settée". 8O
:mouarf:

Citation:

---

Envoyé par N_BaH

je peux proposer "champignonnée", mais/parce que je ne suis pas sûr du sens que tu donne à "settée". :80:
:mouarf:

---

:lol:

C'est bon, j'ai trouvé (dur de vieillir...): je voulais dire "affectée", pour une variable qui a subi une affectation, c'est-à-dire qui est passée par un "setter" (non nécessairement irlandais), avant de passer par un "getter" pour son évaluation.
Mon correcteur orthographique n'aime pas "valué.e" :koi:

[perceval]Pourquoi pas "affectationnée"? C'est déjà pris?
[/perceval]