Extraction de données d'un .pcap

Bonjour Messieurs, Mesdames.

Je vous expose mon problème, je suis novice en programmation.
J'aimerai créer un script shell de préférence qui récupère grâce à TCPDUMP mon trafic DNS en .pcap et qui m'en extrait dans un .txt les différentes requêtes qui ont eu lieu avec leur nombre d’occurrence dans l'ordre décroissant tous les soirs.
exemple :

50 www.facebook.com
10 www.developpez.net

J'aimerai aussi si possible récupérer un peu de trafic (comme 250 000req), chaque heure 8h-9h-10h….22h, chaque jour 365/365j et en fin de journée avoir mon fichier .txt avec les informations souhaitées comme au dessus. (mais ça reste optionnel pour le moment)

Si vous avez des questions n'hésitez pas,

Merci d'avance pour votre aide qui me sera précieuse.

Cordialement,
Bobmoutarde

Qu'est-ce que tu as déjà fait ?
Où est-ce que tu bloques ?

En faite je vais t'avouer que je n'ai pas encore coder quelque chose.
Je suis plus sur une phase papier réflexion que je vais t'exposer :

- Utiliser crontab pour lancer mon script toutes les heures et un en fin de journée pour l’extraction.

- Lancer une commande tcpdump -C 250 000 (requêtes) port 53 dans un dossier portant le nom du jour

- Coder un script qui récupère les .pcap de la journée et en extraire les requêtes du style www.facebook.com et faire un compteur. Je pensais utiliser awk ou sed pour ça et envoyer le tout dans un .txt qui aura la date du jour et qui sera envoyé par mail ou ftp juste après. Le répertoire de la journée sera effacé pour pas consommer trop d'espace disque.

Je me demandais au passage : faut-il que je traite tous les .pcap d'un coup ou les uns à la suite des autres après leur génération.

Je ne sais pas si j'ai été suffisamment clair, je reste à disposition pour d'éventuelles questions.
Merci d'avance :)

Bonjour

Je ne vois toujours pas le problème.
Tu es sur l'autoroute du bonheur.
Reviens quand tu auras un soucis.

Hello,

Voilà j'ai trouvé ma commande :

Code:

---

tshark -r /tmp/dns.pcap "dns"|sed '/Standard query 0x/!d;s%^.*Standard query 0x[0-9a-f ]*%%'|sort|uniq -c

---

Cependant j'aimerais savoir comment je peux la lancer tous les jours mais à des heures variables, lundi 8h mardi 17h etc... et on recommence lundi 19h mardi 12h etc...
Je voulais utiliser crontab mais ce n'est pas variable... Ca m'intéresse beaucoup moins pour le coup.

Merci de votre aide !

Tes points de suspension sont flous. Quelle est la logique de cette suite de dates? Qui la fixe?
Pour déclencher un événement (sans être là), pas d'autre choix que cron.
Si la liste de dates est indéterminable à l'infini, fais un script qui calcule les dates toutes les semaines (cron régulier) et qui remplit crontab avec des ordres (cron irrégulier)

Hello !

Désolé de la réponse tardive ! Pour ce qui est du crontab j'ai trouvé ma solution, je vais récupérer des requêtes toutes les heures.
L'histoire des horaires variables était pour récupérer un échantillon du trafic de manière aléatoire car on suppose que le matin les gens ont plus tendances à consulter les news (sites d'informations) que d'aller sur des sites de bricolages/shopping.. bref

Par contre un nouveau problème s'ouvre à moi, si je récupère les requêtes toutes les heures je vais obtenir plusieurs .txt comprenant les requêtes de chaque lancement du script par heure.
J'aimerais qu'à la fin je n'obtienne qu'un seul fichier .txt pour la journée
Cependant quand je les fusionne j’obtiens ce genre de chose :

Mon premier txt + Mon deuxième txt = Résultat final :

12 www.facebook.com + 10 www.facebook.com
2 www.orange.fr + 7 www.orange.fr

Résultat final :

12 www.facebook.com
2 www.orange.fr
10 www.facebook.com
7 www.orange.fr

Alors que j'aurais souhaité avoir 22 www.facebook.com et 9 www.orange.fr
(je ne sais pas si mon explication est claire... :s)

Pouvez vous m'aider ?
Merci d'avance

Une tâche parfaite pour awk.

Code:

---

awk '{x[$2]+=$1;} END{for (i in x) print x[i],i}' *.txt

---

Arf j'ai oublié qu'il y avait les suffixes DNS dans mes fichiers txt...

Ca ressemble à ça en faite :

12 A www.facebook.com
10 AAAA www.orange.fr
5 MX www.eurosport.fr

Du coup ça plombe ta commande :/

Oui et non. Les nombres après le '$' indique le numéro du champ. Il suffit de décaler d'un.

Si les prefixes doivent être pris en compte, on les fait rentrer dans la clé.

Code:

---

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ cat data.txt 12 A www.facebook.com 2 AAAA www.orange.fr 10 A www.facebook.com 7 AAAA www.orange.fr $ awk '{x[$2]+=$1;} END{for (i in x) print x[i],i}' *.txt 22 A 9 AAAA $ awk '{x[$3]+=$1;} END{for (i in x) print x[i],i}' *.txt 9 www.orange.fr 22 www.facebook.com $ awk '{x[$2" "$3]+=$1;} END{for (i in x) print x[i],i}' *.txt 9 AAAA www.orange.fr 22 A www.facebook.com $

---

Effectivement j'ai essayé de mon côté en attendant ta réponse, merci en tout cas pour l'explication et ton aide qui m'a été précieuse.