Discussion :

[AvySamaj]

Bonjour.

Ma machine tourne sur Ubuntu 18.04.3 et la version de Bash est 4.4.20.

L'idée principale est la suivante:
###Lancer tor & polipo
./lancementTorPolipo.sh start 1 5
#Attendre que les circuits tor soit complété par "Bootstrap 100% done" ce qui met un peu de temps
#Ensuite, et seulement ensuite
./autreScriptQuiDépendDesCircuitsDeTor.sh

Voici un extrait du fichier ./lancementTorPolipo.sh

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
mode=$1
minimum=$2
maximum=$3
if [ $mode = "start" ]; then
    for i in `seq $minimum  $maximum`;
    do
        tor -f /etc/tor/torrc$i &
    done
fi

Comme vous le voyez les instances de Tor sont lancés via la commande tor -f /etc/tor/torrc. C'est très différent que de le lancer comme un service/deamon comme vous le savez je pense, et je vais aborder le point ensuite.

Donc, à l'heure actuelle je ne sais pas comment automatiser dans un script bash le fait d'attendre que les circuits soient tous complets: Bootstrapped 100%: Done.
Je précise d'avance que la commande wait comme on me l'a proposé ailleurs n'est absolument pas ce que j’attends. Cette dernière attends que le processus (PID) disparaisse. Moi j'attends au contraire qu'il soit toujours présent.
Je ne souhaite pas envisager la commande sleep non plus. L'attente dépendant du nombre de circuits créés et puis d'autres facteurs que je ne maîtrise pas.

Je reviens maintenant sur les services/deamons. J'ai cherché ce qu'était les status pour les services, notamment avec les commandes de systemctl. J'aimerais savoir si pour vous c'est une piste envisageable pour répondre à mon problème que de lancer ces instances de torrc comme des services ou si on peut se passer de cela ? Autrement dit y a-t-il d'autres moyens? Déjà qu'est ce qui serait le plus à faire ?

[disedorgue]

Bonjour,

Je n'utilise pas tor, pourrais-tu donc préciser où l'on trouve le fameux "Bootstrap 100% done" à l'écran ou dans un log ?

par exemple, si c'est dans un log, quelque chose comme ci-dessous devrait le faire:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tail -n +1 -f log | grep -m 1 "Bootstrap 100% done"

Ceci te rendra la main dés que la regex est trouvée

[AvySamaj]

Je pense que l'on peut dire que c'est un log. Vous me direz si je me trompe.

Quand je lance le script avec la commande ./lancementTorPolipo.sh start 1 5 ça donne une sortie dans le shell tel que:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
(base) avy@machine:/~$ Sep 10 13:38:04.996 [notice] Tor 0.3.2.10 (git-0edaa32732ec8930) running on Linux with Libevent 2.1.8-stable, OpenSSL 1.1.1, Zlib 1.2.11, Liblzma 5.2.2, and Libzstd 1.3.3.
Sep 10 13:38:04.998 [notice] Tor can't help you if you use it wrong! Learn how to be safe at https://www.torproject.org/download/download#warning
Sep 10 13:38:04.998 [notice] Read configuration file "/etc/tor/torrc1".
...#j'en passe
Sep 10 13:38:04.998 [notice] Read configuration file "/etc/tor/torrc5".
...#j'en passe encore
Sep 10 13:38:09.000 [notice] Bootstrapped 100%: Done
Sep 10 13:38:09.000 [notice] Tor has successfully opened a circuit. Looks like client functionality is working.
Sep 10 13:38:09.000 [notice] Bootstrapped 100%: Done
Sep 10 13:38:09.000 [notice] Tor has successfully opened a circuit. Looks like client functionality is working.
Sep 10 13:38:09.000 [notice] Bootstrapped 100%: Done

Comme vous le voyez Bootstrapped 100% apparaît autant de fois qu'il y a d'instances lancées. Donc j'ai aussi une contrainte technique qui est d'attendre d'avoir le bon nombre de fois ce message avant de lancer les instructions suivantes.

[disedorgue]

Dans ce cas, il suffit de remplacer le 1 du grep -m 1 "..." par le nombre désiré.

[N_BaH]

[...]HTTP proxies are no longer useful: most traffic is encrypted, and a web proxy merely acts as a dumb intermediary for encrypted traffic.

lire la suite

[AvySamaj]

@N_BaH Autant pour moi j'ai cru que c'était dans le log que j'avais copié. Donc je refais le message.

Oui je suis au courant de ce que vous mentionnez. Mais ça marche très bien. En utilisant la commande de curl --proxy 127.0.0.1ortDuProxy -L https://check.torproject.org/api/ip je vois que j'ai bien une adresse IP de Tor. Donc ça fonctionne. Dites-moi ce qui vous inquiète avec ces grands yeux: .

[disedorgue]

Bon, c'est plus compliqué que prévu, le tail -f sur fichier ne rend pas la main lors d'un broken pipe...

J'exposerai une solution dans la soirée, quand je serais sur mon pc perso.

[AvySamaj]

@disedorgue Je ne sais pas comment vous obtenez le fichier le log pour votre part. De mon côté j'essaie de paramétrer dans les différents fichier torrc le dossier et fichier de log comme indiqué dans la documentation. Malheureusement j'ai beau faire comme ils disent ça ne veut pas pour l'instant.

MAJ:
Maintenant c'est réussi. Je confirme que la commande proposé ne rend pas la main si elle ne trouve pas le motif en question. Je me penche sur les signals voir si c'est envisageable.

[N_BaH]

il n'est pas dit que ça ne fonctionne pas, mais que ce n'est plus utile (« no longer useful »).

je ne savais pas ce qu'est polipo, je suis donc allé sur leur site pour en apprendre plus.
et là, choc! : "plus maintenu", "plus utile"...

[AvySamaj]

@N_BaH pour ma part c'est encore très utile pour utiliser scrapy qui ne peut se contenter de Tor seul, mais doit passer par un proxy HTTP. J'ai déjà essayé de voir pour utiliser Tor seul. Ce fut sans succès.

[balkany]

Si j'ai bien compris ton besoin au niveau du proxy http, tu pourrais peut-être plutôt utiliser privoxy (qui lui est maintenu), comme la faq de tor le "recommande" (en fait ils recommandent plutôt d'éviter de passer par un proxy http, mais bon…) : https://2019.www.torproject.org/docs...n#TBBSocksPort

[disedorgue]

@disedorgue Je ne sais pas comment vous obtenez le fichier le log pour votre part. De mon côté j'essaie de paramétrer dans les différents fichier torrc le dossier et fichier de log comme indiqué dans la documentation. Malheureusement j'ai beau faire comme ils disent ça ne veut pas pour l'instant.

Comme j'ai dit, je n'utilise pas tor, donc je ne m'occupe pas de ce souci, je te laisse voir...

Par contre, dans la doc, ils disent que par défaut, les log sortent sur stdout, donc en rajoutant une redirection vers un fichier de log par process tor, ça devrait le faire...

J'ai une autre question: tes processus tor restent vivant à la mort du shell qui les lancent ?

[AvySamaj]

J'ai réussi pour les logs, j'ai mis à jour le message.

Ce que je comprend par "mort du shell "c'est de lancer la commande et faire Ctrl+C pour avoir de nouveau la main.
Si tel est le cas, oui les processus tor pour moi sont toujours vivant car à la suite de ça la commande ps aux | grep torrc$i | awk '{print $2}' renvoi des PIDs. C'est pour ça que je ne pouvais pas me contenter de wait.

[disedorgue]

Non, le test à faire:
-Ouvrir une fenêtre et lancer depuis celle-ci ton script de lancement de tor.
-Fermer la fenêtre
-Ouvrir une autre fenêtre et faire le ps pour voir si cela retourne quelque chose.

[AvySamaj]

En suivant vos instructions ps aux | grep torrc$i | awk '{print $2}' me renvoi bien plusieurs PIDs.

[disedorgue]

C'est normal que cela ne rend pas la main quand il ne trouve pas le pattern, c'est le principe.

Par contre, contrairement d'autres tests fait sur du redhat, sur ma ubuntu, la commande me rend bien la main quand le pattern est trouvé les n fois demandé au grep.

Donc, cela doit dépendre soit d'une option du shell soit d'une évolution de tail.

Est-ce que chez toi, la commande rend la main quand il trouve le pattern les n fois demandé ?

[disedorgue]

En suivant vos instructions ps aux | grep torrc$i | awk '{print $2}' me renvoi bien plusieurs PIDs.

Ok, dans ce cas, pas de souci, c'est tor qui gère lui-même le décrochage à son processus père.

[AvySamaj]

Quand le pattern est trouvé oui il me rend la main.
Je n'ai pas essayé, de voir ce que donnait commande tandis que le fichier log se complète et donc qu'il n'a pas encore écrit le pattern voulu.
Toutefois si ça vous parait normal, et c'est que je comprend quand je vous lis, alors je n'ai plus qu'à tisser autour de cette commande et je vous ferais un retour.

[disedorgue]

S'il ne rend pas la main tant que les pattern ne sont pas trouvés et qu'il rend la main s'ils sont trouvés, c'est bien le principe recherché, donc c'est ok.

De plus, tu as le droit de lui fournir plusieurs fichiers de logs, il le gère en principe:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

tail -n +1 -f fihierlog1 fichierlog2 fichierlogn | grep -m n pattern_recherche

[AvySamaj]

C'est une solution qui marche pour moi.

Voici ci-dessous le fichier de lancement de l'ensemble (pour le test):

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
#!/bin/bash
debut=$1
fin=$2
 
./lancementTorPolipo.sh start $debut $fin
 
for i in `seq $debut $fin`; do
	tail -n +1 -f /var/log/tor$i/debug.log | grep -m 1 "Bootstrapped 100%" #le nombre d'instances étant variable, j'ai préféré la boucle qui dépend du nombre d'instances.
done
 
echo "Normalement le lancement est terminé ici"

Cette fois-ci l'affichage du message Normalement le lancement est terminé ici s'affiche bien une fois à la fin de ce que j'attends. Sans ça, cela s'affiche bien avant la fin de l'écriture du log concernant l'établissement des circuits. Ça change la donne. Donc je considère qu'en l'état des choses c'est résolu. Si ça ne va plus je reviendrai.
Merci beaucoup @disedorgue d'avoir pris le temps de me proposer une solution qui marche. Très sincèrement.