Discussion :

[imothep85]

bonjour a tous je développe une extension chrome, qui bloque une liste d’URL définie par moi même, actuellement plus de 2 millions d'urls, que j'update toutes les semaines, mon extension chrome fonctionne nickel mais le problème c'est que toutes les URL sont stockées dans le background.js

voici mon manifest.json:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
{
"name":"blocker",
"description":"myapp",
"version":"1.0",
"manifest_version":2,
"permissions": [
        "http://*/*",
        "https://*/*",
        "webRequest",
        "webRequestBlocking",
        "webNavigation",
        "storage",
        "unlimitedStorage"
]      
,"icons":{"48":"icon.png"},
"background":{
    "scripts": ["background.js"]
},
"browser_action":{
    "default_popup":"popup.html",
    "default_icon":"icon.png"},
	"content_scripts": [
		{
			"matches": ["*://*/*"],
			"js": ["disablef12.js"]
		}
	]
}

en gros j'ai remplace mon code background.js:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
10
 
chrome.webRequest.onBeforeRequest.addListener(
function(details) {
return {cancel: true}; 
}, { urls: 
[
"*://*.url1/*",
"*://*.url2/*",
etc...
]},["blocking"]),

on m'a conseillé de remplacer mon code background.js par ça.

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
 
var URL= {
"http://url1": false,
"https://url2": false,
"http://url3": false
etc...
};
chrome.webRequest.onBeforeRequest.addListener(function(details) { return {cancel: !URL[details.url] }; }, null,["blocking"]);

le problème c'est que le deuxième code la, ne fonctionne pas, ça ne bloque plus mes URL...
quelqu’un peut m'aider, merci.

[SylvainPV]

Pour reprendre la discussion (dommage que le topic ait été supprimé et non censuré, au moins on aurait gardé l'historique), je viens corriger mon propre code :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

return{cancel:URL[details.url]===false }

sinon en principe toutes les URL qui n'étaient pas dans la liste seraient bloquées, ce qui je me doute n'est pas ce que tu veux.

En creusant un peu la doc, je m'aperçois que le paramètre filtre doit être explicitement passé à {urls: ["<all_urls>"]}, pour cibler toutes les URL. Ce qui donnerait :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
var AUTHORIZED_URLS= {
"http://url1": false,
"https://url2": false,
"http://url3": false
etc...
};
chrome.webRequest.onBeforeRequest.addListener(function(details) { return {cancel: AUTHORIZED_URLS[details.url]===false }; }, {urls: ["<all_urls>"]},["blocking"]);

Toutefois, la doc dit aussi que cibler toutes les URL pour un filtrage est moins efficace que de stipuler les urls en second argument de addListener. Auquel cas je ne comprends pas d'où peut venir la lenteur, si c'est la façon recommandée de faire. Enfin, tu peux toujours tester comme ça et voir s'il y a une différence.

[imothep85]

un tout gran merci a toi sylvain, test le seul qui m'aide je vais tester ca de suite

[imothep85]

comem je le disais, ton aide m'a apporté un gros depanage, le script fonctionne nickel, et ce malgré les millions d'urls que j'ai mis,

Autre question, est il possible de faire en sorte que au lieu que les urls soient dans le background.js, ils soient ailleurs, dans un autre fichier planqué sur le hdd, que le background.js bloquerait? afin que les urls, soient le moins visibles aux utilisateurs trop curieux

quand je vois le script aussi nu sur la console c'est flippant

[SylvainPV]

Non, à partir du moment où c'est stocké en clair côté client, n'importe quel curieux peut récupérer les informations très facilement, peu importe le fichier où elles se trouvent. A la rigueur, tu peux essayer d'obfusquer les données ou de faire de la comparaison de hashs. Mais je pense que n'importe quel amateur de crypto sera capable de décoder ça assez vite.

[imothep85]

justement coté client, ca ne peut pas se faire, mais est ce qu'il n'y a pas moyen de stocker les urls sur un fichier dans un serveur et de faire en sorte que le background cheque les urls dans le fichier sur le serveur? plutot que de stocker ca sur le hdd?

[SylvainPV]

Ton background.js s'exécute côté client, ce n'est pas lui qui va faire des actions sur un fichier stocké côté serveur. Par contre, tu peux envisager un WebService prenant en paramètre l'URL en entrée et qui donne en sortie le statut autorisé/pas autorisé. De cette manière, la liste complète pourrait être totalement invisible. Seulement, cela implique de faire une requête vers ton serveur à chaque URL chargée par le navigateur : autrement dit doubler le nombre de requêtes ! Donc ça ne me paraît pas une bonne idée.

[devyan]

Bonjour,

Si background.js peut être "minified"/"obfuscated" c'est à peu près tout ce qui peut être fait.

[Auteur]

bonjour imothep85,

je développe une extension chrome, qui bloque une liste d’URL définie par moi même

si tu souhaites bloquer l'accès à certains sites web pourquoi ne pas utiliser le fichier hosts du système d'exploitation ?

[imothep85]

j'ai egalemment fait un fichier host et tésté... avec 127.0.0.0 url, le probleme cest que la ou je bosse on a un serveur interne, et du coup ca a foutu le borel monstre tout le reseau etait saturé par les appels, alors jai tout mis en 0.0.0.0 la ca marchait

le probleme c'est que je ne veux pas que l'utilisateur puisse acceder a ces millions d'urls que j'update toutes les semaines

de plus windows vista, bloque le host, mais y a moyen de le copier et l'installer manuellement,
windows 7 c'est pire car microsoft security essential trouve le fichier host, voit les urls et l'efface, javais beau remettre les urls dans le host il etait aussitot vidé, pareil pour avast, il effacait les urls....donc host, non.

[Auteur]

Quand tu modifiais le fichier hosts tu étais bien en mode administrateur ?
Sinon comme tu as un serveur, tu dois peut-être configurer le pare-feu ? (je me trompe peut-être, je ne suis pas spécialiste dans ce domaine)

Ta solution a des défauts à mes yeux : quelqu'un peut supprimer ou désactiver ton extension. Et comme tu l'as indiqué, elle ne fonctionne que sous Chrome. De plus il faut penser à l'installer sur tous les PC puisque le fichier des url est du coté client. (désolé je suis pessimiste )

[imothep85]

oui je suis en mode super admin sur ma machine, le probleme cest que une fois mon fichier host modifié il lancait des requettes sans arret, du coup toutes les machines du reseau etaient super lentes pour acceder au web.
avec 0.0.0.0 ca marche nikel, mais le host est utilisable par nimporte qui, il a un avantage, il fonctionne partout, mac/pc/linux etc

mais comme je le disais les os recents effacent, vident le host automatiquement, car certains des urls inclus dedans sont des sites de scam, et les antivirus les considerent comme une menace.
de plus dans beaucoup de boites, les logiciels sont tous pirates, tres peu de logiciels officiels...mais ca c'est aun autre debat.


bref, mon app extension chrome fonctionne nickel, il faudrait juste que je puisse la bloquer/forcer a ce quelle reste installée ou un truc du genre ou ajouter un mot de passer pour y acceder

[imothep85]

je viens de remarque que le script pour lequel tu mas aidé, "SylvainPV" ne bloque plus les pages des sites, il ne bloque que les noms de domaines, mais si un site s'apelle par ex, "cucu.com/cucu.jpg" lui ne sera pas bloqué, alors qu'avec l'ancien system tout ce qui dependait du nom de domaine etait bloqué....c'est tres tres problematique...

ta methode fonctione, elle bloque les sites mais pas tout ce qui en depend, je vviens de retester, mes 2millions d'urls/noms de domaines eux sotn bien bloqués, mai sir je vaus sur l'un deux, qui ne fonctionne pas, et que j'ajoute /gallery.....ben c'est la cata...car on y a acces :s

[imothep85]

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
function simple_domain(url)    {
    var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i);
    return matches[1];
}

donc pour l'instant dans mon background j'ai:

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
var AUTHORIZED_URLS= {
"http://url1/": false,
};
chrome.webRequest.onBeforeRequest.addListener(function(details) { return {cancel: AUTHORIZED_URLS[details.url]===false }; }, {urls: ["<all_urls>"]},["blocking"]);

je replace le code par ceci?

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
6
7
8
9
function simple_domain(url)   
= {
"http://url1/"
};
 
 {
    var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i);
    return matches[1];
}

[ascito]

c'est un peu le système de "l'accord parentale" non?

celui qui peu gérer ca c'est logiquement le routeur ( la box, le serveur entreprise, l'ordi...) , pas vraiment besoin de faire une extension si?

genre, tu donnes a ta box la liste des urls pas permises... une fois pas semaine, tu met ca en tache chron , et je pense même que tu peu peu faire du server to server donc mettre ta list en service ailleurs sur la toile.

peu être j'imagine mais je pense que c'est proche de la réalité

[SylvainPV]

je viens de remarque que le script pour lequel tu mas aidé, "SylvainPV" ne bloque plus les pages des sites, il ne bloque que les noms de domaines, mais si un site s'apelle par ex, "cucu.com/cucu.jpg" lui ne sera pas bloqué, alors qu'avec l'ancien system tout ce qui dependait du nom de domaine etait bloqué....c'est tres tres problematique...

ta methode fonctione, elle bloque les sites mais pas tout ce qui en depend, je vviens de retester, mes 2millions d'urls/noms de domaines eux sotn bien bloqués, mai sir je vaus sur l'un deux, qui ne fonctionne pas, et que j'ajoute /gallery.....ben c'est la cata...car on y a acces :s

Oui, je t'avais prévenu, c'est beaucoup moins flexible que les regex et il faut que l'URL corresponde EXACTEMENT. Si tu veux récupérer le domaine, tu peux l'extraire en JavaScript mais du coup tu perds un peu le gain de performance initial. Voilà un benchmark comparant les perfs de 3 façons de récupérer le domaine :
http://jsperf.com/hostname-from-url

La plus rapide (mais aussi la plus simple, à voir si elle gère tous les cas) est :

Code :

Sélectionner tout - Visualiser dans une fenêtre à part

1
2
3
4
5
 
function simple_domain(url)    {
    var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i);
    return matches[1];
}

donc tu l'appliques sur details.url pour récupérer le domaine et ensuite voir s'il est présent dans ta blacklist.

[devyan]

Bonjour,

Ton sujet me fais penser à ce que fait un fichier PROXY (.pac)

[imothep85]

avec tout ca je n'ai pa d'aide
il faut savoir que je bosse sur ce logiciel depuis + d'un an, j'ai durant ce temps constitué une base de donées de plus de 2millions d'urls, porno,pedo,snuff,scams,hacks,pay per view, viagra & drugs, astro, etc etc etc la liste est longue de ce que mon extension bloque.
tout ce qui est inutilise, arnaque, etc ets listé dans mon extension, ce qui fait qu'au final l'utilisateur ne risque pas de tomber sur des sites indesirables, et cest bien mieux qun quelquonque logiciel avec mot clefs, car souvent ca fout le bordel.

donc si on peu me guider dans l'application du code dans cette derniere etape c'est nikel

[devyan]

donc si on peu me guider dans l'application du code dans cette derniere etape c'est nikel

As-tu regardé à quoi correspond un fichier PAC et si cela ne pourrais pas répondre à ton besoin ?

[imothep85]

comme je le dis je developpe une extension chrome, il ne faut pas oublier que les extensions chromes s'updatent automatiquement, des que je fais la mise a jour sur le webstore, ce qui est super pratique l'utilisateur n'a rie na faire, je ne peux pas dire a tous les gens de faire la mise a jour de le fichier a chaque fois
j'update ma database tous les jours, et quand je bosse bien je liste jusqua 4000 sites par jour....

bref non pas de pak et pas de fichier host comme j'ne avais parlé au depart c'est bien sur une extension chrome que je bosse.