json + javascript

Version imprimable

json + javascript

bonjour a tous je développe une extension chrome, qui bloque une liste d’URL définie par moi même, actuellement plus de 2 millions d'urls, que j'update toutes les semaines, mon extension chrome fonctionne nickel mais le problème c'est que toutes les URL sont stockées dans le background.js

voici mon manifest.json:
Code:

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 { "name":"blocker", "description":"myapp", "version":"1.0", "manifest_version":2, "permissions": [ "http://*/*", "https://*/*", "webRequest", "webRequestBlocking", "webNavigation", "storage", "unlimitedStorage" ] ,"icons":{"48":"icon.png"}, "background":{ "scripts": ["background.js"] }, "browser_action":{ "default_popup":"popup.html", "default_icon":"icon.png"}, "content_scripts": [ { "matches": ["*://*/*"], "js": ["disablef12.js"] } ] }
en gros j'ai remplace mon code background.js:
Code:

1 2 3 4 5 6 7 8 9 10 chrome.webRequest.onBeforeRequest.addListener( function(details) { return {cancel: true}; }, { urls: [ "*://*.url1/*", "*://*.url2/*", etc... ]},["blocking"]),
on m'a conseillé de remplacer mon code background.js par ça.
Code:

1 2 3 4 5 6 7 8 var URL= { "http://url1": false, "https://url2": false, "http://url3": false etc... }; chrome.webRequest.onBeforeRequest.addListener(function(details) { return {cancel: !URL[details.url] }; }, null,["blocking"]);
le problème c'est que le deuxième code la, ne fonctionne pas, ça ne bloque plus mes URL...
quelqu’un peut m'aider, merci.

Pour reprendre la discussion (dommage que le topic ait été supprimé et non censuré, au moins on aurait gardé l'historique), je viens corriger mon propre code :

Code:

return{cancel:URL[details.url]===false }

sinon en principe toutes les URL qui n'étaient pas dans la liste seraient bloquées, ce qui je me doute n'est pas ce que tu veux.

En creusant un peu la doc, je m'aperçois que le paramètre filtre doit être explicitement passé à {urls: ["<all_urls>"]}, pour cibler toutes les URL. Ce qui donnerait :
Code:

1 2 3 4 5 6 7 8 9 var AUTHORIZED_URLS= { "http://url1": false, "https://url2": false, "http://url3": false etc... }; chrome.webRequest.onBeforeRequest.addListener(function(details) { return {cancel: AUTHORIZED_URLS[details.url]===false }; }, {urls: ["<all_urls>"]},["blocking"]);
Toutefois, la doc dit aussi que cibler toutes les URL pour un filtrage est moins efficace que de stipuler les urls en second argument de addListener. Auquel cas je ne comprends pas d'où peut venir la lenteur, si c'est la façon recommandée de faire. Enfin, tu peux toujours tester comme ça et voir s'il y a une différence.

19/08/2014, 16h38
imothep85

un tout gran merci a toi sylvain, test le seul qui m'aide :D je vais tester ca de suite :D
22/08/2014, 09h46
imothep85

comem je le disais, ton aide m'a apporté un gros depanage, le script fonctionne nickel, et ce malgré les millions d'urls que j'ai mis,

Autre question, est il possible de faire en sorte que au lieu que les urls soient dans le background.js, ils soient ailleurs, dans un autre fichier planqué sur le hdd, que le background.js bloquerait? afin que les urls, soient le moins visibles aux utilisateurs trop curieux :mouarf:

quand je vois le script aussi nu sur la console c'est flippant
22/08/2014, 09h52
SylvainPV

Non, à partir du moment où c'est stocké en clair côté client, n'importe quel curieux peut récupérer les informations très facilement, peu importe le fichier où elles se trouvent. A la rigueur, tu peux essayer d'obfusquer les données ou de faire de la comparaison de hashs. Mais je pense que n'importe quel amateur de crypto sera capable de décoder ça assez vite.
22/08/2014, 11h15
imothep85

justement coté client, ca ne peut pas se faire, mais est ce qu'il n'y a pas moyen de stocker les urls sur un fichier dans un serveur et de faire en sorte que le background cheque les urls dans le fichier sur le serveur? plutot que de stocker ca sur le hdd? :aie:
22/08/2014, 11h48
SylvainPV

Ton background.js s'exécute côté client, ce n'est pas lui qui va faire des actions sur un fichier stocké côté serveur. Par contre, tu peux envisager un WebService prenant en paramètre l'URL en entrée et qui donne en sortie le statut autorisé/pas autorisé. De cette manière, la liste complète pourrait être totalement invisible. Seulement, cela implique de faire une requête vers ton serveur à chaque URL chargée par le navigateur : autrement dit doubler le nombre de requêtes ! Donc ça ne me paraît pas une bonne idée.
22/08/2014, 14h43
devyan

Bonjour,

Si background.js peut être "minified"/"obfuscated" c'est à peu près tout ce qui peut être fait.
22/08/2014, 14h52
Auteur

bonjour imothep85,

Citation:

Envoyé par imothep85

je développe une extension chrome, qui bloque une liste d’URL définie par moi même

si tu souhaites bloquer l'accès à certains sites web pourquoi ne pas utiliser le fichier hosts du système d'exploitation ?
22/08/2014, 20h13
imothep85

j'ai egalemment fait un fichier host et tésté... avec 127.0.0.0 url, le probleme cest que la ou je bosse on a un serveur interne, et du coup ca a foutu le borel monstre tout le reseau etait saturé par les appels, alors jai tout mis en 0.0.0.0 la ca marchait

le probleme c'est que je ne veux pas que l'utilisateur puisse acceder a ces millions d'urls que j'update toutes les semaines :aie:

de plus windows vista, bloque le host, mais y a moyen de le copier et l'installer manuellement,
windows 7 c'est pire car microsoft security essential trouve le fichier host, voit les urls et l'efface, javais beau remettre les urls dans le host il etait aussitot vidé, pareil pour avast, il effacait les urls....donc host, non.
22/08/2014, 20h55
Auteur

Quand tu modifiais le fichier hosts tu étais bien en mode administrateur ?
Sinon comme tu as un serveur, tu dois peut-être configurer le pare-feu ? (je me trompe peut-être, je ne suis pas spécialiste dans ce domaine)

Ta solution a des défauts à mes yeux : quelqu'un peut supprimer ou désactiver ton extension. Et comme tu l'as indiqué, elle ne fonctionne que sous Chrome. De plus il faut penser à l'installer sur tous les PC puisque le fichier des url est du coté client. (désolé je suis pessimiste :oops:)
22/08/2014, 21h13
imothep85

oui je suis en mode super admin sur ma machine, le probleme cest que une fois mon fichier host modifié il lancait des requettes sans arret, du coup toutes les machines du reseau etaient super lentes pour acceder au web.
avec 0.0.0.0 ca marche nikel, mais le host est utilisable par nimporte qui, il a un avantage, il fonctionne partout, mac/pc/linux etc

mais comme je le disais les os recents effacent, vident le host automatiquement, car certains des urls inclus dedans sont des sites de scam, et les antivirus les considerent comme une menace.
de plus dans beaucoup de boites, les logiciels sont tous pirates, tres peu de logiciels officiels...mais ca c'est aun autre debat.

bref, mon app extension chrome fonctionne nickel, il faudrait juste que je puisse la bloquer/forcer a ce quelle reste installée ou un truc du genre ou ajouter un mot de passer pour y acceder
23/08/2014, 02h08
imothep85

je viens de remarque que le script pour lequel tu mas aidé, "SylvainPV" ne bloque plus les pages des sites, il ne bloque que les noms de domaines, mais si un site s'apelle par ex, "cucu.com/cucu.jpg" lui ne sera pas bloqué, alors qu'avec l'ancien system tout ce qui dependait du nom de domaine etait bloqué....c'est tres tres problematique...:calim2:

ta methode fonctione, elle bloque les sites mais pas tout ce qui en depend, je vviens de retester, mes 2millions d'urls/noms de domaines eux sotn bien bloqués, mai sir je vaus sur l'un deux, qui ne fonctionne pas, et que j'ajoute /gallery.....ben c'est la cata...car on y a acces :s

code

Code:

1
2
3
4
function simple_domain(url)    {
    var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i);
    return matches[1];
}

donc pour l'instant dans mon background j'ai:

Code:

1
2
3
4
var AUTHORIZED_URLS= {
"http://url1/": false,
};
chrome.webRequest.onBeforeRequest.addListener(function(details) { return {cancel: AUTHORIZED_URLS[details.url]===false }; }, {urls: ["<all_urls>"]},["blocking"]);

je replace le code par ceci?

Code:

1
2
3
4
5
6
7
8
9
function simple_domain(url)   
= {
"http://url1/"
};
 
 {
    var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i);
    return matches[1];
}

25/08/2014, 05h38
ascito

c'est un peu le système de "l'accord parentale" non?

celui qui peu gérer ca c'est logiquement le routeur ( la box, le serveur entreprise, l'ordi...) , pas vraiment besoin de faire une extension si?

genre, tu donnes a ta box la liste des urls pas permises... une fois pas semaine, tu met ca en tache chron , et je pense même que tu peu peu faire du server to server donc mettre ta list en service ailleurs sur la toile.

peu être j'imagine mais je pense que c'est proche de la réalité

:)
25/08/2014, 09h43
SylvainPV
Citation:

Envoyé par imothep85

je viens de remarque que le script pour lequel tu mas aidé, "SylvainPV" ne bloque plus les pages des sites, il ne bloque que les noms de domaines, mais si un site s'apelle par ex, "cucu.com/cucu.jpg" lui ne sera pas bloqué, alors qu'avec l'ancien system tout ce qui dependait du nom de domaine etait bloqué....c'est tres tres problematique...:calim2:

ta methode fonctione, elle bloque les sites mais pas tout ce qui en depend, je vviens de retester, mes 2millions d'urls/noms de domaines eux sotn bien bloqués, mai sir je vaus sur l'un deux, qui ne fonctionne pas, et que j'ajoute /gallery.....ben c'est la cata...car on y a acces :s

Oui, je t'avais prévenu, c'est beaucoup moins flexible que les regex et il faut que l'URL corresponde EXACTEMENT. Si tu veux récupérer le domaine, tu peux l'extraire en JavaScript mais du coup tu perds un peu le gain de performance initial. Voilà un benchmark comparant les perfs de 3 façons de récupérer le domaine :
http://jsperf.com/hostname-from-url

La plus rapide (mais aussi la plus simple, à voir si elle gère tous les cas) est :
Code:

1 2 3 4 5 function simple_domain(url) { var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i); return matches[1]; }
donc tu l'appliques sur details.url pour récupérer le domaine et ensuite voir s'il est présent dans ta blacklist.
25/08/2014, 10h12
devyan

Bonjour,

Ton sujet me fais penser à ce que fait un fichier PROXY (.pac)
25/08/2014, 15h05
imothep85

avec tout ca je n'ai pa d'aide :D
il faut savoir que je bosse sur ce logiciel depuis + d'un an, j'ai durant ce temps constitué une base de donées de plus de 2millions d'urls, porno,pedo,snuff,scams,hacks,pay per view, viagra & drugs, astro, etc etc etc la liste est longue de ce que mon extension bloque.
tout ce qui est inutilise, arnaque, etc ets listé dans mon extension, ce qui fait qu'au final l'utilisateur ne risque pas de tomber sur des sites indesirables, et cest bien mieux qun quelquonque logiciel avec mot clefs, car souvent ca fout le bordel.

donc si on peu me guider dans l'application du code dans cette derniere etape c'est nikel :D
25/08/2014, 15h56
devyan

Citation:

Envoyé par imothep85

donc si on peu me guider dans l'application du code dans cette derniere etape c'est nikel :D

As-tu regardé à quoi correspond un fichier PAC et si cela ne pourrais pas répondre à ton besoin ?
25/08/2014, 16h31
imothep85

comme je le dis je developpe une extension chrome, il ne faut pas oublier que les extensions chromes s'updatent automatiquement, des que je fais la mise a jour sur le webstore, ce qui est super pratique l'utilisateur n'a rie na faire, je ne peux pas dire a tous les gens de faire la mise a jour de le fichier a chaque fois
j'update ma database tous les jours, et quand je bosse bien je liste jusqua 4000 sites par jour....

bref non pas de pak et pas de fichier host comme j'ne avais parlé au depart c'est bien sur une extension chrome que je bosse.

Citation:

Envoyé par imothep85

avec tout ca je n'ai pa d'aide

je t'ai pourtant tout donné ce que tu as à savoir.

Code:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
var AUTHORIZED_DOMAINS= {
"www.domain1.com": false,
"www.domain2.com": false
};
 
function extract_domain(url)    {
    var matches = url.match(/^https?\:\/\/([^\/?#]+)(?:[\/?#]|$)/i);
    return matches[1];
}
 
chrome.webRequest.onBeforeRequest.addListener(function(details) { 
var domain = extract_domain(details.url);
return { cancel: AUTHORIZED_DOMAINS[domain ]===false }; 
}, {urls: ["<all_urls>"]},["blocking"]);

Pour matcher des domaines :

Code:

1
2
var url = "http://www.developpez.net/forums/newreply.php?do=newreply&p=7940453"
extract_domain(url) === "www.developpez.net"

26/08/2014, 14h16
imothep85

un tout grand mercy encore sylvain :D :oops::D