Discussion :

[Nissa Comet]

Robohornet : le benchmark de navigateurs qui voit plus loin que JavaScript
Critiqué par Mozilla et forké par Microsoft


Google vient de lancer la version alpha de Robohornet. C'est un outil open source qui regroupe une série de tests de comparaison (benchmarks) entre les navigateurs Web. Sa particularité est qu'il prend en compte, en plus de JavaScript et de ses différents frameworks populaires, le rendu HTML, les animations CSS et les manipulations DOM.

Logo de RoboHornet

Alex Komoroske, ingénieur et responsable du projet Robohornet chez Google, est à l'origine du projet Robohornet. Il déclare que « C’est un benchmark vivant et dynamique qui vise à utiliser les efforts collectifs de la communauté de développeurs web et, finalement, permettre aux fournisseurs de navigateurs Web de corriger les points d'achoppement des performances du monde réel ». La communauté Robohornet comprend un bon nombre de développeurs de Google, Facebook, Mozilla, Samsung et Sencha.

Robohornet vise à devenir un critère de référence sous forme d'effort communautaire où chaque développeur web peut participer en soumettant des tests ou en votant sur des tests à inclure. Ce projet est actuellement disponible sur GitHub.

Cependant, la plupart des tests inclus pour l’instant sont de « microbenchmarks », hautement abstraits sans trop de rapport avec les besoins réels en performances, comme le calcul des nombres premiers.

De son côté, Microsoft ne se montre pas vraiment satisfait du critère Robohornet. La firme déclare que ce test est imparfait et a créé sa propre série de tests, dérivée de Robohornet, intitulée Robohornet Pro et dont elle prétend qu'il représente mieux les besoins du "monde réel" des sites.

[ame="http://www.youtube.com/watch?v=Ihcsm_ySKOM"]Vidéo de présentation de Robohornet Pro de Microsoft[/ame]

En outre, deux développeurs de chez Mozilla (Justin Lebar et Nicholas Nethercote) ont également critiqué Robohornet et y ont déposé un bogue intitulé « éliminer et ficher comme hors-la-loi les microbenchmarks ». Lebar déclare qu'il aime vraiment l'idée d'un benchmark communautaire et espère y voir intégrer des macrobenchmarks à la place des microbenchmarks.


Tester RoboHornet sur son site officiel
Tester RoboHornet Pro

Sources : compte GitHub de RoboHornet, déclaration de Microsoft sur le blog d'Internet Explorer, bogue rapporté par les développeurs de Mozilla

[transgohan]

Comment peuvent-ils parler de benchmarks en faisant tourner en tâche de fond un fond qui consomme autant !
Ils perdent sacrément de leur sérieux...

Manquerait plus que je lance la compilation d'un noyau linux quand je lance mes benchs moi.

[Tryp']

Et au final, chaque firme mettra au point ses propres tests pour pouvoir vanter les mérites de son navigateur.

[troll]
Comme la publicité IE9 disant que ce navigateur est de loin le meilleur. Où sont les preuves ?
[/troll]