Discussion :

[Hinault Romaric]

Samsung aurait de nouveau triché sur les benchmarks pour la Galaxy Note 3
Asus, HTC et LG également épinglés

À chaque sortie, les constructeurs de smartphones vantent les performances « étonnantes » de leurs nouvelles créations. Jusqu’où sont-ils prêts à aller pour donner l’impression à l’utilisateur d’avoir boosté les performances du GPU et du CPU des appareils ?

Pour la seconde fois, Samsung est pris la main dans le sac. Après avoir été pointé du doigt pour avoir triché sur les benchmarks pour les performances de la puce SoC Exynos 5 Octa du Galaxy S4, le constructeur aurait récidivé avec la Galaxy Note 3.

La supercherie a été découverte par nos confrères d’Ars Technica. Les soupçons proviennent du rapprochement entre le dispositif de Samsung et le G2 de LG. À processeur égal (Qualcomm SnapDragon 800 quadri-cœur), la Galaxy Note 3 affiche des performances supérieures de 20 % au G2.

Tout comme pour le Galaxy S4, Samsung aurait dissimulé au sein du firmware du terminal une application capable de détecter le lancement des benchmarks populaires pour augmenter artificiellement la fréquence du GPU par rapport à sa fréquence normale.

La technique consisterait à identifier les noms des benchmarks comme GeekBench, AnTuTu, 3DMark, Vellamo et Quadrant au lancement, pour ensuite optimiser les performances de la Galaxy Note 3.

En utilisant simplement un clone rebaptisé de GeekBench, le pot aux roses a été découvert. Mais, il semblerait, cependant, que Samsung ne soit pas le seul à user de cette pratique. LG, Asus et HTC ont également été épinglés ; ce qui représente la majorité des constructeurs Android, en dehors de Google (Nexus 7, Moto X, etc.).

Il s’agit plus précisément de l'Asus Padfone Infinity, du HTC One, du HTC One Mini et du LG G2, dont les performances ont été boostées sur les benchmarks AnTuTu, Vellamo, 3DMark et GFXB 2.7.

Pour l'instant, aucun de ces constructeurs n'a fait de déclaration pour démentir ces allégations.

La conclusion de cette affaire est que les benchmarks ne sont plus assez fiables pour évaluer les performances des dispositifs. Attention donc aux chiffres tape-à-l'œil affichés par certains constructeurs Android.


Sources : Ars Technica, AnandTech


Et vous ?

Qu’est-ce qui peut justifier cette course vers l’optimisation des performances pour les benchmarks ?

[Paul TOTH]

en même temps si chaque constructeur gonfle ses chiffres, le classement redevient cohérent

[bob633]

Ca ne m'étonne pas du tout.

C'est comme pour l'achat d'une voiture de course. Celle là elle monte à 258km/h alors que l'autre ne monte que jusqu'à 240km/h. Au final on est appâté par la vitesse alors que sur la route dans tous les cas on ne pourra pas dépasser 130km/h (en France du moins et hors circuit).

Pour les mobiles c'est pareil, combien de mes amis m'ont balancé le benchmark lors de l'achat de leur téléphone pensant que ça changerait leur vie ..

On achète aujourd'hui une marque, un modèle et de la puissance. Et on s'en fou de ce qui a derrière tant que le test le prouve .. Du moins pour la plupart des jeunes.

Après là pratique je la trouve pas exemplaire non plus ... même s'il faut confirmer les dire.

[MagnusMoi]

en même temps si chaque constructeur gonfle ses chiffres, le classement redevient cohérent

C'est ce que disait Lance Amstrong en parlant du dopage : tout le monde est dopé donc les résultats sont cohérant

Tricher c'est mal m'voyez

[vb159753]

C'est ce que disait Lance Amstrong en parlant du dopage : tout le monde est dopé donc les résultats sont cohérant

[Aiekick]

et puis toute façon plus c'est puissant et mois la batterie dure longtemps.

il va falloir que les benchmark log la conso batterie en même temps.
car a mon avis interroger le système pour avoir la freq cpu peut être aussi falsifiée

[Elepole]

Fallait s'y attendre, Nvidia et AMD (et ATI avant) font la même chose. Par contre eux il s'en cachent un peu moins (il le disent dans les patch note de nouveau driver quand il optimisent pour un benchmark).

[Carhiboux]

Bah, d'un autre coté, quand Samsung lance une campagne marketting pour dire que le S4 est le smartphone le plus puissant du monde, ils touchent plusieurs centaines de million de personnes.

Quand un magazine/des geeks mettent à jour le fait que les perfs sont pipées, cela concerne... quelques dizaines de milliers de personnes dans le monde?

Le calcul est vite fait pour Samsung hein... entre faire miroiter l'impossible à la majorité et convaincre une minorité critique... je ne suis pas étonné qu'ils n'hésitent pas non plus!

[GeoTrouvePas]

C'est malheureusement le cas de partout aujourd'hui.
Essayer :
- d'atteindre les 240h d'autonomie en veille qu'on vous annonce lors de l'achat de votre téléphone
- de bénéficier des 50% de durée de vie supplémentaire que sont censés apporter les condensateurs de qualité militaire de votre carte mère (alors que le reste des composants n'a pas vu sa durée de vie rallongée)
- d'atteindre les 5l/100km promis par le constructeur de votre voiture
- de réaliser les 30% d'économie d'énergie promis par ce radiateur
- d'économiser 50 € sur votre caddy type chez Leclerc par rapport à Carrefour
etc...

Personnellement quand je vois des benchmark / statistiques et autres données fournies par un constructeur, je n'y prête même plus attention.

[Jonyjack]

Oui si on devait vérifier toutes les performances affichées par les constructeurs, on s'en sortirait pas...
Pour les benchmarks, on pourrait avoir une application qui modifie l'AndroidManifest pour mettre un nom aléatoire et pouvoir le lancer sans être détecté par le SoC.

[fadeyves]

Très peu sont les utilisateurs qui accordent une réelle importance à ses performances affichée dans les bench. C'est plus le besoin d'avoir le dernier produit qui fait ravage qui intéresse le commun des mortels. Alors...

[Ceddoc]

Ce n'est pas spécialement étonnant, même sans se baser sur le nom, ils doivent tenter de détecter le genre d'actions qui est symptomatique d'un benchmark et qui a peu de chances d'arriver en fonctionnement normal pour booster la fréquence à ce moment là...

Pour ce qui est des benchmark j'avoue que je ne les regarde que quand j'hésite entre deux produits très similaires donc je me suis peut être déjà fait avoir par ce genre de pratique malheureusement.