Benchmark du Galaxy Note 3 : Samsung pris la main dans le SoC

Samsung est à nouveau sur la sellette, cette fois-ci avec le Galaxy Note 3, étant accusé de booster systématiquement son fleuron dès qu’une application de benchmark est lancée.

L’histoire semble se répéter puisque Samsung est soupçonné de faire systématiquement tourner le processeur du Galaxy Note 3 à plein régime lorsque des applications populaires de benchmark sont lancées.

En effet, il y a un an déjà, la société sud-coréenne avait été prise la main dans le SoC tentant de booster « artificiellement » les scores du Galaxy S4 aux différents tests de benchmark.

Un scénario familier donc qui, cette fois-ci, touche le Galaxy Note 3. Le joujou a beau carburer au Snapdragon 800, probablement le SoC le plus performant du marché à l’heure actuelle, il ne tourne à plein régime qu’en certaines occasions spécifiques, consommation électrique oblige.

La plupart du temps, un seul des quatre coeurs Krait 400 du CPU est activé avec une fréquence souvent bien inférieure à la valeur maximale de 2.3 GHz. Un mode de fonctionnement à l’économie classique avec un processeur multicoeurs qui permet d’optimiser l’usage du hardware suivant les besoins du moment.

Mais, visiblement, Samsung a concocté un mode spécial durant lequel les 4 coeurs sont activés et cadencés à 2.3 GHz. Un mode avion de chasse qui est systématiquement activé lorsque le terminal détecte qu’une appli de benchmark a été lancée.

C’est en testant la dernière phablette de Samsung qu’Ars Technica a découvert le pot aux roses. Plus précisément, l’artifice a été décelé lors de la comparaison des scores du Galaxy Note 3 au benchmark Geekbench 3 à ceux obtenus par le LG G2. Les deux terminaux Android ont en commun le Snapdragon 800 de Qualcomm (avec fréquence maximale de 2.3 GHz) et tournent sous Android 4.3. Notons toutefois que le G2 embarque 2 Go de DRAM tandis que le Galaxy Note 3 se distingue avec un peu plus de 2.5 Go. Un socle commun qui est, normalement, de nature à faire converger les résultats de benchmark dans une fourchette resserrée.

Pour recouper cette découverte, Ars Technica a alors modifié le nom de package de l’appli Geekbench 3, devenant pour l’occasion Stealthbench. Le Galaxy Note 3 ne la reconnaît alors pas comme une appli de benchmark et n’active pas systématiquement les 4 coeurs du CPU. Les résultats de benchmark n’ont alors pas tardé à parler. Alors que les scores étaient initialement 20% plus élevés avec Geekbench 3, ils sont du même ordre avec l’appli renommée Stealthbench.

Le Galaxy note 3 est légèrement plus performant (selon Geekbench 3) « naturellement » que le LG G2.

On gardera tout de même à l’esprit que le subterfuge n’aurait probablement pas été décelé si Samsung n’avait pas été aussi gourmand (i.e. tous les coeurs à plein régime systématiquement lors des benchmarks). Notons également que le Galaxy Note 3 est toutefois bel et bien capable de déployer de telles performances. La manipulation consiste ici à berner les applis de benchmark et donc le consommateur au final. Le Galaxy Note 3 ne peut ainsi plus être comparé à ARMes égales aux autres smartphones. Or, c’est bien le dessein des tests de benchmark.

C’est d’autant plus regrettable que le Galaxy Note 3 a des arguments à faire valoir qui dépassent largement le cadre de ses performances hardware.

(source)


4 commentaires

  1. J’avoue ne pas avoir tout compris ,

    Pour moi le Benchmark consistait à pousser la machine au maximum de ses performances , même si bien entendu c’est une situation très ponctuelle ( jeux , multimédia poussé etc ) , un peu comme une voiture qui annonce 150CV , évidemment que les 150CV sont atteint au régime maximum que peut encaisser le moteur , on est rarement a 7000 tours minutes quand on conduit , mais ca permet d’établir un base comparative entre véhicules.

    La on nous explique que le Benchmark est freiné par le mode d’économie d’énergie et d’autres paramètres ( plus ou moins opaque) qui empercherait les 4 cÅ“urs d’atteindre leur puissance de calcul optimale…a quoi bon faire un test alors ?

    Donc en me renseignant un peu sur le sujet je tombe sur un excellent article de vos confèreres « Tom’s Hardware » qui explique en gros , que les outils de benchmarking ne sont pas du tout optimisés pour les plateformes qu’ils sont supposé testés ?!?

    Exemple avec l’outil Antutu ( un des plus connu ) qui ne prends pas en compte les instructions « Neons » dans sa version Android malgré le fait que les CPU soient compatibles , résultat : les CPU Intel sur plateforme Intel arrivent systématiquement en tête….

    Bref c’est quand même du grand n’importe quoi ces histoires de bench…

  2. Rénald

    @hiroko , il est vrai qu’il faudrait normaliser un peu plus les benchmarks. Plusieurs constructeurs y planchent d’ailleurs pour proposer une norme. Mais, l’idéal serait qu’un consortium indépendant gère cela.

    Quant à la notion de benchmark, il ne s’agit pas uniquement de lancer un bolide à pleine puissance sur le circuit. Un score de benchmark est pondéré par tout un tas de tests qui ne mettent pas systématiquement le mobile à plein régime. Ce qui prime, c’est la comparaison des performances et pouvoir jauger tous les aspects du SoC (mise en oeuvre et perfs. du cache, performances du GPU, de l’ISP…).

    Si la comparaison n’est plus possible (comme dans ce cas précis), tout est faussé…

  3. Quand on essaye le note 3 on voit bien que ce n’est pas le jour et la nuit avec le note 2.
    il y a pas mal de chose améliorés mais il y en a d’autres qui sont moins bien et c’est parfois incompréhensible.
    Le navigateur contextuel par exemple je ne sais pas si il existe toujours mais je ne le vois plus.
    l’application note aussi ou est la reconnaissance des forme géométriques?
    C’était indispensable ça. Leurs petit éventail aussi pour le stylet c’est de la poudre aux yeux tout etait deja la en plus simple sauf les applis flottantes ça c’est utile (une fois roote on pourra certainement tout ce que l’on veut)
    Le petit clavier mobile qui s’ouvrait lors de l’ouverture en multifenetre, disparu
    Samsung ça sent un peu le gros qui ce la pète,qui vise le monopole et le profit.
    un Apple bridé quoi.

Send this to friend

Lire les articles précédents :
paper moleskine
Quand l’une des meilleures applications iPad fait un partenariat avec Moleskine

L'application iPad Paper a réalisé un partenariat avec Moleskine. Il est maintenant possible d'imprimer un carnet via l'application pour 40$.

Fermer