gayuu_fujinaの愚草記 (別館→本館)

はてなダイアリーが更新できなくなったので、泣く泣くこちらに移行。使いづらいようなら、別なサービスへの引っ越しも検討する予定。元ダイアリー:http://d.hatena.ne.jp/gayuu_fujina/

ベンチマーク偽装によりファーウェイ端末削除。パフォーマンスモードとして明示化へ – すまほん!!

海外サイトAnandTechは、Huawei製端末がベンチマークテスト3DMarkを実行中、通常ではありえない発熱と電池消費を伴うほどのブーストを行っていることを指摘しました。
これを受けて3DMarkは、以下のデバイスベンチマーク上から削除する措置をとりました。削除されたデバイスは以下の通り。
Huawei P20
Huawei P20 Pro
Huawei Nova 3
Huawei Honor Play
5年前にSamsungベンチマーク偽装が発覚し話題となりましたが、久しぶりに同様の問題が起きたことになります。Huawei的にはnova3のカメラを一眼レフで撮影していたことがバレたばかりなので、泣きっ面に蜂ですね。
今回の問題に対し、Huaweiは「実行中のアプリのグラフィックなどに基づいてAIが性能を調整している」などと声明を発しています。しかしながらそのような挙動をユーザーが明示的に変更できず、結果的にベンチマーク結果が操作されるというのは大きな問題であり、ベンチマーク規約違反で不正として削除されるのも当然と言えます。
推測ですが、AI処理が原因というのはHuaweiの苦しい言い訳、嘘ではないでしょうか。というのも3DMarkを展開するULは、アプリ名の異なる内部バージョンの3Dmarkを当該端末で実行させたところ、端末は処理性能のブーストを行わなかったとのこと。このことから、Huawei端末はそのアプリの内容や要求する処理によって性能をブーストしているわけではなく、アプリ名で性能をブーストしていることになるからです。
この問題でHuaweiの解決策は、このベンチマーク利用時の性能引き上げを、「パフォーマンスモード」として実装するというもの。ユーザーに制御できない秘密裏のブーストでベンチマークを偽装していたことが問題なのであり、ユーザーに明示し制御できるなら、ベンチマークの規約に抵触しない形になるからです。
Huaweiとしては大きく評価を下げてしまう出来事でした。とりあえずパフォーマンスモードのアップデートによる提供を見守りたいところです。

https://smhn.info/201809-huawei-fake-benchmark

この問題がニュースになる以前の問題として、中韓スマホメーカーがベンチマークソフト限定の「裏モード」を持って居る事は、知っていたし、今更感が在る話かと。
この件がスッパ抜かれたファーウェイは、「みんなやってるし」と開き直ったが、この「みんな」というのは、サムスンと中華スマホメーカー全社の事である。
なお、台湾メーカーであるASUSはAIブーストと言う機能として提供しており、こちらは「ベンチマークソフト限定」ではない、正しい意味でのブーストモードを提供しているし、HTCやSONYはブースト無しの比較的余裕ある熱管理をしている分、安定稼動に定評がある。(SoC由来の爆熱スマホは勘弁してやれ…)
そもそも、ソニーやHTC、ASUSと同じSoCを使っている筈のサムスンが、一人だけ少し高いスコアを出している時点で、「あっ(察し)」だろうに
ついでに、ファーウェイは独自SoCという強みもあるが、Kirin960と970の間で、ベースとなるシングルコア性能は殆ど向上しておらず、実質的にスナドラ835と同等性能なのに、Kirin970が、最新のスナドラ845に近いスコアが出て居た時点で、まあ怪しいとは思ってた。
それでも、10月発売のMate20に搭載される予定のKirin980は、プロセスルールが変わった分、性能向上が期待できるSoCなになっている筈で、スナドラ845と互角以上でも不思議ではない。
そもそも、ブーストと言っても、限度はあるので倍も性能が上がる訳でもなく、「潜在的最大性能」と考えれば、間違っている訳でもないし。
ただまあ、iPhone発売直前の、このタイミングですっぱ抜かれたのは、ファーウェイにとって痛いと思う一方で、同様の事をやってる癖にバレてないヅラしているサムスンが、こっそりファームに修正入れるだろう結果、来月以降のスコアがどうなるのかは、楽しみである。