OnePlus 5 đã "tối ưu hóa" điểm số benchmark như thế nào?

TDNC
23/6/2017 14:51Phản hồi: 108
OnePlus 5 đã "tối ưu hóa" điểm số benchmark như thế nào?
Trang xda-developers hôm nay đăng tải một thông tin chắc chắn sẽ làm cho các fan OnePlus nói riêng và fan Android nói chung, cảm thấy bất ngờ: OnePlus một lần nữa đã "gian lận" điểm benchmark, cụ thể là trên chiếc OnePlus 5. Tiêu đề gốc của bài viết trên XDA có đoạn "Do NOT Trust OnePlus 5 Benchmarks in Reviews – How our Review Unit is Grossly Cheating at Benchmarks". Tuy nhiên vào cuối bài, họ đã đính chính một số thông tin và nhận định OnePlus không có ý đồ xấu. Cho nên mình đặt lại tiêu đề thành "OnePlus 5 đã "tối ưu hóa" điểm số benchmark như thế nào?" để các bạn không hiểu nhầm ý đồ của tác giả XDA cũng như OnePlus (các bạn nên đọc hết bài, mình cũng có để link đến bài gốc ở bên dưới cho các bạn xem nếu muốn).

Trong xuyên suốt bài này, nhiều chỗ mình dùng từ "gian lận" bởi vì bài gốc dùng chữ "cheating", tùy theo cách nhìn nhận sự việc của bạn thì có thể hiểu nó theo kiểu nhẹ nhàng hơn, ví dụ như từ "tối ưu hóa".

Mình xin dịch lại phần đầu của bài viết trên xda-developers, trích:

"Hồi đầu năm nay, chúng tôi (XDA) đã đưa ra một bản báo cáo nhằm lên án hãng điện thoại OnePlus (và nhiều hãng khác) bởi có hành vi sai trái đó là "bóp méo" kết quả benchmark trong các bản build của hệ điều hành OxygenOS. Hôm nay, chúng tôi rất buồn khi phải nhắc lại bản tố cáo đó bởi vì công ty này đã tiếp tục thao túng điểm số benchmark trên chiếc điện thoại OnePlus 5.

Trong khi người dùng cuối chưa có máy (máy chưa tới ngày bán), chúng tôi đã phát hiện ra một cơ chế gian lận mới bên trong chiếc OnePlus mà chúng tôi dùng để review, chúng tôi nhận máy này cách đây 10 ngày. Điều không may ở đây là hầu hết tất cả các bài review về OnePlus 5 mà có kết quả benchmark, đều chứa thông tin sai lệch, bởi vì những máy OnePlus đưa cho các reviewer đều có hành vi gian lận điểm benchmark.


Đây là một bước đi không thể tha thứ được, bởi vì sau cùng thì đó là một sự lừa dối mang tính cố tình không chỉ với khách hàng mà còn cố tình vấy bẩn luôn cả công sức của những reviewer và nhà báo, bằng cách sử dụng kết quả sai lệch mà hầu hết người dùng đều không có khả năng kiểm chứng được.

Do đó, bài review nào về OnePlus 5 mà dùng kết quả benchmark để nói đến sự thành công của chiếc máy thì đều đang lừa dối cả người đọc lẫn người viết, và những phân tích về hiệu năng của chiếc máy dựa trên benchmark tổng hợp lúc đó cũng không còn giá trị nữa. Điều tồi tệ hơn nữa đó là lần này cơ chế gian lận điểm đã lộ liễu hơn và mục tiêu mà nó nhắm tới đó là tối đa hóa hiệu năng của chiếc máy.

Trước khi chúng tôi nói chi tiết về vụ việc, tôi muốn phát biểu rằng chúng tôi cảm thấy thất vọng với công ty vì một lần nữa sử dụng lại hành vi trên. Chúng tôi cũng sẽ không công bố bản phân tích hiệu năng đầy đủ của chiếc máy bởi vì máy đã bị gắn code ăn gian điểm. Cuối cùng, chúng tôi sẽ để riêng bản báo cáo đó với phần tổng kết của chiếc máy bởi vì chúng tôi tin rằng đoạn code thủ phạm kia rồi sẽ được loại ra khỏi phiên bản thương mại sau khi có bài viết này cũng như sau khi chúng tôi nói chuyện với đại diện của công ty OnePlus. Chúng tôi cho rằng bạn không nên để bài viết này ảnh hưởng đến cảm nhận của bạn về chiếc máy, thay vào đó hãy "thúc nhẹ" cảm nhận của bạn về cái công ty đã hai lần phạm lỗi này."

Hết trích/dịch.

Vài điều tóm tắt từ XDA
  • Mọi điểm số trong bài viết này là có từ chiếc OnePlus 5 phiên bản dùng để review, chạy hệ điều hành OxygenOS 4.5.0 (A5000_22_170603).
  • Đây là phiên bản có trước bản thương mại.
  • Hãng OnePlus có hướng dẫn các reviewer cách kích hoạt chức năng tải các phần mềm benchmark không phải từ nguồn Play Store, sở dĩ làm vậy vì họ không muốn kết quả benchmark bị rò rỉ trước thời gian mà họ muốn.
  • Từ manh mối này, tôi nghĩ OnePlus đang muốn dùng những gói (package) benchmark có tên trùng với thông tin trong bản ROM của máy.
  • Trong quá trình tôi test máy, bản ROM có rất ít (tối thiểu) các tiến trình đang chạy ngầm, không có ứng dụng của hãng thứ ba và máy luôn chạy ở chế độ Airplane mỗi khi có thể.
  • Xung nhịp CPU được lưu lại chỉ để xác định mức độ của hành vi gian lận, chứ không được dùng để test máy và cung cấp kết quả trong bài này.
  • Tất cả thông số về nhiệt độ được đo bằng máy FLIR C2 Compact, mỗi bài test về sức bền đều được thực hiện với nhiệt độ môi trường là 28,5 độ C.
Kết quả benchmark bị thao túng như thế nào?
Nhắc lại vụ gian lận lần trước: OnePlus đã chỉnh cho ROM của họ mỗi khi phát hiện có một ứng dụng benchmark được khởi động thì chiếc máy sẽ có một số hành vi nhất định. Ví dụ khi người dùng mở app benchmark A, bản ROM của OnePlus sẽ thay đổi xung nhịp của CPU. XDA phát hiện mức độ "load" của CPU sẽ tuột về mức 0% mặc dù vẫn đang chạy app, xung nhịp CPU đối với các nhân to là 1,29 GHz (gần bằng mức tối thiểu) và 0,98 GHz đối với các nhân nhỏ tiết kiệm pin. Việc giảm xung này sau cùng sẽ giúp cho điểm số benchmark về độ bền được cao hơn.

Và vụ mới nhất trên OnePlus 5: lần này hoàn toàn khác lần trước, không phải tinh vi hơn mà nó lộ liễu hơn, bằng cách sử dụng một phương pháp gian lận cũ mà người ta đã từng phát hiện trên những chiếc flagship vào thời kỳ đầu của Android, mục đích là để tăng tối đa điểm benchmark. Khi người dùng mở một app benchmark, xung nhịp tối thiểu của toàn bộ nhân trong nhóm tiết kiệm pin sẽ được tặng lên mức tối đa là 1.9 GHz và giữ nguyên ở đó. Chính điều này đã giúp cho OnePlus đạt được số điểm GeekBench 4 cao nhất với chip Snapdragon 835. Điểm số này cao hơn những máy tương tự khác cũng dùng chip 835 mà XDA đã test.

Đây là danh sách những phần mềm benchmark bị ảnh hưởng:
  1. AnTuTu (com.antutu.benchmark.full)
  2. Androbench (com.andromeda.androbench2)
  3. Geekbench 4 (com.primatelabs.geekbench)
  4. GFXBench (com.glbenchmark.glbenchmark27)
  5. Quadrant (com.aurorasoftworks.quadrant.ui.standard)
  6. Nenamark 2 (se.nena.nenamark2)
  7. Vellamo (com.quicinc.vellamo)
Để làm bảng so sánh điểm số giữa lúc có và không có gian lận, XDA đã tìm được cách qua mặt hệ thống gian lận của OnePlus, chạy app GeekBench 4 và có kết quả như sau: khi chạy GeekBench 4 tải từ Play Store, OnePlus 5 ghi được hơn 6.700 điểm đa nhân; nhưng khi chạy với bản GeekBench custom mà XDA làm ra (để qua mặt hệ thống gian lận) thì con số này chưa bao giờ qua nổi con số 6.500. Dưới đây là bảng theo dõi xung nhịp nhóm nhân CPU tiết kiệm pin của OnePlus 5 khi chạy GeekBench 4 bản Play Store (hình trên) và bản custom (hình dưới):

Quảng cáo



gb4.jpg
Cụ thể hơn: bảng theo dõi xung nhịp nói trên được cập nhật sau mỗi 100ms (0,1 giây), khi tắt hệ thống gian lận điểm, thời gian xung nhịp của cụm nhân tiết kiệm pin đạt mức tối đa 1,9 GHz là 24,4% trên tổng thời gian test. Còn khi "bật" tính năng gian lận thì tỷ lệ này là 95%, tức là xung nhịp CPU gần như luôn luôn chạy ở mức tối đa để đạt được điểm số benchmark cao hơn khi test đa nhân và các tác vụ có liên quan đến CPU. Còn về điểm số đơn nhân thì gần như ngang nhau giữa lúc bật và tắt hệ thống gian lận điểm (điểm lúc tắt gian lận lại cao hơn, chi tiết xem bảng bên dưới).

gb4-2.png
Nhiều người vẫn quan tâm đến điểm số đa nhân vì nghĩ rằng Android là một hệ điều hành đa năng, có khả năng chạy đa nhiệm tốt. Tuy nhiên, điểm số đo được từ OnePlus 5 này không phản ánh đúng hiệu năng thực sự của nó. Kết quả tối đa mà bạn thấy đó có được là do tăng xung CPU lên tối đa, điều mà hầu như không thể đạt được trong các điều kiện sử dụng thông thường đối với một chiếc máy thương mại.

Hình dưới đây dùng để miêu tả độ chênh lệch về điểm số giữa lúc có và không có gian lận. XDA cho biết điểm số sẽ chênh lệch từ 5 - 6,5%. Mức gian lận này tuy không nhiều nhưng nó cũng đủ để giúp OnePlus 5 vượt mặt những máy Snapdragon 835 khác.

gb4-3.png
Ngoài ra, bài test của XDA cũng cho thấy OnePlus 5 không có hiện tượng "thermal throttling" với GeekBench 4 (giảm xung nhịp CPU mỗi khi nhiệt độ tăng quá cao, chi tiết bài test nhiệt độ ở hình phía dưới).

gb4-4.png

Quảng cáo


gb4-5.png
Tuy nhiên, có vẻ OnePlus 5 đã ăn gian phần "thermal throttling" trong lúc benchmark pin bằng app GFXBench. Nhiệt độ mà XDA đo được trên vỏ máy là hơn 50 độ C, một điều cực kỳ hiếm khi xảy ra trong các bài test trước đó trên những máy khác. Thông thường những máy khác sẽ hạ xung nhịp CPU để máy bớt nóng. Còn OnePlus thì vẫn để nguyên nhằm mục đích cố đạt được điểm số cao hơn, tuy nhiên lúc đó nhiệt độ của máy sẽ lên rất cao theo.

Phát biểu đầu tiên của hãng OnePlus
Khi XDA liên hệ OnePlus về vụ việc thì được hãng trả lời như sau:

"Người dùng sử dụng các app benchmark để xác định hiệu năng chiếc máy của họ, và chúng tôi muốn người dùng thấy được hiệu năng thực sự của OnePlus 5. Vì vậy, chúng tôi đã cho phép các app benchmark có thể chạy ở trạng thái tương tự như cách người dùng sử dụng hàng ngày, bao gồm luôn cả việc chạy các app và game nặng. Thêm vào đó, khi mở app, OnePlus 5 sẽ chạy ở trạng thái tương tự để tăng tốc độ mở app. Chúng tôi không overclock chiếc máy, mà chúng tôi hiển thị hiệu năng tiềm tàng của nó."

Theo XDA thì phát biểu này khá sai lệch so với kết quả mà XDA có được, bởi vì kết quả benchmark mà OnePlus 5 đạt được không phản ánh rõ ràng cách mà người ta sử dụng nó mỗi ngày, đồng thời khi chạy các app khác (không nằm trong danh sách gian lận điểm của OnePlus), người dùng cũng không thể có được hiệu năng cao tương tự.

Phát biểu thứ hai của OnePlus


"Chúng tôi đã thiết lập OnePlus 5 sẽ chạy benchmark ở hiệu năng cao cho tất cả các thiết bị, từ máy dành cho Media tới cả máy dành cho người dùng, để người dùng có thể thấy được tiềm năng thật sự của chiếc máy khi chạy các app và game nặng, tốn nhiều tài nguyên. Không có trường hợp nào chúng tôi overclock CPU hay nâng mức xung nhịp tối thiểu của CPU.

Chúng tôi tự tin rằng phương pháp của chúng tôi sẽ thể hiện rõ nhất hiệu năng thật sự của OnePlus 5."

Dù cho ý định của OnePlus là tốt hay xấu thì vụ việc này một lần nữa nhắc nhở người dùng về việc nhìn nhận điểm số benchmark thế nào cho hợp lý. Có những người không quan tâm điểm số, chỉ quan tâm trải nghiệm thực tế trong quá trình sử dụng máy. Nhưng cũng có những người thích nghiên cứu sâu về hiệu năng, đánh giá và so sánh cấu hình, chip, phần cứng, phần mềm giữa những máy khác nhau hoặc giữa những bản build/ROM khác nhau của cùng một máy thì lúc đó điểm số benchmark lại là một yếu tố khá hữu ích và đơn giản để có được. Tuy nhiên, khi đã đụng đến benchmark thì chúng ta cũng cần phải hiểu rõ bản chất của nó, cách mà nó thực thi để có thể nhìn thấu những con số mà các phần mềm benchmark đưa ra.

Trong đoạn cuối của bài viết trên trang XDA, tác giả có đính chính lại một số thông tin sau khi trao đổi với OnePlus, rằng ý định của hãng không xấu, chỉ muốn thể hiện hiệu năng cao của chiếc máy, rằng OnePlus không "đụng chạm" đến máy dùng để review, máy thương mại và máy review sẽ như nhau, máy sẽ không có nguy cơ phát nổ, không có "cheat code" nào ở đây. Các bạn có thể đọc toàn bộ bài có chứa đầy đủ ý kiến cá nhân của tác giả bài viết trên website của XDA: https://www.xda-developers.com/oneplus-5-benchmark-cheating-reviews
108 bình luận
Chia sẻ

Xu hướng

see022
CAO CẤP
7 năm
Hết chuyện làm nhái i chang con 7 plus. Phá sản đi là vừa
A.n.h.a.n
TÍCH CỰC
7 năm
@see022 ghê 😁
Cái này giờ đâu có quan trọng mà phải gian lận nhỷ? Trải nghiệm nhuoi dùng moi quan trọng
tung2050
TÍCH CỰC
7 năm
@[HD]YêU cÔnG NgHệ thực tế vẫn còn khối thằng dở hơi nhìn vào cái điểm vớ vẩn đó để xem có nên mua máy hay không.

và điển hình rõ nhất là đám i cuồng. tối ngày chúng nó toàn lôi con chip A10 ra để doạ. chả hiểu lũ này mới có internet hay sao mà vẫn còn cái suy nghĩ từ 6 năm trước.
Mình quyết định mua máy chẳng bao giờ quan tâm đến mấy cái điểm này, dù chẳng bao h mua máy này.
@XuuX chuẩn,
@XuuX đúng là đa số endusers sẽ ít qtâm BM ,nhưng trò này là dành cho reviewer ,ae công nghệ .nhóm này tuy ít nhưng rất qtrọng trong thời @
vd ,truớc khi mua điện thoại ,mình đều phải 'dạo 1 vòng ' để xem cộng đồng đánh giá sao .bài review tích cực sẽ tạo ra xu hướng tốt cho đám đông khách hàng .chốt sale 😁
tương tự vụ gian lận khí thải của VW
@kixx Chuẩn bạn ơi, mình đang nói cá nhân mình thôi, các bài review mình đều bỏ qua phần điểm benchmark và cái loại điểm tưong tự, còn lý do vì sao lại làm trò này thì mình cũng hiểu mà :D
snackviet1
TÍCH CỰC
7 năm
Thế điểm cao chênh lệch vài ngàn có hơn nhau gì không nhỉ.... Hóng khẩu trang xanh chúa chổm cuồng IP và0 "đánh giá" chi tiết 😃 để ae có dịp "đánh" bàn phím. Mà em nói thiệt ngay cả APPLE còn chưa làm gì ảnh hưởng hay chơi,nói xấu. Dìm hàng hãng nào. Mà sao mấy ông Fan này lại vậy nhỉ, IP cho dù "lỡ" k tốt bằng mấy con khác thì nó cũng bán đắt thôi. Người đâu kì cục
@snackviet1 ko dìm hàng mà bữa giới thiệu ios 11 cung mang android ra so sánh đấy? ios có cheat benchmark cũng chẳng ai biết vì nó khóa có cho theo dõi hệ thống như android đâu mà biết được?
@ragefighter speedtest 6s vả sấp mặt s8 chắc cũng cheat nhỉ🆒
@ly_tam_hoan speed test do lấy bản nand 128GB test so với 64GB ah? giỏi sao ko lấy ip7 bản nand 32GB ra test speed? Nói ra thấy ifan ngu mà cứ thích thể hiện?
sao ko nói ip6s vả sấp mặt ip7 bản 32GB?.
@ragefighter Chả biết có cheat ko nhưng điểm thấp hơn mà hiệu năng thực tế vẫn ngon hơn Android và Apple cũng chả bao giờ khoe cấu hình hay điểm benchmark như mấy hãng kia 😆
mr_cristal
ĐẠI BÀNG
7 năm
thì dùng từ gian dối . =))
Học điều tốt không học, cứ học cách gian dối như mấy "ảnh" ngày xưa... Quỳ
@Khẩu trang xanh
Nó đây @snackviet1😃😃
Aduckuba signature
@Khẩu trang xanh
Nói cái hay k nói, cứ nói móc
Haizzzzzzzzzz
Aduckuba signature
@Khẩu trang xanh Đến giờ thay bvs trên mặt rồi đó 😁
l9ngD
ĐẠI BÀNG
7 năm
@Khẩu trang xanh Tháo cái bvs trên mặt ra đi ko biết người gợn mặt mũi ra sao mà dám đeo mấy cái thứ đó gớm quá. Đã vậy còn nói chuyện dị tật nữa chứ. Nhìn là biết Giàng A Lúa rồi nên ko cần đeo mấy thứ nghê như vậy lên mặt nữa đâu.
@l9ngD Nhà chú chắc chắn là chưa có người nào thân thuộc đeo khẩu trang chứ? 😁
1 thời anh same làm náo loạn thị trường bằng trò này
Mirrorsn
ĐẠI BÀNG
7 năm
Cái tính của khựa xưa này là vậy mà 😁:D:D
AngelaPT
TÍCH CỰC
7 năm
@Khẩu trang xanh
Hàn còn hơn nhiều. Đội S là vd cheating
egoz
ĐẠI BÀNG
7 năm
@nguyenacer lại nói ngu rồi. đang bàn gian lận. không biết thì im chứ lại để lộ ra thế sao
dùng và trải nghiệm là tốt nhất chứ mấy cái điểm số này ko phải quyết định đc máy ngon hay ko
@hanguyen129 Chẳng có nhẽ người ta tạo ra phần mềm đo hiệu nặng chỉ để làm màu hay loè người!😆
@hanguyen129 Chẳng có nhẽ người ta tạo ra phần mềm đo hiệu nặng chỉ để làm màu hay loè người!😆
Mình mua máy chả bao giờ để ý đến mấy thông số này. Chỉ mượn máy dùng thử thấy đẹp mượt là mua. Mới lấy S7e mà còn chả biết chip gì xung bao nhiêu 😆
Razor11
CAO CẤP
7 năm
Ăn gian mà thấy điểm cũng tương đương mấy con chạy s835 khác :c
nadugroup
ĐẠI BÀNG
7 năm
Con người còn lừa nhau huống chi máy móc do chính con người tạo ra tại sao không lừa đk, mà lừa còn tinh vi hơn.
pekodieu
ĐẠI BÀNG
7 năm
giống như kiểu phát ngôn : Khựa có quyền trên toàn b i ể n Đ ô n g nhỉ =))) bản chất Khựa là gian dối đó giờ mà.
Có khi đây là chiêu trò marketing thì sao nhỉ.
@Đỗ thánh 2014 Chiều trò marketing kiểu như BPhone à. Nổi tiếng vô cùng nhưng doanh số chả đc bao nhiêu.
Là một thành viên lâu năm của tinh tế và voz, mình thấy việc tắt chức năng tiết kiệm pin trên CPU để benchmark là chuyện hết sức bình thường 😁

Việc đầu tiên khi sử dụng một cái máy tính mới mua là vào BiOS, tắt chức năng speedstep :3
Bọn XDA này mạnh thật, trên đây tập hợp toàn cao thủ thế giới.
Điểm benchmark theo mình ko quan trọng bằng trải nghiệm thực tế. Bench cao mà hiệu năng ko ổn định thì cũng mất khách thôi

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019