Apple, Qualcomm về chỉ số TOPS, nó có ý nghĩa gì?

Một trong những yếu tố quan trọng ảnh hưởng đến hiệu năng thực tế của các bộ xử lý AI đó là nó được tối ưu cho loại tác vụ nào. Một con chip tối ưu cho việc xử lý computer vision, hoặc dùng để chạy các mô hình deep learning phức tạp, có thể sẽ tốt hơn so với một con chip chung chung làm gì cũng tốt nhưng không phải cái nào cũng xuất sắc. Việc chỉ nhìn vào 1 con số duy nhất để đánh giá là không đầy đủ, không nói lên được hết bản chất của vấn đề.

Những chỉ số đơn giản như TOPS cũng có mặt lợi về marketing, nhưng theo thời gian lợi ích đó sẽ dần mờ nhạt. Ví dụ, máy chơi game từng được quảng cáo với số “bit”, cho đến khi chiếc Atari Jaguar xuất hiện với “64-bit” thì nó chứng minh rằng chỉ tập trung vào một con số sẽ chẳng có ý nghĩa gì mấy trong khi hiệu năng tổng thể của cả hệ thống mới là quan trọng. Cuối cùng thì chiếc PlayStation “32-bit” của Sony bán chạy hơn so với chiếc Jaguar với tỉ lệ 400 máy PS : 1 máy Jaguar. Hay như chiếc Nintendo 64-bit cũng phải thua PlayStation. Ngày xưa người ta cũng thường hay nói về chỉ số GHz của CPU, cho đến khi CPU bắt đầu có nhiều nhân, nhiều chế độ chạy khác nhau thì con số này cũng không còn quan trọng như xưa nữa khi người tiêu dùng ra quyết định mua.

TOPS khác gì so với TFLOPS

TOPS đại diện cho số phép tính bất kì có thể được tiến hành trong 1 giây, bao gồm phép tính với số nguyên, số thập phân, trong khi đó TFLOPS có nghĩa là Tera floating point operations per second - tức là bao nhiêu nghìn tỉ phép tính với số nguyên (thường là 1 dấu chấm thập phân) có thể được thực hiện trong một giây.

Hiện tại các kiến trúc chip mới hỗ trợ rất nhiều loại dữ liệu khác nhau, nên việc so sánh số TFLOPS hay TOPS của 2 nhà sản xuất có thể không chính xác, vì mỗi ông có thể sẽ có cách đo khác nhau. Cách tốt nhất là xem thử định nghĩa về số TOPS và TFLOPS của mỗi hãng thì mới đảm bảo.

Apple nói về số TOPS

Apple là hãng ít dùng các con số nhất, ví dụ như chip di động của họ thì họ không nói gì về xung nhịp, pin cũng không nói về dung lượng mAh, chỉ nó thời gian sử dụng. Họ chỉ dùng các từ như “rất mạnh”, “nổ tung cả não” (mind-blowing) để nói về những chi tiết trên máy của mình.

Nhưng cũng có ngoại lệ, khi họ cần dồn sự chú ý của thế giới về khả năng xử lý AI của chip Apple A-Series, Apple dùng số TOPS để quảng bá cho chip. Ví dụ, con A14 Bionic dùng trong iPad Air 2020, iPhone 12 có “nhân xử lý AI thế hệ kế tiếp với 16 nhân” và hiệu năng xử lý 11 TOPS, “tăng 2 lần so với thế hệ trước về hiệu năng machine learning” (8 nhân Neural Engine, 5 TOPS).

Trước đó, Apple từng nói rằng Neural Engine của A13 dành riêng cho machine learning, ngoài ra còn có 2 bộ tăng tốc ML trong CPU, cùng với Machine Learning Controller để tự cân bằng giữa hiệu năng và thời gian dùng pin. Tùy theo tác vụ đang chạy và lượng tài nguyên đang có, controller này sẽ phân phối việc giữa CPU, GPU hoặc Neural Engine cho phù hợp, mục tiêu là tác vụ AI hoàn thành nhanh nhất có thể.

Apple cũng nói rằng A14 mạnh hơn 10 lần so với A12 về machine learning, nhưng khi đó thực ra hãng nói về bộ tăng tốc machine learning trên CPU. Apple không nói chính xác cách mà tác vụ AI được phân phối.

Qualcomm nói về số TOPS

Cách Qualcomm làm lại trái ngược với Apple, Qualcomm công bố rất nhiều thông số lên quan đến con chip Snapdragon của mình, kể cả những thành phần dùng để xử lý tác vụ AI. Ví dụ, Snapdragon 865, sức mạnh AI được Qualcomm quảng cáo là 15 TOPS, hay như Snapdragon 8cx thế hệ thứ hai dành cho laptop thì có hiệu năng AI là 9 TOPS.

Giống một số chip Snapdragon trước đó, 865 có một bộ phận gọi là “Qualcomm AI Engine” để tổng hợp khả năng tính toán AI từ nhiều bộ phận khác nhau: CPU Kyro, GPU Adreno, bộ xử lý tín hiệu số (DSP) Hexagon. Trên con Snapdragon 865, bộ xử lý đồ họa Adreno 650 có số TOPS khi xử lý AI cao hơn 2 lần so với thế hệ trước, còn Hexagon 698 DSP thì cao hơn 4 lần, nó còn có tính năng “giảm băng thông cần thiết khi dùng các mô hình deep learning”. Có vẻ như Qualcomm cộng số từ 4 linh kiện này lại để ra con số 15 TOPS. Kiểu như mua 1 bịch kim cương, mỗi viên nhỏ nhỏ, hay mua nguyên 1 cục kim cương lớn với cùng trọng lượng.

Huawei, MediaTek, Samsung nói về số TOPS

Chip Kirin 990 và 990 5G có nhân xử lý trí tuệ nhân tạo tên là Da Vinci với thiết kế 1 nhân nhỏ kèm thêm 1 nhân thứ hai. Trên Kirin 990 thì nó là 1 nhân “to” hơn với hiệu năng cao hơn, trong khi bản 5G thì dùng 2 nhân “to”. Công ty nói cái nhân nhỏ có thể mang đến hiệu quả nhận diện gương mặt cao hơn 24 lần so với nhân to, để cho nhân to xử lý các tác vụ AI nặng hơn. Chúng ta không biết về số TOPS của Kirin 990.

Mediatek Dimensity 1000+, trong đó có bộ phận xử lý AI APU 3.0, có số TOPS là 4,5 khi chạy với các ứng dụng như trợ lý ảo, AI camera, các ứng dụng AI trong app và AI trên mức hệ thống. Số này không phải là quá cao, nhưng cũng không phải ngạc nhiên vì chip MediaTek thường dành cho các máy tầm trung mà thôi.

Samung Exynos 990 thì có số TOPS là 15.

Các con chip di động không phải là những sản phẩm duy nhất có nhân AI hay được tối ưu cho AI. Chip Apple Silicon cũng có nhân Neural Engine dùng cho máy tính. NVIDIA, Google đều tự làm những GPU cực mạnh của mình dành để xử lý các tác vụ AI nặng như xử lý video, xử lý hình ảnh, phân tích giọng nói và rõ ràng chúng mạnh hơn nhiều so với một con chip di động bé tí. Ví dụ, con TPUv3 của Google dùng cho server có sức mạnh 90 TOPS.

Nhưng nói gì thì nói, số TOPS chỉ để tham khảo 1 phần thôi, nó không nói lên được hết vấn đề, anh em nhớ lưu ý vụ đó.

Nguồn: VentureBeat