TOPS là gì mà cả Qualcomm, Intel hay AMD đều khoe để chạy AI? Người ta đo chỉ số TOPS như thế nào?

Pnghuy
21/4/2024 18:2Phản hồi: 12
TOPS là gì mà cả Qualcomm, Intel hay AMD đều khoe để chạy AI? Người ta đo chỉ số TOPS như thế nào?
Chúng ta vẫn hay nghe về TOPS, vi xử lý này có sức mạnh NPU là 15 TOPS, vi xử lý kia là 45 TOPS, rồi vi xử lý nọ là 16 TOPS, vậy TOPS là gì, người ta đo số TOPS đó như thế nào và tại sao bây giờ nói về AI người ta lại nói về số TOPS, hãng nào cũng đem TOPS ra khoe từ Qualcomm, Intel hay AMD, nó có thực sự quan trọng hay không? TOPS và TFLOPS khác nhau ra sao? Bài này mình sẽ chia sẻ với anh em những vấn đề đó.

[​IMG]

TOPS là gì?


TOPS hay Tera Operations Per Second nó biểu thị cho việc một con chip có thể tính toán được bao nhiêu phép tính trỏng một giây. Nó thường được sử dụng để đo hiệu suất của các bộ xử lý AI, đặc biệt là các bộ xử lý thần kinh (NPU) được tích hợp trong máy tính xách tay, máy tính để bàn và thiết bị di động.

Các nhà sản xuất chip thường lấy số TOPS này để quảng cáo về hiệu quả xử lý con chip của họ so với đối thủ, lâu dần có thể xem đây là thước đo cho tốc độ, sức mạnh và hiệu quả xử lý của một con chip. Dĩ nhiên sẽ còn rất nhiều yếu tố khác, bên trong con chip cũng có nhiều thành phần, nhưng thường nói về số TOPS thì người ta sẽ nhắc về NPU, về bộ xử lý AI, giống như cách người ta nói về GPU thì thường lấy số TFLOPS để so sánh vậy.

TOPS và TFLOPS khác gì nhau?


TFLOPS hay Floating Point Operations Per Second là đơn vị biểu thị số lượng tỷ phép tính dấu phẩy động (Tera Floating point Operations Per Second) mà một hệ thống có thể thực hiện mỗi giây. Đây thường được sử dụng trong lĩnh vực tính toán khoa học và máy tính.

TOPS đo lường số lượng hoạt động tổng quát, bao gồm cả phép toán với số nguyên và phép toán dấu phẩy động. Còn TFLOPS tập trung vào phép toán dấu phẩy động, chẳng hạn như cộng, trừ, nhân, chia với số thực. Từ đó, TFLOPS thường được dùng để tính toán khoa học, mô phỏng và các ứng dụng yêu cầu tính toán chính xác với số thực. Còn TOPS được sử dụng để đo lường hiệu quả AI, đặc biệt trong các bộ neural networks hay các mô hình deep learning.

Người ta tính số TOPS như thế nào?


[​IMG]
TOPS được tính với công thức: MACs * Frequency * 2. Trong đó, MACs (Multiply-Accumulates) biểu thị cho số lượng phép nhân và cộng mà một hệ thống có thể thực hiện mỗi giây, Frequency là tần số thực hiện các phép MAC.

Ví dụ, nếu một NPU có 60.000 đơn vị MACs, hoạt động ở tần số 1.5GHz thì sẽ đạt 180 TOPS, nhưng nếu tăng tần số lên 1.75GHz, giữ nguyên đơn vị MACs thì lúc này sẽ đạt 210 TOPS.

Vậy các đại lượng này thì có liên quan gì đến nhau? Như anh em thấy thì nó là đại lượng tỉ lệ thuận, tức là tần số càng cao (càng lớn) thì chỉ số TOPScàng lớn và từ đó NPU hay toàn bộ SoC sẽ hoạt động càng hiệu quả. Nhưng điều đó cũng đồng nghĩa rằng phải tăng điện năng tiêu thụ.

Bất kì một thành phần nào (CPU, GPU hay NPU) cũng đều tiêu tốn điện năng, nếu càng cung cấp nhiều điện, thì nó sẽ càng mạnh, mà càng mạnh thì chỉ số TOPS càng lớn, nếu dùng số này để marketing thì Qualcomm Snapdragon X Elite (45 TOPS), Intel Core Ultra (NPU là 10 TOPS) hay AMD Ryzen 8040 “HawkPoint” (NPU 16 TOPS) rõ ràng đem lại hiệu quả đối với người dùng. Nhưng vấn đề cũng từ đây mà ra: tốn nhiều điện thì nhiệt độ sẽ cao. Mà với những SoC ARM như Qualcomm Snapdragon X Elite thì họ lại quảng cáo hiệu năng trên mỗi watt điện là hiệu quả gấp đôi so với Intel.

Intel Lunar Lake sẽ có hiệu suất xử lý AI gấp 3 lần thế hệ hiện tại

Vi xử lý thế hệ mới Lunar Lake dự kiến được Intel giới thiệu vào cuối năm nay được cho là sẽ có hiệu suất xử lý AI tốt hơn từ 2-3 lần so với thế hệ Meteor Lake thời điểm hiện tại. Sự kiện Intel Vision 2024 diễn ra tuần rồi tại Phoenix ngoài việc…
tinhte.vn

Đối với các hệ thống lớn, ví dụ máy chủ thì điện năng cao, nhiệt độ cao không phải vấn đề lớn, nhưng trên những mẫu laptop hay điện thoại mà quá nóng thì không ổn chút nào. Câu hỏi đặt ra là làm sao để vừa tăng được số TOPS mà điện năng không tăng lên quá nhiều, tốc độ thì vẫn cao? Điều này dẫn đến cuộc đua về tiến trình sản xuất chip đang rất nóng trong những năm qua, các công nghệ hiện đại được phát triển chỉ để giải quyết vấn đề này mà thôi: Làm sao để chip càng mạnh mà càng tiết kiệm điện. Đó là việc giải quyết ở mức độ người dùng cá nhân, còn với các nhà sản xuất, họ phải đối mặt với nhiều vấn đề hơn, môi trường là một trong số đó.

Quảng cáo



Nhưng thôi tạm thời để vấn đề môi trường qua một bên, nếu không có TOPS thì có cách nào để đánh giá hiệu suất AI hay không? Tất nhiên là có, nhưng lúc này nó sẽ khó khăn hơn, rồi chưa kể mỗi nhà sản xuất sẽ sử dụng một cách khác nhau, một định nghĩa khác nhau, một đơn vị khác nhau, từ đó người dùng sẽ khó mà phân định được NPU nào xử lý AI tốt hơn. Để so sánh bất kì thứ gì, nên đưa nó về cùng một hệ quy chiếu.

Bản thân các hãng khi đưa ra con số TOPS, họ đo như thế nào thì chúng ta khó mà biết được (INT4 hay INT8, BFLOAT16 hay FLOAT16…), vì có rất nhiều mô hình khác nhau để sử dụng trong việc đánh giá (benchmark) hiệu suất xử lý của NPU, sự khác biệt về tốc độ, về số lượng đơn vị MACs hay các mô hình mạng thần kinh dùng để thử nghiệm đều có thể làm thay đổi số TOPS, chưa kể sự phát triển của tiến trình sản xuất cũng ảnh hưởng đến con số này.

TOPS có quan trọng với AI hay không?


image.jpeg
Quay lại câu hỏi lớn nhất trong bài này, chỉ số này có quan trọng hay không? Trả lời ngắn gọn là có, vì nó là “thước đo” mà các hãng sử dụng ở thời điểm này để nói về sức mạnh của NPU, sẽ là rất khó để người dùng nhận biết được đâu là NPU mạnh hơn nếu mỗi hãng sử dụng một định nghĩa khác nhau. Tuy nhiên, TOPS không phải là tất cả khi nói về sức mạnh xử lý của một con chip, hay cụ thể hơn là NPU.

TOPS là đơn vị đo lường hiệu suất tối đa, không phản ánh hiệu suất thực tế, ví dụ đơn giản là RTX 4090 có sức mạnh 1300 TOPS, nếu dùng nó để xử lý AI thì rất nhanh, rất mạnh nhưng không phải lúc nào nó cũng tận dụng sức mạnh tối đa đó, mà còn phải phụ thuộc vào mô hình sử dụng là gì, không phải lúc nào cũng “đem dao mổ trâu đi giết gà”. Để đánh giá một cách toàn diện, chúng ta cần xét nhiều yếu tố hơn như thông lượng (throughput), bộ nhớ, chi phí…., cái này thì nằm nên ở một chủ đề khác.

image.png

Quảng cáo


Các tính năng AI cũng sẽ dựa trên con số này để biết được rằng máy tính của bạn có thể dùng được hay không, dùng ở đây là dùng trực tiếp trên máy tính, không cần kết nối internet như hiện tại. Ví dụ Copilot mà muốn chạy local thì cần một con chip có thể đạt ít nhất 40 TOPS, và hiện chỉ có Qualcomm Snapdragon X Elite là làm được chuyện đó, nó cũng làm dấy lên câu chuyện là một tính năng AI khi ra mắt chung với Windows 24H2 là AI Explorer chỉ dành cho máy tính chạy Snapdragon X Elite mà thôi.

Tóm lại, TOPS chưa hẳn là một thước đo tốt nhất, chuẩn nhất để xem xét hiệu suất của NPU, nhưng nó vẫn là một tiêu chuẩn tối thiểu để có thể so sánh các NPU và các mẫu AI PC sau này.
12 bình luận
Chia sẻ

Xu hướng

Giống như thuở sơ khai của máy tính cá nhân hồi nhỏ mình nhớ thì các CPUs được so sánh với nhau bằng con số Hz, con nào chạy được tần số lớn hơn thì mạnh hơn hoặc khả năng cao là vậy.
Con số này bắt đầu không còn ý nghĩa khi những CPUs bắt đầu những kỷ nguyên có nhiều nhân hơn, có thêm cache L3,…
Cái thời đó mình cũng còn nhỏ và thông tin cũng không được phổ cập rộng như bây giờ nhưng mà đến giờ chắc cũng phải 20 năm hơn rồi. Nên phần cứng AI cá nhân có thể nói là đang ở thuớ sơ khai, cứ để hãng đo bằng những con số cơ bản như vậy để dễ marketing đã.
@bhuubao Số GHz chưa bao giờ không còn ý nghĩa. Ngoài kia người ta vẫn tìm đủ cách để ép xung các con CPU lên xung nhịp cao nhất có thể mà bạn nói ko nhiều ý nghĩa. Bản thân mình khi chọn mua CPU trc nay đều nhìn vào xung đơn nhân turbo lên cao nhất đc bao nhiêu bởi vì hầu hết các tác vụ mình cần đều tối ưu hơn cho đơn nhân xung cao thay vì đa nhân xung thấp. Chính ra từ ngày Intel ra cái trò E core với P core thì số nhân mới chính là thông số mình ko quá quan tâm.
@bhuubao Tui đoán ông đang nói về mấy con X3D của AMD? Con 5800x chạy 4.7ghz với 32mb L3 cache, còn 5800X3D thì còn 4.5ghz nhưng 96mb L3 cache. Với tác vụ game thì con 5800X3D cho ra nhiều fps hơn hoặc ít nhất là cải thiện minimum fps. Nếu CPU là một công nhân thì số ghz như sức mạnh còn L3 cache như không gian để quẩy 😆
@caocaolatre199x Em nói ko còn ý nghĩa chắc là cũng hơi quá, nhưng thật sự thì khi mà những con chip bây giờ đều có tần số sàng sàng nhau tầm 4-5GHz thì em đều nhìn tới nó cuối cùng.
Cái đầu tiên em nhìn bây giờ là số nhân, tiến trình, kiến trúc,...
Chắc có lẽ do nhu cầu em là văn phòng làm việc thôi nên ưu tiên để có pin tốt, Còn sức mạnh thì có là 3GHz cũng vẫn đủ cho em làm việc rồi.
@bhuubao Sàng sàng làm sao đc. Mình nhớ có thời điểm vượt qua mốc 5GHz đều là mục tiêu của AMD lẫn Intel đó bạn. Tất nhiên là mình vẫn phải nhìn vào kiến trúc và số nhân, cái mình muốn nói là bạn nói rằng tốc độ xung nhịp giờ ko còn ý nghĩa thì là không phải.
Thêm nữa là nếu bạn làm văn phòng dùng office nhiều, hay gần như hầu hết các tác vụ phổ thông khác thì nên chú trọng vào xung đơn nhân là chính thì tối ưu hơn cho công việc. Bản thân mình hay dùng PS và LR nhiều thì cũng không cần đến nhiều nhân, chỉ cần đơn nhân mạnh thôi.
@caocaolatre199x Thật sự, nếu làm về Ps hay Pr thì xung chỉ cao hơn 0.3ghz đã thấy nó khác biệt rồi, do nhiều tác vụ ăn đơn nhân. Có phải cái gì cũng phải đa nhân đâu
Còn 5800X với 5800X3D kia thì con X3D chuyên gamming nên L3 to, chiến game khỏe hơn là đương nhiên
Cứ thử so về multi/single core xem, X3D thua là cái chắc
Mấy con số này chỉ dân trong ngành làm chip mới nắm rõ chứ người mua thì nghe số cao là mua thôi
Xem chỉ số TOPS ở đâu mấy bác nhỉ? Đang tò mò coi hiệu năng, chỉ số TOPS mấy con vga 😆
"Trong đó, MACs (Multiply-Accumulates) biểu thị cho số lượng phép nhân và cộng mà một hệ thống có thể thực hiện mỗi giây". Câu này có vẻ sai sai!!!
Coi top top thì biết chứ tops này thì chưa
Đó là thứ khi PR nghe rất kêu: mà nó đc tík sự thì ít hơn quẵng cớu 1001 lần:
nói chung: là ta trã tiền cho những thứ đc đỗi tên từ seach sang Ai :
hhhhh
nghe TOP là thấy khoái rồi, đỡ hơn phải nghe BOT với lên mạng dạo này toàn TOPTOP nên TOPS là hợp lý. Còn tác dụng của AI trên máy tính đến giờ vẫn chỉ là marketing chưa thấy gì gọi là thiết thực ngoài việc nó sẽ ngốn RAM điên cuồng

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019