Chúng ta vẫn hay nghe về TOPS, vi xử lý này có sức mạnh NPU là 15 TOPS, vi xử lý kia là 45 TOPS, rồi vi xử lý nọ là 16 TOPS, vậy TOPS là gì, người ta đo số TOPS đó như thế nào và tại sao bây giờ nói về AI người ta lại nói về số TOPS, hãng nào cũng đem TOPS ra khoe từ Qualcomm, Intel hay AMD, nó có thực sự quan trọng hay không? TOPS và TFLOPS khác nhau ra sao? Bài này mình sẽ chia sẻ với anh em những vấn đề đó.
![[IMG]](https://photo2.tinhte.vn/data/attachment-files/2023/10/8167028_tinhte-snap10.jpeg)
TOPS hay Tera Operations Per Second nó biểu thị cho việc một con chip có thể tính toán được bao nhiêu phép tính trỏng một giây. Nó thường được sử dụng để đo hiệu suất của các bộ xử lý AI, đặc biệt là các bộ xử lý thần kinh (NPU) được tích hợp trong máy tính xách tay, máy tính để bàn và thiết bị di động.
Các nhà sản xuất chip thường lấy số TOPS này để quảng cáo về hiệu quả xử lý con chip của họ so với đối thủ, lâu dần có thể xem đây là thước đo cho tốc độ, sức mạnh và hiệu quả xử lý của một con chip. Dĩ nhiên sẽ còn rất nhiều yếu tố khác, bên trong con chip cũng có nhiều thành phần, nhưng thường nói về số TOPS thì người ta sẽ nhắc về NPU, về bộ xử lý AI, giống như cách người ta nói về GPU thì thường lấy số TFLOPS để so sánh vậy.
TOPS là gì?
TOPS hay Tera Operations Per Second nó biểu thị cho việc một con chip có thể tính toán được bao nhiêu phép tính trỏng một giây. Nó thường được sử dụng để đo hiệu suất của các bộ xử lý AI, đặc biệt là các bộ xử lý thần kinh (NPU) được tích hợp trong máy tính xách tay, máy tính để bàn và thiết bị di động.
Các nhà sản xuất chip thường lấy số TOPS này để quảng cáo về hiệu quả xử lý con chip của họ so với đối thủ, lâu dần có thể xem đây là thước đo cho tốc độ, sức mạnh và hiệu quả xử lý của một con chip. Dĩ nhiên sẽ còn rất nhiều yếu tố khác, bên trong con chip cũng có nhiều thành phần, nhưng thường nói về số TOPS thì người ta sẽ nhắc về NPU, về bộ xử lý AI, giống như cách người ta nói về GPU thì thường lấy số TFLOPS để so sánh vậy.
TOPS và TFLOPS khác gì nhau?
TFLOPS hay Floating Point Operations Per Second là đơn vị biểu thị số lượng tỷ phép tính dấu phẩy động (Tera Floating point Operations Per Second) mà một hệ thống có thể thực hiện mỗi giây. Đây thường được sử dụng trong lĩnh vực tính toán khoa học và máy tính.
TOPS đo lường số lượng hoạt động tổng quát, bao gồm cả phép toán với số nguyên và phép toán dấu phẩy động. Còn TFLOPS tập trung vào phép toán dấu phẩy động, chẳng hạn như cộng, trừ, nhân, chia với số thực. Từ đó, TFLOPS thường được dùng để tính toán khoa học, mô phỏng và các ứng dụng yêu cầu tính toán chính xác với số thực. Còn TOPS được sử dụng để đo lường hiệu quả AI, đặc biệt trong các bộ neural networks hay các mô hình deep learning.
Người ta tính số TOPS như thế nào?
![[IMG]](https://photo2.tinhte.vn/data/attachment-files/2023/10/8167035_tinhte-snap5.jpeg)
TOPS được tính với công thức: MACs * Frequency * 2. Trong đó, MACs (Multiply-Accumulates) biểu thị cho số lượng phép nhân và cộng mà một hệ thống có thể thực hiện mỗi giây, Frequency là tần số thực hiện các phép MAC.
Ví dụ, nếu một NPU có 60.000 đơn vị MACs, hoạt động ở tần số 1.5GHz thì sẽ đạt 180 TOPS, nhưng nếu tăng tần số lên 1.75GHz, giữ nguyên đơn vị MACs thì lúc này sẽ đạt 210 TOPS.
Vậy các đại lượng này thì có liên quan gì đến nhau? Như anh em thấy thì nó là đại lượng tỉ lệ thuận, tức là tần số càng cao (càng lớn) thì chỉ số TOPScàng lớn và từ đó NPU hay toàn bộ SoC sẽ hoạt động càng hiệu quả. Nhưng điều đó cũng đồng nghĩa rằng phải tăng điện năng tiêu thụ.
Bất kì một thành phần nào (CPU, GPU hay NPU) cũng đều tiêu tốn điện năng, nếu càng cung cấp nhiều điện, thì nó sẽ càng mạnh, mà càng mạnh thì chỉ số TOPS càng lớn, nếu dùng số này để marketing thì Qualcomm Snapdragon X Elite (45 TOPS), Intel Core Ultra (NPU là 10 TOPS) hay AMD Ryzen 8040 “HawkPoint” (NPU 16 TOPS) rõ ràng đem lại hiệu quả đối với người dùng. Nhưng vấn đề cũng từ đây mà ra: tốn nhiều điện thì nhiệt độ sẽ cao. Mà với những SoC ARM như Qualcomm Snapdragon X Elite thì họ lại quảng cáo hiệu năng trên mỗi watt điện là hiệu quả gấp đôi so với Intel.
Intel Lunar Lake sẽ có hiệu suất xử lý AI gấp 3 lần thế hệ hiện tại
Vi xử lý thế hệ mới Lunar Lake dự kiến được Intel giới thiệu vào cuối năm nay được cho là sẽ có hiệu suất xử lý AI tốt hơn từ 2-3 lần so với thế hệ Meteor Lake thời điểm hiện tại.
Sự kiện Intel Vision 2024 diễn ra tuần rồi tại Phoenix ngoài việc…
tinhte.vn
Đối với các hệ thống lớn, ví dụ máy chủ thì điện năng cao, nhiệt độ cao không phải vấn đề lớn, nhưng trên những mẫu laptop hay điện thoại mà quá nóng thì không ổn chút nào. Câu hỏi đặt ra là làm sao để vừa tăng được số TOPS mà điện năng không tăng lên quá nhiều, tốc độ thì vẫn cao? Điều này dẫn đến cuộc đua về tiến trình sản xuất chip đang rất nóng trong những năm qua, các công nghệ hiện đại được phát triển chỉ để giải quyết vấn đề này mà thôi: Làm sao để chip càng mạnh mà càng tiết kiệm điện. Đó là việc giải quyết ở mức độ người dùng cá nhân, còn với các nhà sản xuất, họ phải đối mặt với nhiều vấn đề hơn, môi trường là một trong số đó.
Quảng cáo
Nhưng thôi tạm thời để vấn đề môi trường qua một bên, nếu không có TOPS thì có cách nào để đánh giá hiệu suất AI hay không? Tất nhiên là có, nhưng lúc này nó sẽ khó khăn hơn, rồi chưa kể mỗi nhà sản xuất sẽ sử dụng một cách khác nhau, một định nghĩa khác nhau, một đơn vị khác nhau, từ đó người dùng sẽ khó mà phân định được NPU nào xử lý AI tốt hơn. Để so sánh bất kì thứ gì, nên đưa nó về cùng một hệ quy chiếu.
Bản thân các hãng khi đưa ra con số TOPS, họ đo như thế nào thì chúng ta khó mà biết được (INT4 hay INT8, BFLOAT16 hay FLOAT16…), vì có rất nhiều mô hình khác nhau để sử dụng trong việc đánh giá (benchmark) hiệu suất xử lý của NPU, sự khác biệt về tốc độ, về số lượng đơn vị MACs hay các mô hình mạng thần kinh dùng để thử nghiệm đều có thể làm thay đổi số TOPS, chưa kể sự phát triển của tiến trình sản xuất cũng ảnh hưởng đến con số này.
TOPS có quan trọng với AI hay không?
Quay lại câu hỏi lớn nhất trong bài này, chỉ số này có quan trọng hay không? Trả lời ngắn gọn là có, vì nó là “thước đo” mà các hãng sử dụng ở thời điểm này để nói về sức mạnh của NPU, sẽ là rất khó để người dùng nhận biết được đâu là NPU mạnh hơn nếu mỗi hãng sử dụng một định nghĩa khác nhau. Tuy nhiên, TOPS không phải là tất cả khi nói về sức mạnh xử lý của một con chip, hay cụ thể hơn là NPU.
TOPS là đơn vị đo lường hiệu suất tối đa, không phản ánh hiệu suất thực tế, ví dụ đơn giản là RTX 4090 có sức mạnh 1300 TOPS, nếu dùng nó để xử lý AI thì rất nhanh, rất mạnh nhưng không phải lúc nào nó cũng tận dụng sức mạnh tối đa đó, mà còn phải phụ thuộc vào mô hình sử dụng là gì, không phải lúc nào cũng “đem dao mổ trâu đi giết gà”. Để đánh giá một cách toàn diện, chúng ta cần xét nhiều yếu tố hơn như thông lượng (throughput), bộ nhớ, chi phí…., cái này thì nằm nên ở một chủ đề khác.
Quảng cáo
Các tính năng AI cũng sẽ dựa trên con số này để biết được rằng máy tính của bạn có thể dùng được hay không, dùng ở đây là dùng trực tiếp trên máy tính, không cần kết nối internet như hiện tại. Ví dụ Copilot mà muốn chạy local thì cần một con chip có thể đạt ít nhất 40 TOPS, và hiện chỉ có Qualcomm Snapdragon X Elite là làm được chuyện đó, nó cũng làm dấy lên câu chuyện là một tính năng AI khi ra mắt chung với Windows 24H2 là AI Explorer chỉ dành cho máy tính chạy Snapdragon X Elite mà thôi.
Tóm lại, TOPS chưa hẳn là một thước đo tốt nhất, chuẩn nhất để xem xét hiệu suất của NPU, nhưng nó vẫn là một tiêu chuẩn tối thiểu để có thể so sánh các NPU và các mẫu AI PC sau này.
