Tinh Tế có trên tay nhanh chiếc máy ASUS Ascent GX10, một trong những chiếc máy AI PC mạnh nhất hiện nay với việc được trang bị bộ vi xử lý NVIDIA Grace Blackwell Superchip, để vận hành và huấn luyện các mô hình ngôn ngữ lớn. Câu hỏi đặt ra là một chiếc siêu máy tính AI như vậy, có thể làm được gì và khả năng của nó khi thực hiện những tác vụ đó như thế nào.
Nói về cấu hình, về trải nghiệm trên tay thì Mod Gia Huy đã có bài viết chia sẻ, anh em có thể tham khảo qua bài dưới đây
Nói về GX10, thì việc được tích hợp vi xử lý tích hợp NVIDIA GB10 Grace Blackwell Superchip, kết hợp CPU Arm Grace 20 nhân với GPU Blackwell mạnh mẽ, cùng 128GB bộ nhớ LPDDR5x hợp nhất cho phép thiết bị này giảm độ trễ khi chạy mô hình lớn khiến chiếc máy này thật sự là một con “quái thú” trong hình dạng một thiết bị gọn gàng, nhẹ nhàng.
Nói về cấu hình, về trải nghiệm trên tay thì Mod Gia Huy đã có bài viết chia sẻ, anh em có thể tham khảo qua bài dưới đây
Trên tay ASUS Ascent GX10: Siêu máy tính AI nằm ngay trên bàn của bạn
NVIDIA khiến chúng ta không cần phải đi tìm đâu xa khi nghĩ đến những chiếc siêu máy tính (hay siêu máy chủ) để vận hành và huấn luyện các mô hình ngôn ngữ lớn, vì ở ngay trên bàn đã có ASUS Ascent GX10. Được trang bị bộ vi xử lý NVIDIA GB10...
tinhte.vn
Nói một chút về Asus Ascent GX10
Nói về GX10, thì việc được tích hợp vi xử lý tích hợp NVIDIA GB10 Grace Blackwell Superchip, kết hợp CPU Arm Grace 20 nhân với GPU Blackwell mạnh mẽ, cùng 128GB bộ nhớ LPDDR5x hợp nhất cho phép thiết bị này giảm độ trễ khi chạy mô hình lớn khiến chiếc máy này thật sự là một con “quái thú” trong hình dạng một thiết bị gọn gàng, nhẹ nhàng.
Ngoài ra, khả năng xử lý các tác vụ trí tuệ nhân tạo lên tới 1 petaFLOP, vốn là con số mạnh ngang các máy chủ chuyên biệt, nhưng thiết kế gọn nhẹ hơn, tối ưu hơn cho inference hoặc tinh chỉnh các mô hình AI lớn. Điểm mạnh của nó là bộ nhớ hệ thống hợp nhất, với băng thông 276GB/s cho phép xử lý model AI tham số lớn lên tới khoảng 200B trên một máy, hoặc ghép 2 máy GX10 mở rộng tới 405B tham số thông qua mạng NVIDIA ConnectX-7 200G.
Như vậy, thật sự Asus Ascent GX10 là một chiếc máy mạnh mẽ đủ khả năng đáp ứng nhu cầu của những anh em nào làm việc liên quan đến AI như phát triển AI, nghiên cứu về AI hay các doanh nghiệp cần giải pháp AI tại chỗ.
Một số thứ mình sẽ thử nghiệm
Việc được trên tay một thiết bị AI PC quá mạnh đặt cho mình một số câu hỏi liên quan tới việc mình sẽ sử dụng nó như thế nào, đứng ở góc độ là người dùng cá nhân, và nhìn xa hơn một chút là người dùng doanh nghiệp.Làm việc với GX10 từ xa thông qua NVIDIA Sync
Việc đầu tiên mà mình muốn thử, là thay vì sử dụng mọi thứ trực tiếp Asus Ascent GX10 này, mình muốn để nó ở Tinh Te, làm việc tại nhà và truy cập từ xa vào để thực hiện các tác vụ AI. Điều này nhằm mục đích mô phỏng GX10 như một server AI cho phép không chỉ mình, mà một số anh em nếu muốn có thể kết nối làm việc từ xa, tương tự như một máy chủ truyền thống.
NVIDIA Sync cho phép việc thử nghiệm việc truy cập vào GX10 để làm việc từ xa
Việc này có thể được thực hiện thông qua NVIDIA Sync, mod Gia Huy cũng có chia sẻ cách kết nối tại bài viết này, anh em có thể coi qua. Khi sử dụng qua NVIDIA Sync, anh em có thể dễ dàng kết nối với GX10 và thao tác thông qua Terminal để thực hiện các dòng lệnh liên quan tới AI. Ngoài ra, anh em cũng sẽ cần thiết lập SSH để có thể dễ dàng kết nối với AI Workbench và thực hiện các dự án một cách trực quan hơn thay vì sử dụng dòng lệnh.
Quảng cáo
Hướng dẫn thiết lập ban đầu cho ASUS Ascent GX10 (DGX Spark): cấu hình SSH, cài đặt NVIDIA Sync
Trong chủ đề này xin chia sẻ lại với anh em một số kinh nghiệm và cách mà mình sử dụng, cấu hình Ascent GX10 (DGX Spark) khi làm việc hoặc muốn vọc vạch chiếc Supercomputer này từ xa, remote access bằng bất kì mẫu máy tính nào mà bạn đang có...
tinhte.vn
Việc thử nghiệm này sẽ là bước đầu tiên cho thấy khả năng của GX10 như một server AI cho các nhóm làm việc, truy cập vào GX10 cùng lúc để thực hiện các tác vụ liên quan tới AI.
Vibe Coding với GX10
Tác vụ thứ hai mình muốn thử sẽ là việc Vibe Coding với GX10, với tác vụ này, mình muốn thiết lập một trợ lý AI trên GX10, sau đó tích hợp nó vào VS Code để thực hiện việc Vibe Coding. Với cách thiết lập này, không chỉ cá nhân, hay một nhóm, có thể sử dụng VS Code để làm việc trên cùng một source code (mã nguồn), kết hợp với GitHub để đảm bảo việc push/pull code và phát triển dự án.
Sử dụng Visual Studio với chatbot AI trên GX10
Khi đó, các thành viên trong nhóm có thể sử dụng extension Continue.dev để cấu hình assistant được thiết lập trên GX10 để hỗ trợ việc phát triển ứng dụng. Cá nhân mình thấy rằng việc thiết lập một chatbot AI riêng cho team, kết hợp với việc server được đặt riêng tại công ty, sẽ đảm bảo toàn bộ model và dữ liệu inference, prompt/output đều chạy nội bộ, qua đó đảm bảo an toàn tuyệt đối hơn so với dùng cloud, nhất là với những dữ liệu nhạy cảm, source code.
Quảng cáo
FineTuning mô hình ngôn ngữ lớn để thử khả năng nhận diện ảnh
Một thử nghiệm thứ ba mình muốn vọc vạch là khả năng của GX10 trong việc fine-tune một mô hình trí tuệ nhân tạo để so sánh khả năng nhận diện ảnh cho một tác vụ nào đó. Tác vụ này sẽ khó khăn hơn một chút trong việc thiết lập mô hình AI, cài đặt các packages cần thiết và tương ứng để sử dụng. Tuy nhiên, mình kì vọng nó sẽ cho thấy khả năng tối ưu một mô hình trí tuệ nhân tạo nào đó để phục vụ tác vụ training và cải thiện khả năng phân tích, nhận diện hình ảnh cho một số mục đích nhất định.
Hay cấu hình mạnh của GX10 có thể đáp ứng tốt tác vụ Fine Tuning
Với hiệu năng AI lên đến 1 petaFLOP, bộ nhớ hợp nhất 128GB và nhân CPU/GPU tối ưu cho workload AI, GX10 cho phép fine-tune hiệu quả các mô hình lớn, tối đa tới 200 tỷ tham số, đáp ứng đa dạng nhu cầu huấn luyện từ vision AI, phân loại ảnh, object detection cho đến các mô hình ngôn ngữ mới nhất ngay tại chỗ mà không cần phụ thuộc vào cloud hoặc GPU đắt đỏ. Các nhóm có thể sử dụng bộ toolchain AI hiện đại của NVIDIA như cuDNN, CUDA, inference engine ngay trên nền tảng Ubuntu, giúp giảm độ phức tạp khi triển khai, quản lý cũng như đảm bảo tốc độ xử lý, trao đổi dữ liệu giữa CPU và GPU gần như không có độ trễ
Tác vụ FineTune này, ở góc nhìn của mình, đặc biệt phù hợp với các team xử lý dữ liệu lớn, nhóm nghiên cứu khoa học trong lĩnh vực Computer Vision, hoặc bất kỳ tổ chức nào có nhu cầu nâng cấp, tối ưu hóa AI, xử lý mô hình nhạy cảm về bảo mật mà không muốn đưa lên cloud. Ngoài ra, khả năng fine-tune, inference real-time tại chỗ giúp quy trình nghiên cứu, triển khai AI khép kín, tiết kiệm chi phí và cũng an toàn hơn về mặt dữ liệu nội bộ
RAG cơ bản với GX10 cùng AI Workbench
Và cuối cùng cái mình muốn thử với GX10 là khả năng xây dựng các RAG. RAG về cơ bản là là kĩ thuật kết hợp việc truy xuất thông tin từ dữ liệu nội bộ hoặc bên ngoài và dùng mo hình ngôn ngữ lớn để tổng hợp, tạo ra câu trả lời cho người dùng. Kĩ thuật này qua đó cho phép chatbot không chỉ dựa vào dữ liệu huấn luyện cố định mà còn sử dụng dữ liệu thực tế, tài liệu của doanh nghiệp để trả lời.
Và một thiết bị cấu hình mạnh như GX10 hoàn toàn có thể là giải pháp phù hợp cho các doanh nghiệp hoặc nhóm nghiên cứu trong việc lưu trữ tài liệu số lượng lớn nhằm phục vụ truy xuất, hay chạy các mô hình LLM như Ollama, Llama để tổng hợp câu trả lời sát nhất với dữ liệu nội bộ. Điểm mạnh mình nghĩ tới được của GX10 là dữ liệu nội bộ luôn bảo mật trong phạm vi công ty, dễ mở rộng cho nhiều user hoặc nhiều project cùng lúc, mà vẫn tận dụng được sức mạnh truy xuất–tạo sinh của AI hiện đại.
Kết luận
Nếu anh em từng nghĩ những mô hình AI lớn chỉ có thể chạy trên cloud, thì mình hi vọng rằng Asus Ascent GX10 là minh chứng rằng giải pháp cho nhu cầu đó có thể nằm ngay trên bàn làm việc. Mình sẽ sớm chia sẻ trải nghiệm thực tế trong bài viết tới.
Sản phẩm được phân phối bởi Thế giới máy chủ, anh em cần có thể tham khảo tại đây nha.
