Đáng lẽ ra những hệ thống siêu chip Grace Hopper GH200 chỉ trang bị trong những máy chủ và trung tâm dữ liệu chuyên biệt để vận hành hoặc huấn luyện những mô hình AI, từ mô hình ngôn ngữ cho tới những giải pháp thương mại dưới hình thức những chatbot như ChatGPT. Vả lại, bản thân GH200 cũng không hề rẻ. Bằng chứng là mới đây, có một cửa hàng mang tên GPTshop đã rao bán một hệ thống máy tính dạng thùng workstation cho người sử dụng cá nhân hoặc doanh nghiệp, bên trong là GH200, với giá 41.500 USD cho phiên bản 576GB RAM, và 48.500 USD cho phiên bản trang bị 624GB RAM.
GH200 là chip xử lý kết hợp giữa “siêu CPU” Grace và GPU Hopper. Trên một con chip Grace CPU là 72 nhân CPU Neoverse V2, hoặc sẽ trang bị trên Grace Hopper GH200, hoặc trang bị 2 CPU, gọi là Super Grace, 144 nhân CPU kiến trúc ARM, vận hành kết hợp với bộ nhớ LPDDR5x.
Theo Nvidia, đây là hệ thống đầu tiên được trang bị bộ nhớ HBM3e công nghệ mới nhất, vừa tăng dung lượng vừa tăng cả băng thông bộ nhớ. Những hệ thống trang bị GPU GH200 giờ sẽ có tối đa 282GB bộ nhớ để vận hành xử lý và huấn luyện machine learning.
HBM3e có tốc độ nhanh hơn 50% so với HBM3 hiện tại, mỗi hệ thống siêu máy tính của Nvidia có thể đạt ngưỡng băng thông bộ nhớ 10TB/s, riêng lẻ từng GPU cũng đạt băng thông 5 GB/s. Trong tương lai, Nvidia dự kiến sẽ ứng dụng HBM3e cho những GPU phục vụ doanh nghiệp nói chung và AI nói riêng, từ CPU Grace, GPU Hopper, GPU Ada Lovelace và DPU (data processing unit) BlueField.
Nhìn kết cấu linh kiện bên trong, dễ nhận ra cỗ máy tính với Nvidia GH200, cả CPU lẫn GPU đều do Nvidia thiết kế và sản xuất này rất giống một cụm máy chủ, nhưng đặt bên trong thùng máy ATX truyền thống dành cho máy tính để bàn, ở đây là InWin Dubili.
GH200 là chip xử lý kết hợp giữa “siêu CPU” Grace và GPU Hopper. Trên một con chip Grace CPU là 72 nhân CPU Neoverse V2, hoặc sẽ trang bị trên Grace Hopper GH200, hoặc trang bị 2 CPU, gọi là Super Grace, 144 nhân CPU kiến trúc ARM, vận hành kết hợp với bộ nhớ LPDDR5x.
Theo Nvidia, đây là hệ thống đầu tiên được trang bị bộ nhớ HBM3e công nghệ mới nhất, vừa tăng dung lượng vừa tăng cả băng thông bộ nhớ. Những hệ thống trang bị GPU GH200 giờ sẽ có tối đa 282GB bộ nhớ để vận hành xử lý và huấn luyện machine learning.
HBM3e có tốc độ nhanh hơn 50% so với HBM3 hiện tại, mỗi hệ thống siêu máy tính của Nvidia có thể đạt ngưỡng băng thông bộ nhớ 10TB/s, riêng lẻ từng GPU cũng đạt băng thông 5 GB/s. Trong tương lai, Nvidia dự kiến sẽ ứng dụng HBM3e cho những GPU phục vụ doanh nghiệp nói chung và AI nói riêng, từ CPU Grace, GPU Hopper, GPU Ada Lovelace và DPU (data processing unit) BlueField.
Nhìn kết cấu linh kiện bên trong, dễ nhận ra cỗ máy tính với Nvidia GH200, cả CPU lẫn GPU đều do Nvidia thiết kế và sản xuất này rất giống một cụm máy chủ, nhưng đặt bên trong thùng máy ATX truyền thống dành cho máy tính để bàn, ở đây là InWin Dubili.
Đối với hệ thống workstation xử lý AI giá tiền tỷ này, phiên bản 576 GB RAM bao gồm 480GB LPDDR5x cho toàn bộ hệ thống hai con chip trên board GH200, và 96GB HBM3 cho GPU H200 vận hành. Còn phiên bản với tổng cộng 624GB RAM cũng bao gồm 480GB LPDDR5x cho cả hệ thống, nhưng GPU có tới 144GB RAM HBM3. Cả hai phiên bản đều được trang bị cầu nối interconnect NVLINK-C2C, băng thông tối đa 900 GB/s, TDP vận hành có thể điều chỉnh từ 450 đến 1000W.
Để vận hành toàn bộ hệ thống, GPTshop trang bị cho thùng máy này hai bộ nguồn công suất 2400W, 2 slot PCIe Gen4 trên bo mạch chủ, 2 slot PCIe Gen4 2.5", hỗ trợ card add in FHFL PCIe Gen 5x16 để bộ nhớ lưu trữ có tốc độ cao nhất. Cả thúng máy này nặng ước chừng 30kg.
Và thay vì những giải pháp làm mát công nghiệp trong môi trường server hay data center, làm mát cho GH200 là một chiếc quạt tản nhiệt Noctua NF-A15 PWM. Tổng cộng trên thùng máy còn có thêm 8 quạt Noctua nữa.
Theo WCCFTech
