Hồi tháng 11/2023, Nvidia đã hé lộ siêu máy tính Eos tại hội thảo Supercomputing Conference, nhưng chưa tiết lộ cấu hình chi tiết. Đến thời điểm hiện tại, bức hình đầu tiên chụp bên trong căn phòng lắp đặt hệ thống siêu máy tính này đã được chia sẻ, cùng với đó là cấu hình chi tiết của Eos.
Nvidia trang bị cho Eos 576 hệ thống DGX H100. Mỗi cluster DGX H100 bao gồm 8 GPU H100 kiến trúc Hopper, hiện tại đang là một trong những món hàng hot nhất trên thị trường nghiên cứu, huấn luyện và vận hành thuật toán AI, với cụm tensor core cực mạnh phục vụ tính toán số thực dấu phẩy động. Tổng cộng Eos có 4608 GPU H100, kết nối với nhau thông qua cầu nối Nvidia Quantum-2 InfiniBand. Với cấu hình như thế này, Eos tạo ra sức mạnh xử lý số thực dấu phẩy động FP8 18.4 exaflops.
Với băng thông bộ nhớ 400 Gbps, Eos đủ sức mạnh xử lý nhiều tác vụ, từ huấn luyện mô hình ngôn ngữ, mô phỏng mô hình lượng tử hay những tác vụ AI khác.
Hồi năm ngoái, Nvidia Eos đã khiến công chúng để mắt, khi lọt vào vị trí thứ 9 trong danh sách Top500, xếp hạng những hệ thống siêu máy tính mạnh nhất hành tinh. Hiện tại siêu máy tính mạnh nhất thế giới đang là Frontier, trang bị CPU AMD EPYC, đặt ở phòng thí nghiệm quốc gia Oak Ridge, Tennessee, Mỹ, với sức mạnh đo bằng benchmark HPL đạt ngưỡng 1194 Petaflops. Nvidia Eos cùng bài test chỉ đạt 121.4 petaflops mà thôi.
Nvidia trang bị cho Eos 576 hệ thống DGX H100. Mỗi cluster DGX H100 bao gồm 8 GPU H100 kiến trúc Hopper, hiện tại đang là một trong những món hàng hot nhất trên thị trường nghiên cứu, huấn luyện và vận hành thuật toán AI, với cụm tensor core cực mạnh phục vụ tính toán số thực dấu phẩy động. Tổng cộng Eos có 4608 GPU H100, kết nối với nhau thông qua cầu nối Nvidia Quantum-2 InfiniBand. Với cấu hình như thế này, Eos tạo ra sức mạnh xử lý số thực dấu phẩy động FP8 18.4 exaflops.
Với băng thông bộ nhớ 400 Gbps, Eos đủ sức mạnh xử lý nhiều tác vụ, từ huấn luyện mô hình ngôn ngữ, mô phỏng mô hình lượng tử hay những tác vụ AI khác.
Hồi năm ngoái, Nvidia Eos đã khiến công chúng để mắt, khi lọt vào vị trí thứ 9 trong danh sách Top500, xếp hạng những hệ thống siêu máy tính mạnh nhất hành tinh. Hiện tại siêu máy tính mạnh nhất thế giới đang là Frontier, trang bị CPU AMD EPYC, đặt ở phòng thí nghiệm quốc gia Oak Ridge, Tennessee, Mỹ, với sức mạnh đo bằng benchmark HPL đạt ngưỡng 1194 Petaflops. Nvidia Eos cùng bài test chỉ đạt 121.4 petaflops mà thôi.
Xếp hạng siêu máy tính Top500: Frontier chip AMD EPYC mạnh nhất, Aurora chip Intel Xeon thứ nhì
Top500.org vừa công bố danh sách những siêu máy tính mạnh nhất hành tinh, tính theo sức mạnh xử lý số thực dấu phẩy động petaflop và exaflop. Sau khi hạ bệ Fugaku của người Nhật Bản với những con chip kiến trúc ARM A64FX do Fujitsu sản xuất…
tinhte.vn
Sức mạnh của Eos không chỉ đơn thuần nằm ở việc tính toán số thực dấu phẩy động. Tháng 11 năm ngoái, Eos hoàn thành benchmark huấn luyện mô hình ngôn ngữ của MLPerf, dựa trên mô hình GPT-3 với 175 tỷ tham số, huấn luyện dựa trên 1 tỷ token, và hệ thống siêu máy tính này hoàn tất bài thử nghiệm chỉ trong 3.9 phút, thời gian cải thiện gấp 3 lần so với kết quả 10.9 phút đo được 6 tháng trước đó.
Nvidia cho biết, vì bài benchmark này sử dụng một phần của gói dữ liệu GPT-3 hoàn chỉnh, nên nhờ giải pháp ngoại suy, hệ thống Eos có thể huấn luyện cả một mô hình ngôn ngữ nhanh hơn gấp 73 lần so với một hệ thống trang bị 512 GPU A100, vốn là sản phẩm mạnh nhất trên thị trường huấn luyện AI khi GPT-3 ra mắt hồi năm 2020.
Cùng với đó, Eos cũng đi kèm với gói phần mềm tích hợp khá sâu để giúp ích cho quá trình phát triển cũng như vận hành AI, bao gồm khả năng “chia việc” và quản lý từng cluster DGX H100, tăng tốc bộ nhớ và thư viện dữ liệu, cũng như hệ điều hành được tối ưu cho những tác vụ AI.
Theo Techspot
