Amazon Web Services, dịch vụ điện toán đám mây của Amazon vừa tổ chức một hội thảo công nghệ mang tên re:Invent tại Las Vegas, Mỹ. Tại đây, họ đã công bố con chip kiến trúc ARM mang tên Trainium2, dựa trên kiến trúc Graviton4, dùng để vận hành huấn luyện những mô hình machine learning nói chung, và những LLM phục vụ vận hành những chatbot AI nói riêng.
Amazon cho biết, Trainium2 tạo ra hiệu năng cao gấp 4 lần, nhưng tiết kiệm điện năng gấp đôi so với thế hệ chip Trainium dùng huấn luyện thuật toán AI trước đó mà các kỹ sư AWS phát triển. Với Trainium2, những mô hình ngôn ngữ có thể được huấn luyện với số lượng tham số lên tới hàng nghìn tỷ.
Khi trang bị Trainium2 cho cụm data center phục vụ huấn luyện mô hình ngôn ngữ và mô hình machine learning, toàn bộ hệ thống có thể đạt hiệu năng xử lý số thực dấu phẩy động 65 exaflop, tức là ngang ngửa những hệ thống tầm cỡ siêu máy tính hiện giờ. Với sức mạnh như vậy, những mô hình ngôn ngữ với 300 tỷ tham số sẽ được huấn luyện chỉ trong vài tuần chứ không phải vài tháng.
Đó là con chip để huấn luyện AI. Còn AWS Graviton4 sẽ là chip xử lý dùng để trang bị và vận hành những tác vụ khác nhau trên Elastic Compute Cloud (EC2) Ultraclusters. Graviton4, theo Amazon, có hiệu năng cao hơn 30%, số nhân xử lý nhiều hơn 50%, và băng thông bộ nhớ cao hơn 75% so với thế hệ chip cũ, Graviton3.
Có vẻ như tập đoàn công nghệ khổng lồ nào cũng đang phát triển chip AI. Và dưới đây là những động thái của các tập đoàn lớn ấy trong khoảng nửa năm trở lại đây:
Amazon cho biết, Trainium2 tạo ra hiệu năng cao gấp 4 lần, nhưng tiết kiệm điện năng gấp đôi so với thế hệ chip Trainium dùng huấn luyện thuật toán AI trước đó mà các kỹ sư AWS phát triển. Với Trainium2, những mô hình ngôn ngữ có thể được huấn luyện với số lượng tham số lên tới hàng nghìn tỷ.
Khi trang bị Trainium2 cho cụm data center phục vụ huấn luyện mô hình ngôn ngữ và mô hình machine learning, toàn bộ hệ thống có thể đạt hiệu năng xử lý số thực dấu phẩy động 65 exaflop, tức là ngang ngửa những hệ thống tầm cỡ siêu máy tính hiện giờ. Với sức mạnh như vậy, những mô hình ngôn ngữ với 300 tỷ tham số sẽ được huấn luyện chỉ trong vài tuần chứ không phải vài tháng.
Đó là con chip để huấn luyện AI. Còn AWS Graviton4 sẽ là chip xử lý dùng để trang bị và vận hành những tác vụ khác nhau trên Elastic Compute Cloud (EC2) Ultraclusters. Graviton4, theo Amazon, có hiệu năng cao hơn 30%, số nhân xử lý nhiều hơn 50%, và băng thông bộ nhớ cao hơn 75% so với thế hệ chip cũ, Graviton3.
Có vẻ như tập đoàn công nghệ khổng lồ nào cũng đang phát triển chip AI. Và dưới đây là những động thái của các tập đoàn lớn ấy trong khoảng nửa năm trở lại đây:
