Trainium 2 & Inferentia: Amazon muốn tạo ra con chip AI cạnh tranh được với Nvidia

Để làm được điều này, các kỹ sư và nhà phát triển bán dẫn của Annapurna Labs, công ty thuộc quyền sở hữu của tập đoàn Amazon đang cố gắng phát triển một con chip xử lý trang bị cho máy chủ AWS, với hiệu năng huấn luyện cũng như vận hành AI đủ để Amazon bớt phụ thuộc vào nguồn cung chip của Nvidia.

Với tham vọng đó, mảng điện toán đám mây của tập đoàn Amazon đã và đang đầu tư hàng tỷ USD để phát triển và sản xuất những con chip thiết kế riêng cho nhu cầu vận hành máy chủ AWS phục vụ các khách hàng chạy thuật toán AI. Năm 2015, Amazon mua lại Annapurna Labs với giá 350 triệu USD. Sang tháng 12, dự kiến startup nghiên cứu chip xử lý này sẽ giới thiệu Trainium 2, sản phẩm phục vụ được nhu cầu huấn luyện những mô hình ngôn ngữ nhiều tham số nhất hiện nay.

Hiện tại, Trainium 2 đang được thử nghiệm huấn luyện mô hình AI bởi Anthropic, startup nghiên cứu AI với những mô hình và chatbot Claude. Phiên bản Claude mới nhất là 3.5, với lựa chọn mạnh nhất là Claude 3.5 Opus, 2 nghìn tỷ tham số. Bên cạnh Anthropic, những đơn vị đang thử nghiệm chip Trainium 2 còn có Databricks, Deutsche Telekom, Ricoh và Stockmark…



Amazon và giám đốc mảng AWS hoàn toàn không giấu diếm tham vọng cạnh tranh trực tiếp với chính Nvidia với con chip “cây nhà lá vườn” phục vụ nhu cầu riêng của những data center mà họ sở hữu cũng như vận hành. Dave Brown, phó chủ tịch mảng điện toán và dịch vụ mạng của AWS nói: “Chúng tôi muốn trở thành nơi hoàn hảo nhất để vận hành phần cứng của Nvidia. Nhưng cùng lúc, chúng tôi cũng thấy tình hình cạnh tranh sẽ ổn định nếu có một lựa chọn thay thế.”

Nếu như Trainium 2 là sản phẩm mới nhất phục vụ cho nhu cầu huấn luyện mô hình AI mới, thì Annapurna Labs có một sản phẩm khác, Inferentia, phục vụ vận hành nội suy nội dung bằng mô hình ngôn ngữ AI. Ước tính, so sánh với chip Nvidia, Inferentia tạo ra những token nội dung từ mô hình AI với chi phí rẻ hơn tới 40%.

Ông Brown cho biết: “Chi phí vận hành máy chủ đám mây luôn cao nếu xét tới tác vụ máy học và AI. Nếu tiết kiệm được 40% chi phí 1000 USD, nghe không có nhiều khác biệt trong kinh doanh. Nhưng khi chi phí hàng chục triệu USD giảm 40%, nó sẽ là khác biệt rất đáng kể.”

Dự kiến trong năm 2024, Amazon sẽ bỏ ra khoảng 75 tỷ USD vốn đầu tư nghiên cứu phát triển sản phẩm mới. Hầu hết con số đó sẽ được dùng để phát triển công nghệ cơ sở hạ tầng máy chủ đám mây. CEO Andy Jassy, trong cuộc gọi công bố báo cáo tài chính gần đây nhất, đã khẳng định Amazon sẽ đầu tư số tiền lớn hơn trong năm 2025. Quá trình đầu tư mở rộng quy mô và giải pháp chip xử lý máy chủ đám mây của Amazon đã bắt đầu từ năm 2023, khi họ bỏ 48.4 tỷ USD trong cả năm làm vốn đầu tư nghiên cứu phát triển sản phẩm.



Chẳng riêng gì Amazon, mà Microsoft với Azure và Alphabet với Google Cloud cũng đang chạy đua đầu tư hàng chục, hàng trăm tỷ USD mở rộng quy mô data center của họ trên toàn thế giới để dẫn đầu cuộc đua AI. Màn đổ tiền này vẫn chưa hề có dấu hiệu hạ nhiệt.

Những cái tên như Amazon, Meta, xAI, Microsoft và Google vừa là những khách hàng lớn đặt mua hàng vạn con chip xử lý máy chủ của Nvidia, mỗi con chip có giá tới 5 chữ số tiền USD. Nhưng cùng lúc, nhiều cái tên trong số đó cũng đang tự phát triển, sản xuất và ứng dụng những chip xử lý của riêng họ. Microsoft có Maia 100. Google có TPUv6, Meta thì có Artemis. Và Amazon, thông qua Annapurna Labs, có Trainium và Inferentia.

Daniel Newman của Futurum Group cho rằng: “Mọi đơn vị cung cấp dịch vụ điện toán đám mây lớn đều đang nhắm tới định hướng vận hành theo ngành dọc, và nếu có khả năng, thì sẽ tự phát triển và ứng dụng chip của riêng họ. Từ OpenAI tới Apple đều đang muốn tự phát triển chip mới, vì họ muốn giảm chi phí kinh doanh, tăng tỷ suất lợi nhuận, tăng lượng chip phục vụ cho họ, và kiểm soát tốt hơn nguồn cung.”

Rami Sinno, giám đốc kỹ thuật của Annapurna Labs, người từng làm việc cho cả Intel lẫn ARM cho rằng: “Chỉ nói tới chip không là chưa đủ, mà thứ quan trọng là toàn bộ hệ thống máy chủ.” Đối với cơ sở hạ tầng máy chủ đám mây AI của Amazon, họ có tham vọng tự phát triển mọi thứ, từ wafer silicon chip xử lý, cho tới rack máy chủ lắp những con chip này vào, tất cả được vận hành dựa trên kiến trúc và phần mềm do AWS tự phát triển.

Annapurna Labs khởi đầu với việc phát triển một con chip bảo mật có tên Nitro cho AWS. Kế đến, họ tạo ra Graviton, CPU kiến trúc tập lệnh ARM, một giải pháp tiêu thụ ít điện năng hơn so với những CPU máy chủ Xeon của Intel hay EPYC của AMD.



G Dan Hutcheson, nhà phân tích của TechInsights cho rằng: “Lợi thế của AWS là chip của họ tiêu thụ ít điện năng hơn, và data center của họ có thể vận hành hiệu quả và tiết kiệm hơn.” Hutcheson so sánh chip Nvidia như những giải pháp phổ quát phục vụ cho mọi nhu cầu, rất mạnh nhưng tốn điện. Còn chip chuyên biệt của Amazon tốn ít điện hơn, và được thiết kế để phục vụ riêng từng nhu cầu khác nhau.

Nhưng dù quy mô lớn đến vậy, việc Amazon tự ứng dụng chip do Annapurna Labs của họ phát triển vẫn không đủ để ảnh hưởng tới phần trăm thị phần của Nvidia. Quý II năm tài khóa 2024, Nvidia báo doaanh thu 26.3 tỷ USD, chỉ tính riêng chip dành cho máy chủ. Con số này tương đương doanh thu của cả mảng AWS trong một quý. Và trong con số này, chỉ có một phần rất nhỏ doanh thu đến từ những khách hàng vận hành máy chủ AWS với những con chip của Annapurna Labs tự phát triển.

Và cũng có lý do khiến Amazon tránh đem con chip Trainium và Inferentia của họ benchmark để so sánh trực tiếp với chip xử lý của Nvidia. Patrick Moorhead, nhà tư vấn ngành chip bán dẫn tại Moor Insights & Strategy cho rằng: “Benchmark có giá trị khi các khách hàng đặt ra câu hỏi ”chúng tôi có nên chọn con chip này không?", trong khi bài kiểm tra thực sự có giá trị là khi chúng được đặt vào cùng một hệ thống để vận hành đồng thời, xử lý những tác vụ thực tế."

Moorhead cho rằng, lời khẳng định hiệu năng huấn luyện mô hình AI tăng gấp 4 lần giữa Trainium và Trainium 2 của Amazon là có cơ sở. Nhưng khi tạo ra một lựa chọn khác cho khách hàng, rõ ràng những con số benchmark không phải thứ duy nhất để thuyết phục họ.

Theo FT