AMD Instinct MI300X 192GB: Câu trả lời của AMD trước chip xử lý AI của Nvidia

P.W
14/6/2023 12:4Phản hồi: 51
AMD Instinct MI300X 192GB: Câu trả lời của AMD trước chip xử lý AI của Nvidia
Bên cạnh những con chip xử lý máy chủ EPYC, trong đó có cả những phiên bản trang bị 3D V-cache, tại sự kiện công bố sản phẩm doanh nghiệp của AMD, GPU flagship phục vụ xử lý HPC, data center nói chung và AI nói riêng, Instinct MI300X đã được giới thiệu.

Trước đó, con chip MI300 với bộ nhớ 128GB đã được công bố, giờ đổi tên thành MI300A. Còn MI300X vừa được giới thiệu thì ứng dụng toàn bộ tile nhân xử lý GPU kiến trúc CDNA 3, thay vì kết hợp cả CPU lẫn GPU như MI300A. Trên bề mặt chip là 192GB VRAM HBM3, và GPU này được AMD tạo ra định hướng trực tiếp vào nhu cầu huấn luyện cũng như vận hành những mô hình ngôn ngữ machine learning. Bản thân bộ nhớ cực lớn cũng là lợi thế để vận hành những LLM quy mô lớn nhất ở thời điểm hiện tại.

Ngoài MI300X, thế hệ chip MI300 nói chung của AMD còn có cả những lựa chọn APU kết hợp những mảng nhân xử lý CPU Zen 4 với GPU CDNA 3, từ đó tạo ra những giải pháp chiplet phục vụ doanh nghiệp, với băng thông giữa CPU và GPU rất lớn từ cả công nghệ HBM3 lẫn Infinity Fabric. Hiện tại không có đơn vị nào ngoài AMD tạo ra giải pháp APU cùng 1 chip xử lý có cả CPU lẫn GPU. Nvidia có Grace Hopper, nhưng là hai chip độc lập trên cùng một bo mạch.

Tinhte-AMD2.jpeg

Quay trở lại với MI300X. Vì chỉ ứng dụng nhân GPU, nên thiết kế của MI300X đơn giản hơn MI300A khá nhiều. Xung quanh die chip bán dẫn là 8 stack VRAM HBM3. Ở thời điểm CES 2023 hồi đầu năm, mới chỉ có giải pháp chip RAM HBM3, nên bộ nhớ tối đa chỉ đạt 128GB trên mỗi chip. Nhưng hiện giờ đã có HBM3 24GB, cho phép tạo ra MI300X với tối đa 192GB bộ nhớ. Còn trên bề mặt die là 2 nhân CDNA 3, tổng cộng 8 chiplet GPU, 4 chiplet I/O.


Giới thiệu là quý III sẽ có sample cho đối tác doanh nghiệp thử nghiệm, nên ở sự kiện công bố các giải pháp Data Center và HPC, AMD cũng chưa công bố hiệu năng xử lý của MI300X.

Cũng phải nói thêm, với sự ra mắt của MI300A và MI300X, AMD đã đạt được mục tiêu thương mại hóa những thiết kế chip XPU linh hoạt. Intel từng có ý tưởng làm như vậy với những chip xử lý phục vụ doanh nghiệp, với kiến trúc CPU và GPU Falcon Shores. Nhưng giờ Intel sẽ chỉ ra mắt GPU kiến trúc Falcon Shores mà thôi. Và MI300A và MI300X sẽ được đem ra so sánh trực tiếp với sản phẩm mạnh nhất của Nvidia hiện giờ, Grace Hopper. Giải pháp của Nvidia không tạo ra một die chip có cả nhân CPU lẫn GPU, mà là hai chip độc lập kết nối với nhau thông qua cầu nối NVLink băng thông cao.

Tinhte-AMD3.jpeg

Về cơ bản, với sức nóng hiện giờ của thị trường chip xử lý nghiên cứu và vận hành AI, mọi ánh mắt đều sẽ đổ dồn về phía AMD để phá vỡ thế độc quyền mà Nvidia đang tạm thời nắm giữ trong ngành này, với những sản phẩm trị giá hàng chục, thậm chí hàng trăm nghìn USD một con chip như H100. MI300 sẽ tạo ra cơ hội đầu tiên để AMD dấn thân vào thị trường đầy hứa hẹn và tiềm năng này.

Bên cạnh việc là “chip APU doanh nghiệp đầu tiên”, thứ rõ ràng AMD có quyền khoe khoang, thì hiện giờ thị trường đang có cơn sốt, cứ sản xuất ra chip nào là sẽ có đơn vị bỏ tiền mua về hoặc thậm chí là đặt trước. Vì thế, MI300 hứa hẹn sẽ tạo ra một khoản không hề nhỏ trong báo cáo tài chính thường niên của AMD trong năm nay.

[​IMG]

Và kết hợp những chip MI300X lại với nhau, là platform điện toán AMD Infinity Architecture Platform. Tám chip MI300X trên cùng một bo mạch, kết hợp với nhau để xử lý những LLM với yêu cầu bộ nhớ và băng thông bộ nhớ rất lớn.

Theo Anandtech

Quảng cáo

51 bình luận
Chia sẻ

Xu hướng

Mấy bác cho hỏi là tại sao AMD không dùng nhân CPU để làm sản phẩm xử lí AI mà phải dùng nhân GPU?

Intel có thể lấy nhân CPU để làm ra sản phẩm xử lí AI đc ko?
@Thanchet92 Vì GPU nó chạy được các thuật toán song song còn CPU thì không, cái này lúc học chuyên ngành thầy có nhắc qua
vipjrm2
ĐẠI BÀNG
một năm
@Thanchet92 ví CPU như một vài ông giáo sư, còn GPU như một xưởng sản xuất hàng loạt vài nghìn công nhân. Bây giờ tôi có một cái nhiệm vụ sản xuất hàng loạt chục nghìn sản phẩm. Dù ông giáo sư kia có giỏi đến mấy thì giao việc cho ông đó cũng không thể nhanh bằng giao cho vài nghìn công nhân làm được. Những tác vụ tính toán của AI, hoặc đồ họa cũng vậy. bản thân một tác vụ thì đơn giản, có thể chỉ là cộng trừ nhân chia thôi, nhưng số lượng tác vụ thì rất nhiều nên nó đòi hỏi GPU tính toán song song để nâng cao hiệu quả.
@Thanchet92 cpu đc thiết kế đễ xữ lý tuần tự: còn gpu là làm tất cã một lúc: nếu bạn lấy 88x88x88x88x88 đến 1 tỹ lần thì cpu mất hơn một tỹ xung hz đễ làm việc: chữa kễ số nhân luồng:
còn gpu nếu đc nạp thuật toán ngon: có thể giãi bài này trong 8 xung hz:
bù lại: cpu xữ lý nhiều loại việc một lần:
còn gpu thì xữ lý nhiều việc giống nhau cùng một lần:
vd2 xữ lý ãnh 101 tỹ đễm anh nhân 101 tỹ điễm ảnh: thì gpu nhanh hơn cpu cùng giá tiền:
bạn chon cái nào
Mảng AI phải mất vài năm nữa thì Intel, AMD mới đuổi được Nvidia, giờ còn xa lắm.
Nvidia chính là Intel trong giới card đồ hoạ.
Cả 2 đều đẻ lắm đẻ nhiều, bú điện để tăng hiệu năng.
AMD thì rất cố gắng nhưng chíp vẫn chỉ ngang cơ Intel, card đồ hoạ kema Nvidia 1 tý.
AMD hơn 2 thằng kia cái đỡ tốn điện hơn thôi.
Nói chung thế giới chíp, card tích hợp Apple vẫn là số 1.
Đợi Apple ra mắt card rời chắc Nvidia sẽ như Intel thôi, chờ ngày tuyên bố phá sản
@lucky10000 vâng vẫn cần dev để support, nhưng ở mặt chạy được thì nó đã làm được, còn chơi ngon thì nó còn nhiều yếu tố khác, riêng em đang xài GeForceNow để chơi game trên Mac và hài lòng với nó, tháng 6$ thực sự là quá rẻ =))
@MegaCrazy GeForceNow này cần mạng ping siêu thấp không bạn?
@lucky10000 Có yêu cầu về mạng, cũng chẳng cần gì ghê gớm đâu bác, em đo thì mạng cần 4 MB/s download là ok, tính ra tầm 32Mbps mà bình thường mạng giờ toàn 100 hết rồi 😁
@vipjrm2 k phải nha, tensorflow thì dùng mlir còn pytorch thì có torch.device('hip') rồi nha, framework họ support hết rồi, cuda perform tốt hơn nên ngta chọn thôi
dlcky
TÍCH CỰC
một năm
Không có thứ đối trọng với CUDA thì tuổi so với NVIDIA, Jensen đã đánh cược tất cả vào CUDA nên mới có ngày hôm nay
Cuộc chơi trong Al chỉ còn nvidia + AMD . Intel giờ bị hất cẳng ra khỏi cuộc chơi 😆))) thậm chí mảng máy chủ intel còn không có cửa so với AMD chứ đừng nói tới mảng AI 😃)))
image.jpg
@Nguyễn Chí Danh@2 AI chạy trên GPU ngon hơn. Intel chỉ mạnh chip CPU thì sao phù hợp. T thấy Intel kiểu ngồi trên đỉnh lâu nên tự đắc, chậm chạp, không nhạy bén nữa.
@Khiemauto intel lỗ 2 tỷ Mỹ kim, chắc không ngốc đầu dậy nổi đâu, nhắc lại 2 tỷ Mỹ kim không phải 2 tỷ vnd
Về AI thì Nvidia là trùm rồi
Cứ tưởng AMD cũng làm con chíp bao gồm Ram như chíp M của Apple. 😃
@SoGetSu không nâng cấp được dễ bị chê lắm. Mảng 2 thằng nó đang làm ăn khác nhau mà
@VănThanh373 Uh, sau này chắc cũng sẽ có con chíp bao gồm Ram bên cạnh chíp hỗ trợ mấy thanh Ram.
@SoGetSu Làm thì cũng được thôi, nhưng giờ mảng GPU chuyên dụng cho AI là mảng ăn tiền nhiều nhất nên đổ tiền vào đây là hợp lý hơn. Mảng máy tính cá nhân thị trường đang giảm nên AMD cũng không mặn mà cải tiến vội.
@SoGetSu Bán đồ cho doanh nghiệp mà hàn chết mọi linh kiện trong sản phẩm, không thể linh hoạt nâng cấp thì còn lâu họ mới chịu chi tiền. Đó là lý do mà Apple chỉ rất mạnh ở thị trường sản phẩm dành cho cá nhân và doanh nghiệp vừa và nhỏ. Chứ các doanh nghiệp lớn họ ít khi sử dụng giải pháp của Apple.
@quangtaiqn Mình nghĩ là các phần mềm bên Mac chưa hỗ trợ đầy đủ cho các doanh nghiệp thôi!
vài năm nữa nhìn lại 192GB VRAM này khá là nhỏ, nhỏ đến hài hước.
@congthanhgiong Nhứng nếu sử dụng theo nguyên bộ cả CPU và GPU này của AMD thì nó có thể sử dụng tới 1,5TB RAM HBM3 lận nên không lo bộ nhớ nhỏ bạn nhé ! Họ tính hết rồi.
@quangtaiqn tui nói là sau này dòm lại mà, giờ nhìn ở thời đại này thì to. 10 năm nữa phải cỡ trên 10TB trở lên, ko ai xài đơn vị GB nữa
lên thêm mấy mẫu chip cho edge compute cạnh tranh tụi jetson nữa là ok.
Nhưng CUDA vẫn là thứ gì đó xịn quá, vì nó dc support nhiều còn ROCm thì chính chủ cũng không support nhiều mẫu card nên e là sẽ phát triển chậm
Ngon
evn203
ĐẠI BÀNG
một năm
Giờ Apple mà đánh luôn mảng chíp bán cho các hãng khác nữa thì sao nhỉ? Nhưng chắc không có chuyện đó xẩy ra!
Khủng khiếp thật. Chúng ta đang ở đâu trên bản đồ KHCN thế giới này?
@cuongcuTKH Dưới đáy của TG 😁
@cuongcuTKH Mới lắp ráp đồ công nghệ. Chưa sản xuất còn chửi lên chửi xuống. =)) sao phát triển nổi.
@hoangheo121014 Thay vì ông đổ lỗi cho dân tình chửi lên xuống thì ông lo làm tốt phần của ông đi thì không bị chửi, kinh tế thị trường mà như này thì hỏng =))
cuộc đua gay cấn quá... thị trường game thì đội xanh đã chiếm thị phần, giờ đến thị trường AI
Khoảng cách còn xa. Nên nhớ là Nvidia hiện có nhiều kỹ sư phần mềm hơn kỹ sư phần cứng và cũng thuộc top công ty trả lương cao cho các kỹ sư phần mềm.
amd mâm nào củng chơi mỗi tội ko cái gì nổi trội
Hóng choảng nhau để người dùng được lợi, giá giờ đắt quá
Cái hay của AMD là stack CPU với GPU chung thêm cái HBM nữa. Sau này sẽ có nhiều ứng dụng hay, đợi các nhà nghiên cứu thui. LLM đa số cần bandwidth lớn. Để CPU GPU Memory "chung" đang là trend, không phải tự nhiên Apple nó làm vậy đâu ^^.
khá gấu đấy AMD, nhưng mà khi nào bán 😁

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019