Đó là những diễn biến mới trên thị trường tự do. Khi những GPU dành riêng cho nhu cầu nghiên cứu mô hình hay vận hành AI đang khan hiếm, thì nhiều bên đã bắt đầu tìm tới nguồn GPU tiêu dùng. Một vấn đề của GPU chơi game khi đem qua dùng vận hành AI, là card AMD thì không thiếu VRAM, nhưng thuật toán được viết để tận dụng tối ưu API CUDA của card Nvidia chứ không phải ROCm. Còn card đồ họa gaming Nvidia thì luôn gặp vấn đề với việc thiếu hụt VRAM, chỉ lên tới những giải pháp trang bị 16 hay 24GB như RTX 4080 và 4090 thì mới tạm đủ.
Vậy là thị trường GPU đã qua sử dụng bắt đầu có những bên độ chế lại những card đồ họa thế hệ cũ, hàn thêm hoặc đổi hẳn chip VRAM để đủ bộ nhớ vận hành những mô hình ngôn ngữ hay thuật toán deep learning. Chẳng hạn như trên eBay, vừa có người phát hiện ra những cửa hàng bán RTX 2080 Ti với giá lên tới 499 USD, nhưng đi kèm với đó là 22GB VRAM. Bộ nhớ dung lượng lớn này được dùng làm bộ nhớ đệm cho những gói dữ liệu khổng lồ, những mô hình phức tạp, hay những phép tính số thực dấu phẩy động cần thiết để những thuật toán AI vận hành.
Đấy cũng chính là lý do nếu làm hình bằng những model dựa trên Stable Diffusion, anh em sẽ thấy những mẫu card đồ họa với 16GB VRAM trở lên luôn chạy ở tốc độ ưng ý, chứ không chỉ liên quan tới sức mạnh tính toán của con chip GPU.
Lấy một ví dụ, RTX 2080 Ti 22GB VRAM chỉ mất có 5.4 giây để tạo ra một bức hình độ phân giải 512x768 pixel với Stable Diffusion, mô tả lợi thế của bộ nhớ dung lượng lớn.
Thiết kế cũng ứng dụng tản nhiệt dạng lồng sóc, độ dày chỉ 2 slot PCIe nên mẫu card này rất phù hợp trang bị cho những server blade vận hành nghiên cứu huấn luyện mô hình hay vận hành mô hình ngôn ngữ hay những thuật toán AI.
Theo quảng cáo của cửa hàng trên eBay, RTX 2080 Ti 22GB VRAM đã được thử nghiệm với Stable Diffusion, với mô hình ngôn ngữ LLaMa 2 của Meta, và vận hành ngay lập tức không cần chỉnh BIOS, hỗ trợ hoàn hảo driver chính thức của Nvidia, nhưng với giá rẻ hơn gấp rưỡi so với RTX 3090 với dung lượng bộ nhớ tương đương. Và vì là một card đồ họa chơi game, nên không có những rắc rối liên quan tới những sản phẩm như RTX A5000, được tạo ra phục vụ nhu cầu vận hành workstation và nghiên cứu AI, không thể chơi điện tử.
Tính ra thì ở thời điểm một chiếc RTX 2080 Ti cũ có giá từ 300 đến 400 USD trên eBay, thì mức giá 500 USD cho dung lượng VRAM cao gấp đôi cũng không quá đắt so với nhu cầu xử lý AI của cá nhân và vài doanh nghiệp vừa và nhỏ. Và nếu như anh em thấy 22GB là nhiều, thì hồi tháng 6 năm ngoái, đã có người chế được ra cả RTX 2080 Ti với 44GB VRAM.
Theo WCCFTech
Vậy là thị trường GPU đã qua sử dụng bắt đầu có những bên độ chế lại những card đồ họa thế hệ cũ, hàn thêm hoặc đổi hẳn chip VRAM để đủ bộ nhớ vận hành những mô hình ngôn ngữ hay thuật toán deep learning. Chẳng hạn như trên eBay, vừa có người phát hiện ra những cửa hàng bán RTX 2080 Ti với giá lên tới 499 USD, nhưng đi kèm với đó là 22GB VRAM. Bộ nhớ dung lượng lớn này được dùng làm bộ nhớ đệm cho những gói dữ liệu khổng lồ, những mô hình phức tạp, hay những phép tính số thực dấu phẩy động cần thiết để những thuật toán AI vận hành.
Đấy cũng chính là lý do nếu làm hình bằng những model dựa trên Stable Diffusion, anh em sẽ thấy những mẫu card đồ họa với 16GB VRAM trở lên luôn chạy ở tốc độ ưng ý, chứ không chỉ liên quan tới sức mạnh tính toán của con chip GPU.
Lấy một ví dụ, RTX 2080 Ti 22GB VRAM chỉ mất có 5.4 giây để tạo ra một bức hình độ phân giải 512x768 pixel với Stable Diffusion, mô tả lợi thế của bộ nhớ dung lượng lớn.
Thiết kế cũng ứng dụng tản nhiệt dạng lồng sóc, độ dày chỉ 2 slot PCIe nên mẫu card này rất phù hợp trang bị cho những server blade vận hành nghiên cứu huấn luyện mô hình hay vận hành mô hình ngôn ngữ hay những thuật toán AI.
Theo quảng cáo của cửa hàng trên eBay, RTX 2080 Ti 22GB VRAM đã được thử nghiệm với Stable Diffusion, với mô hình ngôn ngữ LLaMa 2 của Meta, và vận hành ngay lập tức không cần chỉnh BIOS, hỗ trợ hoàn hảo driver chính thức của Nvidia, nhưng với giá rẻ hơn gấp rưỡi so với RTX 3090 với dung lượng bộ nhớ tương đương. Và vì là một card đồ họa chơi game, nên không có những rắc rối liên quan tới những sản phẩm như RTX A5000, được tạo ra phục vụ nhu cầu vận hành workstation và nghiên cứu AI, không thể chơi điện tử.
Tính ra thì ở thời điểm một chiếc RTX 2080 Ti cũ có giá từ 300 đến 400 USD trên eBay, thì mức giá 500 USD cho dung lượng VRAM cao gấp đôi cũng không quá đắt so với nhu cầu xử lý AI của cá nhân và vài doanh nghiệp vừa và nhỏ. Và nếu như anh em thấy 22GB là nhiều, thì hồi tháng 6 năm ngoái, đã có người chế được ra cả RTX 2080 Ti với 44GB VRAM.
Theo WCCFTech
![back-full[1].jpg](https://imgproxy7.tinhte.vn/pZ_oS28h4KF0cFsBRf3YvIepMlEN6qLMw67LWp2cmBY/w:400/plain/https://photo2.tinhte.vn/data/attachment-files/2024/02/8264544_back-full1.jpg)