Chat with RTX ra mắt: Chatbot AI vận hành bằng card đồ họa Nvidia

P.W
14/2/2024 8:44Phản hồi: 19
Chat with RTX ra mắt: Chatbot AI vận hành bằng card đồ họa Nvidia
Nvidia vừa mới công bố demo của ứng dụng chatbot vận hành dựa trên mô hình ngôn ngữ AInhân tensor trên những mẫu card đồ họa tiêu dùng của hãng, Hiện giờ Chat with RTX chỉ vận hành được trên hai thế hệ GPU Ampere và Ada, tức là RTX 30 và 40 series.



Chat with RTX ứng dụng cùng lúc ba giải pháp. Thứ nhất là giải pháp tạo nội dung retrieval-augmented generation, thứ hai là thư viện mã nguồn mở tăng tốc nội suy nội dung của Nvidia mang tên TensorRT-LLM, và thứ ba là khả năng tăng tốc xử lý thuật toán deep learning dựa vào nhân tensor trên những GPU chơi game mà Nvidia tạo ra.

Bên cạnh việc vận hành như ChatGPT, nhưng không phải đợi máy chủ đám mây phản hồi, chỉ cần đợi nhân tensor của GPU trong máy tính của anh em làm việc, thì Chat with RTX còn có thể làm vài việc khác khá hữu ích, chẳng hạn như nhận một đường link video trên YouTube, rồi mô hình ngôn ngữ sẽ theo dõi nội dung clip và trả lời những câu hỏi có liên quan tới video ấy, hoặc tóm tắt nội dung nếu nó quá dài, không thể theo dõi hết.

Về mặt công năng, RAG, retrieval-augmented generation là một kỹ thuật cải thiện mức độ chính xác và mức độ tin cậy của những mô hình AI tạo nội dung, dựa vào thông tin từ những nguồn bên ngoài, chẳng hạn như kết quả tìm kiếm trực tuyến chẳng hạn.


Và nhờ vào việc vận hành local trên cấu hình PC của anh em, giống hệt như những giải pháp tạo hình dựa trên model cảu Stable Diffusion, và được huấn luyện dựa trên dữ liệu của chính anh em, Chat with RTX có thể vừa nhanh vừa có những câu trả lời thực sự liên quan tới nhu cầu tìm kiếm thông tin. Cùng lúc, theo Nvidia, kết quả văn bản mà Chat with RTX tạo ra cũng sẽ bảo mật, vì chạy trên thiết bị đầu cuối, không gửi dữ liệu của anh em về máy chủ ở bất kỳ đâu.

Theo Tom Warren của The Verge, người đã được trải nghiệm phiên bản beta của Chat with RTX, mặc dù vận hành còn chưa ưng ý, nhưng đây có thể là một công cụ đầy hữu ích để hỗ trợ các nhà báo và phóng viên theo dõi và phân tích một lượng lớn tài liệu giàu thông tin.

Lấy ví dụ, với chatbot vận hành local của Nvidia, Warren đã có thể tóm tắt toàn bộ chiến lược của Microsoft đối với dịch vụ cho thuê game Xbox Game Pass, dựa vào những tài liệu pháp lý được công khai trong vụ kiện giữa Microsoft và FTC hồi năm ngoái, trước khi thương vụ mua lại Activision Blizzard được hoàn tất.

Nhưng trong khi đó, phân tích nội dung video clip thì vẫn chưa vận hành như ý muốn vì chatbot tải nhầm transcript phụ đề của một đoạn video hoàn toàn khác chứ không phải video muốn thử nghiệm.

Những anh em đang sở hữu card đồ họa RTX thế hệ 30 hay 40 series muốn dùng thử Chat with RTX có thể lên trang chủ của Nvidia để tải file cài đặt và dùng thử tại đây. Anh em sẽ còn cần phải cài thêm Python, và bản thân ứng dụng Chat with RTX sẽ có dung lượng chừng 40GB.

Theo Techspot
19 bình luận
Chia sẻ

Xu hướng

có khi nào card hãng này lớn mạnh phát triển thành 1 PC độc lập không nhỉ
dlcky
TÍCH CỰC
4 tháng
@trandaubac Giải pháp cho doanh nghiệp đã có cpu arm do nvidia tự phát triển, pc mà họ tham gia vào nữa thì sẽ ảnh hưởng đến quan hệ đối tác với các oem
@trandaubac không khả thi, vì Windows và các phần mềm vẫn phát triển trên tập lệnh x86 của cpu.
@trandaubac ủa nó có mấy hệ thống cpu gpu ram này nk5 hoàn chỉnh mà?
@trandaubac dư sức nhưng không làm bác ạ, nếu làm thì biến đối tác thành đối thủ, vừa tiêu phí nguồn lực bản thân vừa tự ném mình ra khỏi sân chơi kiếm tiền đang vận hành ổn định
Riết rồi cái gì card RTX cũng làm được =)) . 10 năm nữa mỗi cái card rtx là 1 cái PC độc lập luôn , sẽ như cái concept của razer vậy có cái module ở giữa , gắn càng nhiều " thẻ rtx " thì máy càng mạnh =))
IMG-0782.png
@Hồ Đăng Khoa khả thi nhưng các hãng sẽ ko làm bác ạ
nó muốn người dùng mua mới thay vì nâng cấp
Hổ mọc thêm cánh
Nhà nghèo xài AMD nó rầu ghê
ThànhYx
ĐẠI BÀNG
4 tháng
Ngon, sau ra rtx5000, 6000 kẹp win 12 này chắc dùng thích lắm đây. Pc AI siêu thông minh, chỉ cần bật máy là nó biết mình làm cái gì, mở app nào, tán chuyện mỗi khi thấy chủ buồn, gợi ý phim hành động japan khi lâu rồi chưa thấy ông chủ cho chym hot 🤣
lazy0338
ĐẠI BÀNG
4 tháng
Kinh vãi
hỏi ngu là chạy model này bằng 3050 8Gb với 4090 ngoài khác nhau về thời gian render còn khác nhau độ thông minh kết quả hay không
Ai giờ tương tác với chính HĐH vẫn chưa ngon lắm; bảo tìm lỗi mà nó chưa tự tìm được 😂
khoaslim
TÍCH CỰC
4 tháng
Phát triển tính năng thêm sub, thêm thuyết minh vào video online/offline nữa đi.

Xu hướng

Bài mới









  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2024 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02822460095
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019