Nvidia ra mắt Tesla T4 cho nền tảng máy chủ trí tuệ nhân tạo
QuanNDD
3 nămBình luận: 25
Nvidia ra mắt Tesla T4 cho nền tảng máy chủ trí tuệ nhân tạo
GPU Tesla T4 được Nvidia giới thiệu tại hội nghị công nghệ GPU gần đây và sản phẩm sử dụng trong nền tảng TensorRT Hyperscale Inference. Đây cũng một trong số ít nền tảng tốt nhất hiện nay có khả năng khai thác hiệu quả sức mạnh của học máy (machine learning) và trí tuệ nhân tạo (AI).

Đại diện Nvidia cho biết việc ra mắt GPU Tesla T4 nhằm thúc đẩy sự phát triển các dịch vụ trí tuệ nhân tạo (AI) trên toàn thế giới. Theo ước tính, ngành công nghiệp mới mẻ này sẽ thúc đẩy tích cực lĩnh vực thương mại, tiêu dùng và thậm chí phát triển thành một thị trường có giá trị tối thiểu 20 tỷ USD trong 5 năm tới.

Nvidia Tesla T4_3.jpg

Chúng tôi đang hướng đến một tương lai mà ở nơi đó, tất cả sản phẩm, dịch vụ của khách hàng đều được AI tác động và cải tiến để ngày càng tốt hơn. Và nền tảng TensorRT Hyperscale Inference được thiết kế cho điều này. Ông Ian Buck, Phó chủ tịch kiêm Tổng giám đốc mảng Accelerated Business của Nvidia chia sẻ.

Nhờ khả năng cung cấp hiệu suất cao với độ trễ thấp cho các ứng dụng, TensorRT Hyperscale Inference platform giúp các trung tâm dữ liệu mở rộng thêm nhiều dịch vụ mới, chẳng hạn như nâng cao khả năng tương tác của ngôn ngữ tự nhiên, xử lý trực tiếp các truy vấn tìm kiếm của người dùng thay vì dựa trên danh sách kết quả có sẵn.

Nvidia-Tesla-T4.jpg
Thông thường, một trung tâm dữ liệu cỡ lớn phải xử lý hàng tỷ truy vấn mỗi ngày dưới các dạng thức khác nhau, từ giọng nói, bản dịch, hình ảnh, video, đề xuất và tương tác trên mạng xã hội. Mỗi ứng dụng nhỏ trong số đó sẽ cần một loại neural network (mạng nơron thần kinh) khác nhau nằm trên máy chủ để xử lý.

Để tối ưu lượng dữ liệu truy xuất và khai thác tối đa sức mạnh của máy chủ, TensorRT Hyperscale Inference Platform sử dụng giải pháp kết hợp cả phần mềm suy luận thời gian thực (real-time inference) lẫn phần cứng với các GPU Tesla T4 nhằm tăng tốc xử lý truy vấn. Vì vậy tốc độ đạt được có thể nhanh hơn 40 lần so với CPU thế hệ tương đương, ông Ian Buck cho biết.

Nvidia-Tesla-T4_2.jpg

Trở lại với Tesla T4 thì đây là mẫu GPU được Nvidia phát triển dựa trên kiến trúc Turing, tương tự RTX 20 series mà hãng giới thiệu đến người dùng cách đây không lâu. Cụ thể Tesla T4 có tổng cộng 2.560 nhân CUDA, đặc biệt là 320 nhân Tensor mang lại sự đột phá về năng lực xử tính toán dấu chấm động có độ chính xác đơn (FP32), dấu chấm động bán chính xác (FP16), số nguyên 8 bit (INT8) cũng như 4 bit (INT4).

Về kích cỡ, Tesla T4 đóng gói theo dạng card PCI Express với năng lượng tiêu thụ chỉ 75W. Theo thiết kế, mẫu GPU mới của Nvidia chạy cùng TensorRT 5, một engine được tối ưu nhằm hỗ trợ các nhân Tensor, mở rộng thiết lập mạng nơron để đáp ứng những yêu cầu cần độ chính xác bội (multi-precision) của ứng dụng máy học và AI. Bên cạnh đó, TensorRT còn hỗ trợ kiến trúc hướng dịch vụ theo mô hình microservice, đơn giản hóa mọi sự phức tạp để các dịch vụ có thể khai thác AI hiệu quả.
Cover_Nvidia Tesla T4.jpg
25 bình luận
Giá chắc không dưới 1500$
dhphucs
TÍCH CỰC
3 năm
@@nh Phú Tesla P4 ra 2 năm rồi giờ giá vẫn trên 2k, còn này mạnh gấp mấy lần P4 giá ko dưới 3k $
@@nh Phú Giá mấy card này chát lắm bạn, thôi thì mua GTX 1080ti, Titan làm AI được rồi do ko cần lắm tới tận FP16 đâu trừ khi bạn là chuyên gia cần con số siêu chính xác😁
viettan28
TÍCH CỰC
3 năm
@max-20091 FP16 độ chính xác thấp hơn FP32 đang được sử dụng mặc định ở trong các loại card GTX bạn nhé.
😁 Chỉ quan tâm sao giá nó rẻ tí chứ gamer nhìn RTX mà buồn
@narutoxboy Giá sản xuất chip càng rẻ thì bọn Nvidia với Intel đội giá ngày càng cao:D
Hfydtchv
ĐẠI BÀNG
3 năm
Trong cuộc đua phần cứng AI hiện nay có 3 thế lực chính: Xilinx, (Intel + Altera) và nVidia.
Phần lép vế thuộc về nVidia do tính linh hoạt không thể bằng FPGA của 2 ông kia.
Hiện nay Amazon EC2-F1 đã tích hợp Xilinx Virtex Ultra Scale+ còn Microsoft thì chọn Intel.
Google chọn giải pháp tự làm chip riêng TPU.
nVidia chỉ còn cửa cho dân bán chuyên tập nghiên cứu AI do tính phổ thông của nó.
CEO của nVidia nói rằng lựa chọn FPGA là một sai lầm nhưng sự thật ngược lại vì chỉ một bước nữa là cứng hóa thành ASIC và GPU sẽ hít khói về hiệu suất.
@Hfydtchv không biết đúng hay sai nhưng mình đọc thấy hữu ích, thks, chứ tinhte dạo này toàn mấy fan cãi nhau chứ ít thấy cmt trau dồi kiến thức như vầy 😃
Hfydtchv
ĐẠI BÀNG
3 năm
@zozolozozove Tranh luận về một chủ đề nào đó thì chỉ nên tập trung vào yếu tố chuyên môn thay cho công kích cá nhân, điều mà người VN nói chung rất yếu, chỉ mấy câu là quay ra chửi nhau mà bỏ qua chủ đề chính, vừa mất bạn vừa bực mình.

Trở lại chủ đề chính thì giải pháp GPU trong AI sẽ không chết, chắc chắn là vậy vì tính phổ biến của nó, mua đâu cũng được trong khi FPGA chỉ dành cho dân chuyên vì còn phải có kiến thức thiết kế vi mạch VHDL/Verilog...

Tuy nhiên khi đưa giải pháp ra thị trường thì rất khó cho một datacenter toàn GPU nóng phừng phừng. Đó là lý do mà Amazon, Microsoft đã chọn FPGA khi tích hợp vào Server.

***************************************************************************************

AWS sử dụng FPGA trong các máy chủ EC2 cho các tác vụ ML
https://aws.amazon.com/ec2/instance-types/f1/

Mã nguồn HDK trên Github
https://github.com/aws/aws-fpga

Xilinx khoe họ được Amazon sử dụng trong AWS
https://www.xilinx.com/video/events/fpgas-on-the-aws-cloud.html

Microsoft dùng chip Intel+Altera (trong bày này cũng đánh giá hiệu năng luôn)
https://docs.microsoft.com/en-us/azure/machine-learning/service/concept-accelerate-with-fpgas

Google dùng TPU ASIC thiết kế từ FPGA
https://cloud.google.com/tpu/

Và Google cũng dùng GPU cho khách thuê
https://cloud.google.com/ml-engine/docs/tensorflow/using-gpus
nforce
TÍCH CỰC
3 năm
@Hfydtchv Nó phù hợp cho nhu cầu phổ thông nữa bạn, ở VN các cty bắt đầu vẫn phải dùng P4, thậm chí mình có 1 farm chạy P4 để inference video. Đơn giản là vì code dùng Tensor sizing bằng GPU vẫn đễ. Chi phí đầu tư thực sự cũng ko phải là cao. Còn muốn tối ưu thì phải tính tới FPGA là chắc rồi.
@Hfydtchv Xin hỏi, mình muốn xây một bộ FPGA ít nhất có thể đáp ứng nhu cầu cá nhân (training model DL-ML) thì phải bắt đầu từ đâu. Làm thế nào sử dụng được FPGA mà hiệu suất tương tương 1 con testla v100 ? mua của hãng nào ?
Nghe khá thú vị :eek:
Kid_Alone
TÍCH CỰC
3 năm
Thấy chứ tesla tưởng card này làm ra bán cho xe điện của musk chứ ^^
hóng amd ra con tương tự nhưng giá chỉ bằng 1 nửa😁
Cảm ơn anh. Thông tin rất hữu ích :v
Mình chỉ làm ai tầm nhỏ bé nên không dám phán gì. Nhưng hôm tìm mua vga xử lý đều thấy các thành viên chuyên về AI trên trang công nghệ nước ngoài đều recommend 1080ti hơn so với đám tesla này.
vangapao
ĐẠI BÀNG
3 năm
Hơi ngạc nhiên về thông tin của bạn này vì tôi cũng làm R&D về AI, và đang dùng EC2 của Amazon, GPU họ dùng của NVDIA.

https://docs.aws.amazon.com/dlami/latest/devguide/gpu.html


Theo báo cáo này (năm 2017), NVDIA vẫn chiếm 80%.

https://www.google.com.vn/amp/s/www.nextplatform.com/2018/05/08/ai-frameworks-and-hardware-who-is-using-what/amp/
A1F882C2-AC54-4C38-8F35-D1C7B319D874.png
0EA951C5-5BEC-406D-B128-A12B3E8816AB.png
Hfydtchv
ĐẠI BÀNG
3 năm
@vangapao Không có gì ngạc nhiên, mình nói Amazon dùng FPGA chứ không nói họ chưa từng dùng GPU.
Thực tế GPU trong AWS là giải pháp truyền thống, các model V100-K80-M60 đã khá cũ.
Hiện nay họ đã tích hợp FPGA trong EC2-F1.

nVidia chiếm 80% là chuyện đương nhiên, vì nó là card đồ họa, nó còn làm nhiều việc khác. Người sử dụng nó đa phần là dân IT, mua về dùng ngay, không phải ai cũng biết thiết kế chip dùng VHDL/Verilog.

Chủ đề chính cần trao đổi là: "Hiệu năng của FPGA và GPU trong AI/ML" như thế nào?
Quan điểm của mình là hiệu năng FPGA hơn GPU, hơn cả về độ linh hoạt khi làm chuyên sâu.

FPGA nó giỏi nhất là tính toán song song và cộng trong mạng nơ ron nhân tạo.

Ví dụ khi mình cần thiết kế một mạng ANN có 120 đầu vào, 32 lớp ẩn thì FPGA cho phép tạo phần cứng đúng nghĩa, ma trận trọng số lưu tại Cached-DDRAM4 và hiệu năng rất cao, trong khi GPU vẫn ảo hóa bằng phần mềm.

Nó khác nhau như bạn chạy máy ảo VM so với cài hệ điều hành trực tiếp vậy.

Nói một cách khách quan thì trong tương lai cả GPU và FPGA sẽ cùng tồn tại, mình là người dùng cũng không muốn chỉ có một giải pháp duy nhất.
giờ cứ nghe cái gì là AI lại hơi hãi







  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2021 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: 209 Đường Nam Kỳ Khởi Nghĩa, Phường 7, Quận 3, TP.HCM
  • Số điện thoại: 02862713156
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019