Build cấu hình Deep Learning như thế nào?

Trí thông minh nhân tạo hay Deep Learning là một mảng công nghệ rất mới cũng như rất hot hiện nay. Nó thu hút một lượng lớn Coder hay những nhà đầu tư tập trung vào. Nhưng đã bao giờ các bạn nghỉ làm sao để có thể Build được một bộ PC để phục vụ cho nhu cầu về Deep Learning hay không.

Trong một bộ PC sẽ có 8 thành phần: GPU, CPU, RAM, Ổ cứng, Tản nhiệt, Bo mạch chủ, Nguồn, Case. Và 4 đầu tiên mà Nguyễn Công PC vừa nhắc tới là quan trọng nhất. Khi đào tạo, dữ liệu chảy từ Ổ cứng sang RAM đến GPU, trong khi CPU sẽ là cầu nối cho các dòng chảy dữ liệu đấy. Vì vậy, các bạn phải chắc chắn:

CPU của bạn đủ mạnh và đủ Lanes PCIe để cũng cấp cho GPU
GPU của bạn đủ mạnh và có vRAM đủ lớn
Bộ nhớ RAM là DDR4 và đủ lớn để chứa các dữ liệu không bị nén
Ổ cứng là M.2 PCIe và dung lượng đủ lớn

Làm sao để bộ PC của bạn có thể gắn 4 GPU với một CPU phù hợp?

Rất khó để biết bạn sẽ cần bao nhiêu GPU vì một số Project sẽ mất đến 10 giờ để đào tạo (Vision CNNs, Natural Language Processing LSTMs,… ). Vì vậy, một trong những ý tưởng tốt nhất là bạn hãy bắt đầu với 1 hoặc 2 GPU và thêm nhiều GPU hơn khi nhu cầu của bạn tăng lên.

Mỗi GPU sẽ cần ít nhất 8x lanes PCIe (chính thức là 16x, nhưng có dữ liệu trong đó 8x là đủ tốt nếu bạn không chạy thử nghiệm cross-GPU). Tuy nhiên các bạn cũng sẽ cần các lanes PCIe 4x cho SSD M.2 (nhanh hơn 5 lần so với SATA3) và các lanes PCIe 4x khác cho cổng lan Gigabit ethernet. Tổng cộng nó sẽ hết hoảng 40 lanes PCIe nên các bạn chọn CPU phải hổ trợ đủ hoặc nhiều hơn (Ví dụ: Intel Core i9 9900K chỉ có 16 lanes PCIe nhưng Intel Core i9 9900X lại có tới 44 lanes PCIe).

Các bạn cũng sẽ cần CPU có hơn 8 nhân/16 luồng và hơn 40 làn PCIe vì điều này cho phép chạy 4 thử nghiệm trên mỗi GPU (16 thử nghiệm nếu bạn có 4 GPU). Thông thường, các đối tượng sẽ chiếm ít nhất vài gigabyte bộ nhớ GPU, vì vậy, hiếm khi bạn có thể chạy hơn 4 thử nghiệm trên mỗi GPU.

CPU AMD cho hiệu năng trên giá thành tốt hơn Intel

Kể từ tháng 4 năm 2019 vừa rồi, AMD đã cho chúng ta thấy là AMD sẽ cung cấp hiệu năng cao hơn với ít tiền hơn so với Intel. AMD 1920X với 12 Nhân/ 24 Luồng/ 60 lanes PCIe lnhưng chỉ có giá khoảng 10 triệu đồng, trong khi Intel Core i9 7900X của Intel với 10 Nhân/ 20 Luồng/ 44 lanes PCIe llại có mức giá lên đến hơn 20 triệu. Tuy trong một số tác vụ CPU Intel có thể tốt hơn CPU AMD nhưng trong Deep Learning thì ngược lại.

GPU của bạn cần có đủ vRAM và đủ mạnh

vRAM GPU hoạt động khác với RAM máy tính, vì vậy nếu bạn không có đủ bộ nhớ để phù hợp với đối tượng của mình, bạn sẽ không thể đào tạo (trái ngược với đào tạo chậm). Thỉnh thoảng các bạn vẫn sẽ gặp phải những đối tượng cần trên 10GB vRAM để chạy, vậy nên tốt nhất hãy chọn một GPU có nhiều vRAM hơn.

GPU của Nvidia sẽ dễ sử dụng hơn các nền tảng khác như AMD vì các bạn sẽ được hỗ trợ bởi một cộng đồng rất đông người dùng về một số phần mềm chuyên dụng (Tensorflow, PyTorch, v.v.).

Lựa chọn của bạn về cơ bản là:

Siêu cao cấp: Titan RTX (24GB vRAM / 4608 CUDA Core / 576 Tensor Core / 2.500$ )
Cao cấp: 2080 Ti (11GB vRAM / 4352 CUDA Core / 544 Tensor Core / 1300$ ), 1080 Ti (11GB vRAM / 3584 CUDA Core / 700$ ), 2080 (8GB vRAM / 2944 CUDA Core / 368 Tensor Core / 710$ )
Trung cấp: 2070 (8GB vRAM / 2304 CUDA Core / 288 Tensor Core / 510$)
Thấp cấp: 2060 (6GB vRAM / 1920 CUDA Core / 240 Tensor Core / 390$ )

Titan RTX có thể nói là một mẫu card đồ họa quái vật và nhanh hơn ~ 55% so với 1080Ti khi đào tạo 32 bit và nhanh hơn 135% ở chế độ half precision do có thêm Tensor Core và vRAM bổ sung cho phép bath size lớn hơn nhiều. 2080Ti nhanh hơn ~ 40% so với 1080Ti khi đào tạo 32 bit và nhanh hơn ~ 65% khi được sử dụng ở chế độ half precision. Từ đó, hiệu suất tốc độ là tỉ lệ thuận với số lượng nhân CUDA, do đó, 1080 Ti sẽ nhanh hơn ~ 40% so với 1080 và 1080 nhanh hơn 33% so với 1070.

Ổ cứng và RAM cần phải càng nhanh càng tốt

Bởi vì bạn sẽ chuyển nhiều dữ liệu từ ổ cứng sang RAM rồi đến GPU, bạn sẽ muốn con đường đó càng nhanh càng tốt. Vậy nên việc sử dụng M.2 SSD NVMe và bộ nhớ RAM DDR4 là không thể nào chính xác hơn được nữa.