Vì sao YouTube phải tự sản xuất chip, chỉ dùng để nén video cho mọi thiết bị xem đều mượt?
P.W
5 thángBình luận: 92
Vì sao YouTube phải tự sản xuất chip, chỉ dùng để nén video cho mọi thiết bị xem đều mượt?
Khoảng 5 năm trước, phó chủ tịch phụ trách công nghệ của Google, Partha Ranganathan đã nhận ra rằng, định luật Moore không còn đúng, kể cả về mật độ transistor lẫn tác dụng của những con chip CPU đa dụng đối với từng nhu cầu cụ thể nữa. Giờ không thể kỳ vọng cứ 1 năm rưỡi, hiệu năng chip xử lý lại tăng gấp đôi, nhưng chi phí không tăng quá cao nữa. Là người đảm trách công việc quản lý kinh phí để nâng cấp toàn bộ cơ sở hạ tầng của Google, cứ 4 năm nâng cấp một thế hệ chip mạnh gấp đôi trở thành một vấn đề đau đầu với ông Ranganathan. Khi ấy, ông biết Google cũng như YouTube phải làm điều gì đó mới mẻ.

Theo dõi kỹ quá trình vận hành, ông Ranganathan cùng các cộng sự phát hiện ra, đối với dịch vụ YouTube, đòi hỏi sức mạnh xử lý lớn nhất trong toàn bộ quy trình là giai đoạn transcode video. Quy trình này cho phép nén những video clip từ 360p đến 8K mọi người đăng tải lên YouTube, để mọi thiết bị xem đều có chất lượng đẹp nhưng dung lượng băng thông tải về là nhẹ nhất, cho dù đó là máy tính, laptop, điện thoại hay TV.

Để tiện so sánh, con số ước tính là cứ mỗi phút lại có 500 giờ video được tải lên YouTube. Đôi khi có những clip phức tạp đến mức, có một clip đơn lẻ phải xử lý để tạo ra từ 10 đến 15 phiên bản khác nhau, từ độ phân giải khác nhau, clip có HDR tone mapping hay không, và clip có phải định dạng quay 360 độ hay không…

[​IMG]

Những con chip CPU đa dụng mà Google mua của Intel hay AMD không phục vụ được đúng nhu cầu đó theo cách kinh tế nhất mà họ mong muốn. Thứ họ cần là một chip ASIC (application-specific intergrated circuit) phục vụ chuyên biệt một tác vụ, hệt như cụm chip Neural Engine hoặc Media Engine trong Apple Silicon ấy. Tương tự, cũng là ASIC nhưng khi được tinh chỉnh để xử lý giải mã blockchain, chúng ta có những hệ thống đào Bitcoin hoặc tiền số với sức mạnh lớn hơn GPU đa dụng nhiều.

Quảng cáo



Đọc thêm: https://tinhte.vn/thread/apple-m1-hay-quen-cpu-da-dung-di-gio-la-thoi-cua-chip-xu-ly-dac-dung-chi-lam-1-nhiem-vu.3234767/

Apple M1: Hãy quên CPU đa dụng đi, giờ là thời của chip xử lý đặc dụng chỉ làm 1 nhiệm vụ

Trên YouTube, tôi thấy có một anh bạn dùng Mac, mới mua một chiếc iMac vào năm ngoái, trang bị max 40GB RAM, giá khoảng 4.000 USD. Anh này sau đó phải há hốc mồm kinh ngạc vì không thể tin nổi lý do vì sao chiếc máy iMac cực đắt của mình lại…
tinhte.vn


Scott Silver, phó chủ tịch phụ trách kỹ thuật ở YouTube nói: “Điều chúng tôi thực sự muốn là lấy tất cả những video được người dùng tải lên YouTube, rồi transcode chúng sang mọi định dạng có thể, tạo ra trải nghiệm tốt nhất có thể.” Nhu cầu và áp lực xử lý của data center YouTube nặng đến mức, chỉ cần 10 phút họp với CEO Susan Wojcicki, dự án tự phát triển chip ASIC dùng transcode video YouTube đã được phê duyệt.

Năm 2018, YouTube bắt đầu triển khai sử dụng chip Argos, một dạng Video Coding Unit (VCU) họ tự phát triển, nhưng mãi đến năm 2021 mới công khai về sản phẩm này. Tên gọi con chip được lấy từ con quái vật nhiều mắt trong thần thoại Hy Lạp. Trong khoảng thời gian đó, Google nói rằng chip Argos của họ tạo ra hiệu năng mạnh gấp 20 đến 33 lần so với những phần cứng máy chủ mua bên ngoài, dù chúng đã được tinh chỉnh để transcode video nhanh nhất có thể.

Nhà phân tích thị trường chip bán dẫn Mike Feibus nói: “Với tác vụ transcoding, vốn là một quá trình rất cụ thể và đòi hỏi sức mạnh phần cứng rất lớn, con chip của Google tạo ra sẽ đem lại cho họ tỷ lệ hiệu năng rất cao nhưng chi phí lại thấp."

Tinhte_YouTube2.jpg

Hiện tại thì Google đang vận hành hàng nghìn chip Argos thế hệ 2 ở rất nhiều data center của YouTube trên toàn thế giới, và đội ngũ nghiên cứu đang phát triển ít nhất 2 mẫu chip ASIC nữa.

Thông thường, bỏ tiền tự phát triển chip xử lý đều chỉ đi kèm với một mục đích duy nhất là tiết kiệm chi phí. Nhưng đôi khi tự làm chip cũng cho phép một tập đoàn công nghệ tự chủ và có được lợi thế kỹ thuật. Vả lại hiện giờ, số lượng những hãng sản xuất được chip xử lý cho máy chủ, bán cho các đơn vị cũng chỉ đếm được trên đầu ngón tay: Nvidia, AMD, Intel. Và tất cả họ đều chỉ làm chip CPU và GPU đa dụng, không thể so sánh được với ASIC hoặc chip chuyên dụng.

Tự phát triển chip transcode không chỉ giúp YouTube xem mượt hơn, mà chính Google cũng có được lợi thế rất lớn về mặt công nghệ, chi phí vận hành cũng như chiến lược.

Quảng cáo



Tinhte_youTube3.jpg

Không chỉ có Argos, năm 2016, Google đã giới thiệu chip ASIC phục vụ xử lý AI và deep learning, mang tên Tensor Processing Unit (TPU). Hiện giờ họ đã có 4 thế hệ chip TPU, một trong số đó đang được trang bị bên trong chiếc Pixel 6 và 6 Pro, tạo ra lợi thế không nhỏ về mặt hiệu năng xử lý AI so với các đơn vị khác trên thị trường.

Theo Protocol
92 bình luận
Một ngày không biết youtube tốn bao nhiêu dung lượng lưu trữ nhỉ?
@caocaolatre199x Chắc vậy, không có lỗi chính tả, mem nc gì ngoài chửi nhau với công kích cá nhân. Dù sao sửa chính tả cũng văn minh hơn =))
@caocaolatre199x thực tế, video trùng nhau rất rất nhiều, nên sẽ không mất 83 năm để xem clip up lên trong 1 ngày.
@toilachi9 Đâu, nó cũng bthg như bao cái ổ khác, chẳng qua họ nối nhiều ổ vào nhau thôi.
@nta139 Thế thì 82 năm à bác 😁
Trùng nhau thì nó cũng vẫn lưu trữ khác nhau thôi.
Mã hóa video là 1 trong những công việc đòi hỏi sức mạnh lớn. Chi phí hiệu quả thì làm thôi
nhqdat
TÍCH CỰC
5 tháng
@BlackMan00x Khác biệt nghen bạn!
Ví dụ như dùng một số ứng dụng của Topaz, xử lý bằng GPU hay CPU cho chất lượng khác nhau (ít nhưng có khác biệt). Có lẽ khi dùng GPU thì người ta có thay đổi thuật toán chút xíu, nhưng cái này chỉ là suy đoán thôi (còn đúng hay không thì chỉ Topaz biết).
Còn nén video (ví dụ H264) bằng GPU (Intel, AMD, NVIDA) đều cho hình ảnh kém hơn x264 nén bằng CPU. Cái này là do khác thuật toán (mặc dù chung thuật toán cơ bản theo mô tả của H264).
@BlackMan00x Thực ra thì mã hóa video như avc, hevc, vv có nhiều cấp độ chất lượng nén khác nhau lắm, còn tùy thuật toán thực hiện nén, tất nhiên đều bám theo tiêu chuẩn chung. GPU phổ thông trên thị trường thì chỉ tích hợp khả năng xử lý ở mức độ đủ tốt thôi, chứ các cấp cao nhất về chất lượng thì không, cái này thì CPU mạnh dễ thực hiện hơn hoặc phần cứng cực kỳ chuyên dụng xử lý video
mushu
ĐẠI BÀNG
5 tháng
@nhqdat Đúng rồi đó. Encoder thì trước đây có mấy bài test với H.264 rồi. Intel dùng GPU và CPU gần như không khác biệt. Nvidia thì rất khó nhận ra khác biệt (thực ra có kém đi một chút thôi). Nhưng AMD có thể nhận biết rất rõ hiện tượng suy giảm chất lượng. Cái này một phần do thuật toán đã được điều chỉnh để chạy trên GPU thường có độ chính xác khi tính toán dấu phẩy động kém hơn. Topaz thì mình không rõ nhưng trước đây có bài thử thì chỉ AMD là bị giảm rõ thôi. Còn GPU của Intel, Nvidia gần như không nhận ra được. GPU có năng lực tính toán số nguyên là chính. Hiện nay thì thêm FP16 và FP32. Trừ mấy GPU chuyên dụng (Nvidia quardo) cho xử lý ảnh mới trang bị lượng lớn nhân tính toán dấu phảy động độ chính xác kép. Mà độ chính xác kép (FP64) thường GPU không nổi trội được so với CPU nhiều lắm. Muốn nhanh buộc giảm độ chính xác thì chất lượng hình ảnh sẽ giảm theo.
nhqdat
TÍCH CỰC
5 tháng
@mushu Intel Quick sync hay NVIDIA CUDA vẫn thua x264 dù cùng bitrate, ngay cả hơn bitrate vẫn có chất lượng kém hơn. Nên chỉ khi nào cần tốc độ nhanh và không quá quan tâm đến chất lượng (ví dụ chia sẻ youtube, chia sẻ video cho người dùng bình thường) thì dùng GPU cho nhanh. Chứ còn tạo file final để lưu trữ lâu dài mình đều dùng x264 để encode.
Sao ban ngày mình chỉ xem được video chất lượng 720p nếu để độ phân giải auto, mặc dù tốc độ mạng là 30mbps nhỉ? Ban đêm thì được 4k dù tốc độ mạng vẫn tương tự.
@maidng YouTube nó tự chọn phù hợp với khả năng của mạng thời điểm đó. Còn ép lên 4k thì thình thoảng giựt
@maidng AI nó biết ban đêm mới là thời điểm cần 4K để cho nét căng, cảm xúc nó dâng trào đó bạn
@maidng Chắc cũng có can thiệp đó, chính xác thì không ai nắm được đâu. Nhưng nhiều gói mạng khi nhà mạng đưa ra họ có quy định lưu lượng truy cập giờ cao điểm và thấp điểm mà.
@maidng Tốt nhất tự chỉnh đi, để auto nó load lâu lắm! Ví dụ auto 720p thì nó load trước 1 phần rất ít và chậm, chỉnh độ phân giải cao hơn bằng tay thì tốc độ load trước video sẽ tăng lên
amio1st
TÍCH CỰC
5 tháng
Đúng chip riêng biệt tác vụ cũng nhĩn hơn chip đa dụng. Có quá nhiều thuật toán cho chip đa dụng mà . you ko cần đến mức đó.
@amio1st nhĩn là gì
@amio1st giỏi thì gõ mấy từ bị cắt bớt thêm chữ vào comment xem có post được không? hay ngây thơ quá nên không biết
amio1st
TÍCH CỰC
5 tháng
@daoluong1991 Thì sa0 tui thik vậy á làm gì nhau ;)). Nói người khác nhjn lại mình đi. ko vui lòng đọc link tui đưa ko bệnh nặng lắm =)). Đây mxh chứ ko phải trường cơ quan nn. Nếu bác muốn chỉnh thì vui lòng chỉnh hêt ae trong tt này.
amio1st
TÍCH CỰC
5 tháng
@daoluong1991 Đây bác nên đi khám kẻo muộn tóm tắt chứa đọc link tui đưa.
01a.jpg
04a.jpg
02a.jpg
03a.jpg
05a.jpg
Anh google cũng đỉnh lắm
Phục vụ cả thế giới cứ mỗi phút lại có 500 giờ video đc tải lên. Thật kinh khủng
Bài này khác nào đá xoáy opple chip chỉ đc cái render
so vs Netflix thì chắc k xịn hơn, đợt có đọc thì Net nó vượt qua Youtube tốn dụng lượng nhiếu nhất chưa kể , mỗi bộ phim của Netflix nó nặng vs độ phân giải lớn hơn
Done+
ĐẠI BÀNG
5 tháng
@Nhóc Bảo Dung lượng lưu trữ của Netflix sao mà so được với Youtube bác ơi. Có lưu lượng (băng thông) thì Netflix mới hơn Youtube thôi
@Nhóc Bảo Netflix tải lên bao nhiêu tự nó biết mà, với cần phải thật đẹp để ngta trả tiền coi. Còn Youtube nó miễn phí nên đâu cần quá đẹp, vả lại tổng lượng tải lên mỗi ngày chỉ có tăng vào thời đại này.
@Nhóc Bảo netflix ít nội dung hơn và nó dc tải sẵn cho mọi máy chủ tất cả khu vực trên thế giới nên mới có thể đáp ứng stream mượt trên hàng chục tr thiết bị 1 lúc, đó là lí do bác có thể tua thoải mái dù bộ phim đang hot có thể đáp ứng 1 lúc hàng triệu người xem 1 lúc nhưng ko suy giảm chất lượng, chứ máy chủ netflix ko gánh nổi mấy tác vụ kinh dị như vậy ... ngược với youtube nếu video ít người xem hoặc người xem 1 lần quá nhiều sẽ bị nghẽn.
@Nhóc Bảo Nặng cũng chỉ 4K 60fps thôi bác. Youtube hỗ trợ 8K, 360 luôn rồi

Netflix còn đang dùng codec vp8,vp9,av1 của thằng GG nó đẻ ra mà.

Youtube mà ko load dc thì chả có video ở đâu xem nổi đâu
Cười vui vẻ
ultimate
TÍCH CỰC
5 tháng
@Nhóc Bảo so vcl ra. Netflix là do Editor encode rồi mới up lên. Còn Youtube là transcode 500h video mỗi phút do người dùng tải lên. Và tất nhiên phim up lên Netflix thì so đếu được với youtube về thời lượng up lên mỗi phút. Nó vượt qua là vì đại dịch thiên hạ rảnh háng quá nên XEM nhiều mà thôi. Phân biệt rõ ràng đi.
YouTube thì ko chê dc rồi. Nhưng dt thấy vẫn hơi chán
Bỏ tiền ra sản xuất chíp, bỏ tiền ra xây dựng nhà máy chứa hàng tỷ bộ nhớ cho mọi người dùng mượt mà, không hề thu phí, nhưng no xôi chán chè mọi người quay ra kiện thu thập thông tin người dùng.
Các cty lớn nào mạnh về dịch vụ mà ko làm chip riêng nhỉ. Fb, Microsoft, Netflix... Đều tự làm chip riêng
hiện apple đã cho dual Chip, hoặc xếp chồng lên. Nhưng theo thời gian thì ko lẻ cứ xếp chồng lên hoài như khúc gỗ. Dual chip thì lại tốn diện tích.
Tiện cho mình hỏi là Bóng bán dẫn mô tả là quy tắc đóng mở thôi, nhưng áp dụng vô chip mình ko hiểu lắm? đóng mở cái gì và khi nào đóng mở mà nó lại điều hành vận hành cho soft chạy.
@vunh94 Hiểu nôm na 1 bóng cơ bản có chân in, chân out. Chân in điện lên 5V (3.3V, 1.3V) chân out ra 0V ngược lại hoặc có loại chân in lên 5V chân out ra 5V... có loại nhiều in out. Chip, CPU thì đc cấu thành từ hàng tỉ con ghép nối với nhau, chia module.... Sâu xa thì chỉ là tín hiệu điện vậy thôi. Ngoài ra do khi chân in đc cấp tín hiệu thì cần 1 khoảng thời gian nhất định chân out mới chuyển trạng thái nên sinh ra 1 thứ gọi là xung nhịp, 1s chuyển trạng thái đc 1 tỉ lần thì là 1Ghz. Sơ sơ và nôm na vậy kỹ hơn mời bác vui lòng thi vào khoa Điện Tử Viễn Thông hay Khoa Học Máy Tính các trường đại học để biết thêm nhé
@masterit3000 qua MIT học chứ VN cũng bó tay rồi bác 😁
ngày xưa sao các nhà khoa học cao siêu như siêu nhân thật, ko biết từ đâu và từ sao hoả hay sao đó mà lại chế đồ cho ngành công nghiệp ngày nay, phải có gì đó cơ bản cái lõi mới làm đc chứ...
@vunh94 cái transistor đầu tiên nó to như cái mặt của bác vậy đó
@member Genshin Impact Vấn đề là từ đâu cốt lõi để chế đc cái to ấy. Nguồn gốc... Định luật, giờ thì google vật liệu có hết thì mình ko nói, nhưng hồi ấy lõi đâu để làm
@vunh94 Tham khảo thử nha bạn
Nhớ đừng tua
https://youtube.com/playlist?list=PLnRl-W3gZI79kfp8E7lcDkImtMHA6FIfr
Ở Việt Nam tao đang giao cho Vịt tẹo làm chíp kìa.🤣
tetekh
TÍCH CỰC
5 tháng
@NhatLinhit88 Vịt làm bằng mắt. Vịt định mua và nhờ tàu hỗ trợ. Tàu thì làm chip nhiều nhất TG nhưng chỉ làm chip thấp cấp, chip cao cấp thì bọn giẫy chết nó ko cho. Vịt mơ mình thành trùm chip như ĐL bởi cách nay 30 năm, ĐL cũng cùi bắp. Nhưng...
westwest
ĐẠI BÀNG
5 tháng
@tetekh xứ nọ tiến sĩ nhiều lắm nhưng họ bận lo quản lý điều hành nên ko có nghiên cứu cái chi cả
Ti Em Ti
ĐẠI BÀNG
5 tháng
@westwest Tưởng họ bận phân lô bán nền
westwest
ĐẠI BÀNG
5 tháng
@Ti Em Ti nói đúng mà nói to nè, làm lộ hết chiện của ngừ ta
dlcky
TÍCH CỰC
5 tháng
cơn khủng hoảng chuỗi cung ứng vẫn chưa hạ nhiệt mà ông nào cũng đòi tự làm chip riêng
Trong khi người ta bỏ ra bao nhiêu tiền của lưu trữ video cả toàn thế giới, mấy ô mấy bà coi free chạy qc có mấy s mà la ầm cả lên😆
westwest
ĐẠI BÀNG
5 tháng
@vo khanh tan nhiều quảng cáo thấy hay muốn coi hết clip của nó luôn hoặc có quảng cáo mv mới ra lò thì ổn chứ cái kiểu quảng cáo 3 đời bệnh trĩ, hắc lào, ghẻ lở, giang mai lậu và cái bọn nhất nhất hoạt huyết dưỡng não tăng cường sinh dục thấy mà ớn
@vo khanh tan qc nhiều quá trời mà không cho bỏ qua mới đau
@ ict
TÍCH CỰC
5 tháng
Liệu tương lai chúng ta có phải bỏ tiền ra để xem youtube không ?
@@ ict Có YouTube premium mà bác
Cơ sở hạ tầng của youtube thật đáng nể, mong Apple định nghĩa lại cơ sở hạ tầng
@Methylamine Bắc Tiêu Phong. Nam Mộ Dung.
Mỗi thằng xưng bá 1 phương cùng nhau đô hộ thế giới 🤣

Apple có giỏi cũng ko thể 1 tay che trời đc bác
Chỉ hy vọng 1 ngày youtube cho việt nam đóng tiền, mẹ nó, suốt ngày quảng cáo nhức cả đầu.
@Phan Văn Liềm Mình hay mua ở đây. Bác nên mua cái 6th hoặc 1 năm

https://divineshop.vn/search?q=Gia+hạn+Youtube+Premium
@Phan Văn Liềm Họ sẽ mua hộ, rồi thêm mình vào 1 nhóm family dùng chung nên rẻ.
Chung family chứ tk vẫn riêng nhé.
Mỗi năm chỉ được đổi family 1 lần nên bác mua cái 6th trở lên nhé.

Dùng cho tất cả các thiết bị. Xem tivi ko qc sướng quá, hôm nào mà hết hạn nó nhảy qc ra bực ơi là bực
Cười vô mặt
@BlackMan00x cám ơn bạn nhé, đã mua, giờ mới biết cái này.
@BlackMan00x điện thoại xem chữa cháy thôi toàn xem trên tivi hay lap vì màn to xem cho sướng
Sắp có hạn chế nên hạn chế lưu dung lượng rác thôi 😃










  • Chịu trách nhiệm nội dung: Trần Mạnh Hiệp
  • © 2023 Công ty Cổ phần MXH Tinh Tế
  • Địa chỉ: Số 70 Bà Huyện Thanh Quan, P. Võ Thị Sáu, Quận 3, TPHCM
  • Số điện thoại: 02862713156
  • MST: 0313255119
  • Giấy phép thiết lập MXH số 11/GP-BTTTT, Ký ngày: 08/01/2019