TPU là gì?

TPU là tên viết tắt của Thermoplastic Polyurethane, một loại nhựa nhiệt dẻo. Trong đó, thermoplastic là nhựa dẻo nóng, một loại chất dễ dàng uốn nắn khi được nung nóng và trở nên cứng lại khi nguội lạnh.

Đó là TPU, nhưng TPU mình muốn nói đến ở đây khác. TPU mình muốn đề cập là Tensor Processing Unit và nó liên quan đến máy tính.

Vậy TPU trong máy tính là gì?

TPU hay bộ xử lý Tensor là bộ xử lý dành riêng cho việc tối ưu quá trình xử lý (Viết tăt là ASIC - Application-specific integrated circuit) được Google phát triển đặc biệt cho trí tuệ nhân tạo dựa trên phần mềm TensorFlow của riêng Google. Nghe tương tự như CPU, GPU nhỉ? Chúng ta cùng tìm hiểu và so sánh về cách làm việc của 3 loại này với nhau xem thử khác biệt gì nào!

Đầu tiên là CPU

CPU là viết tắt của Central Processing Unit - Bộ xử lý trung tâm và được coi như bộ não của máy tính. Nó là phần cứng chính của máy tính thực hiện lệnh cho các chương trình máy tính. CPU chạy hệ điều hành, liên tục nhận đầu vào và cung cấp đầu ra cho người dùng. Một CPU chứa ít nhất một bộ xử và nó là một con chip bên trong CPU để thực hiện tất cả các phép tính. Trước đây, CPU chỉ có một bộ vi xử lý, sau đó ta có CPU lõi kép (CPU có hai bộ xử lý) cho đến nay thì lõi tứ, lõi tám đã phổ biến hơn như các bạn đã biết.

Lợi ích lớn nhất của CPU là tính linh hoạt của nó. Với kiến trúc von Neumann, bạn có thể tải bất kỳ loại phần mềm nào cho hàng triệu ứng dụng khác nhau. Bạn có thể sử dụng CPU để xử lý văn bản trong PC, điều khiển động cơ tên lửa, thực hiện các giao dịch ngân hàng hoặc phân loại hình ảnh bằng mạng nơ-ron.

Cũng vì CPU rất linh hoạt nhưng phần cứng không phải lúc nào cũng biết phép tính tiếp theo sẽ là gì cho đến khi có hướng dẫn tiếp theo từ phần mềm ứng dụng. CPU lưu trữ kết quả tính toán trên bộ nhớ bên trong CPU (bộ nhớ đệm L1 hoặc registers). Bộ nhớ này có hạn nên việc truy cập bộ nhớ này thường xảy ra hiện tượng thắt cổ chai hay còn gọi là thắt cổ chai von Neumann. đặt tên theo nhà toán học và vật lý John von Neumann - cũng là gười thiết kế ra cấu trúc hình trên - tên gọi khác là kiến trúc Princeton.

dưới đây là cách hoạt động của CPU:

GPU

GPU là viết tắt của Graphical Processing Unit - bộ xử lý đồ họa. GPU đã xuất hiện từ những năm 1970, trước đó, nó đã được sử dụng chủ yếu cho hình ảnh 3D và render video (Điển hình là Game). Nhưng sau đó Nvidia tung ra dòng GeForce và sau đó nó trở nên phổ biến. Họ cũng tạo ra CUDA (nền tảng điện toán song song), một API để sử dụng GPU Nvidia.

Trong khi CPU được biết đến như bộ não của máy tính đảm nhiệm phần tư duy logic, GPU giúp hiển thị những gì đang diễn ra trong CPU bằng cách hiển thị giao diện đồ họa một cách trực quan.

GPU có thể được tích hợp vào CPU. Nhưng luôn có một số tác vụ và ứng dụng mà GPU tích hợp không thể xử lý. Có thể kể đến như chơi Game nặng, chỉnh sửa đồ họa hay sử dụng cho trí tuệ nhân tạo... Với những tác vụ này, 1 hoặc nhiều chiếc GPU rời là giải pháp.

GPU thực hiện tính toán theo cách song song không giống như CPU thực hiện tuần tự. GPU có hàng nghìn ALU (Arithmetic Logic Unit - Đơn vị logic số học) trong bộ xử lý duy nhất, có nghĩa là bạn có thể thực hiện hàng nghìn phép tính đồng thời:

Dưới đây là mô tả về cách hoạt động của GPU:

Nhưng vấn đề truy cập bộ nhớ vẫn còn đó, Bởi vì GPU thực hiện tính toán song song trên hàng nghìn ALU, vì vậy nó cũng dành nhiều năng lượng hơn cho việc truy cập bộ nhớ. Để khắc phục vấn đề này, Google đã thiết kế TPU.

TPU và cách nó hoạt động

Khi Google thiết kế TPU, thay vì thiết kế một bộ xử lý cho mục đích chung, họ thiết kế nó như một bộ xử lý ma trận chuyên giải quyết công việc mạng nơ-ron. TPU không thể chạy Office, điều khiển động cơ tên lửa hoặc thực hiện các giao dịch ngân hàng, nhưng chúng có thể xử lý các phép tính và là bổ sung khổng lồ cho mạng nơ-ron, với tốc độ cực nhanh trong khi tiêu thụ ít năng lượng hơn và bên trong một kết cấu vật lý nhỏ hơn.

TPU được thiết kế để có hiệu suất mạnh mẽ, linh hoạt, giảm thiểu tối đa hiện tượng thắt cổ chai von Neumann và tối ưu các thuật toán AI dựa trên nền tảng TensorFlow - Một nền tảng máy học mã nguồn mở, với các công cụ, thư viện và cộng đồng hiện đại, để người dùng có thể nhanh chóng xây dựng và triển khai các ứng dụng Machine Learning

Nhiệm vụ chính của bộ xử lý này là xử lý ma trận, do đó họ có thể kết nối hàng nghìn bộ trực tiếp với nhau để tạo thành một bộ xử lý lớn có khả năng giải quyết được nhiều phép tính hơn. Đây được gọi là kiến trúc systolic array.

So với việc mất hàng tuần để đào tạo AI bằng GPU, cùng khối lượng công việc đó TPU chỉ mấy vài giờ cho thấy sức mạnh của TPU này là cực kỳ khủng khiếp.
Hãy xem cách một mảng systolic thực hiện các phép tính mạng nơ-ron. Lúc đầu, TPU tải các tham số từ bộ nhớ vào ma trận của bộ nhân và bộ cộng. Sau đó, TPU tải dữ liệu từ bộ nhớ. Khi mỗi phép nhân được thực hiện, kết quả sẽ được chuyển cho các phép nhân tiếp theo trong khi tính tổng cùng một lúc. Vì vậy, đầu ra sẽ là tổng của tất cả các kết quả nhân giữa dữ liệu và tham số. Trong toàn bộ quá trình tính toán lớn và truyền dữ liệu, không cần truy cập bộ nhớ nào cả. Đây là lý do tại sao TPU có thể đạt được lưu lượng tính toán cao trên mạng nơ-ron, với mức tiêu thụ điện năng ít hơn nhiều và kết cấu cũng nhỏ hơn.

Google bắt đầu sử dụng TPU vào năm 2015, sau đó họ công khai nó vào năm 2018. Và bây giờ bạn có thể thuê TPU dưới dạng đám mây hoặc phiên bản nhỏ hơn của bộ xử lý này. Có nhiều Ver cho bạn lựa chọn và dưới đây là bảng giá tham khảo của Cloud TPU:

Hết rồi, như vậy các bạn có thể thấy 3 bộ xử lý trên cũng có tương đồng, nhưng TPU là đặc biệt dành cho AI, hiện tại là không hoặc chưa thể dùng TPU vào mục đích khác. Chân thành cám ơn mọi người đã đọc bài, chúc vui!
Bonus thêm 2 tấm hình cho ai muốn nghiên cứu thêm