Microsoft ra mắt Azure Percept: xử lý AI ngay lập tức mà không cần đẩy về máy chủ

Microsoft vừa giới thiệu Azure Percept, một nền tảng phần cứng để chạy tác vụ AI và phối hợp sử dụng với nền tảng cloud của hãng mà Azure. Thay vì đẩy hình ảnh, giọng nói về server mới xử lý thì các thiết bị Azure Percept có thể xử lý AI ngay trên thiết bị và đưa ra quyết định nên làm gì theo thời gian thực, giảm thời gian chờ cũng như hạn chế việc tốn băng thông để đẩy video lên máy chủ. Mô hình này gọi là edge computing.

Đợt giới thiệu lần này có Azure Percept Vision là một cái smart camera, Azure Percept Audio là hub xử lý âm thanh, và module Trust Platform. Asus là đối tác sản xuất các thiết bị nói trên.

Ví dụ, camera Azure Percept Vision có thể được gắn vào các dây chuyền sản xuất để dùng AI phát hiện sản phẩm bị lỗi, rau củ bị hư hỏng, hoặc đếm số nhân viên đang có mặt trên dây chuyền. Người ta cũng có thể gắn nó ở các cổng ra vào để xác định xe tải nào chạy ra chạy vào. Tình huống này sẽ khác nhau tùy doanh nghiệp.

Những phần cứng Azure Percept đủ mạnh để chạy 1 mình, không cần phải bắn data về cloud, nhưng nếu cần thì chúng vẫn có thể chuyển dữ liệu về server (Azure cloud) để xử lý thêm hoặc để lưu trữ, báo cáo, phân tích.

Google cũng có một sản phẩm tương tự gọi là Google Coral, nó được sinh ra để chuyên xử lý tác vụ AI, nhận diện, phân tích hình ảnh, âm thanh. Google Coral có các bo mạch dành cho nhà phát triển, cũng như bán chip xử lý riêng mà Google gọi là TPU để tích hợp vào các nền tảng phần cứng khác.

Nguồn: TechCrunch

Duy Luân

VIP

3 năm

Mình đang dùng Google Coral USB Accelerator gắn vào một con Raspberry Pi. Code đổi chút theo Coral, thế là phần xử lý AI nó đẩy hết qua con Coral này làm, máy chạy cực kì nhẹ mà performance xử lý cực kì tốt. Anh em nào đang làm cùng kiểu project thì xem qua nhé.

dlcky

TÍCH CỰC

@Duy Luân cái này chỉ để dev thôi chứ nhỉ. Product thì Luân dùng giải pháp gì có thể chia sẻ không

hailongan

Mình cũng thích vụ xử lý ở local hơn là về server, vì nó sẽ nhanh, ổn định hơn

apolong

@hailongan Nhưng đó là 1 bài toán khá khó khăn đó b, vì thường để xử lý local yêu cầu máy local phải đảm bảo 2 điều.
1. là cấu hình xử lý
2. là data nó có sẵn để xử lý các data input.
vì vậy, tùy vào nghiệp vụ cũng như đặc thù của tác vụ nào đó mà người ta sẽ quyết định ưu tiên xử lý trên local hay server.

VD: Nếu thuật toán nhận diện có người xuất hiện trong hình ảnh thì chạy trên local sẽ nhanh hơn, nhưng nếu là thuật toán tìm khuôn mặt của 1 người trong cơ sở dữ liệu thì nó lại khác, nó sẽ phân đoạn thành nhiều Function khác nhau, 1 số thì xử lý ở local, 1 số sẽ được đầy lên server.

đó là hiểu biết của em, nếu chưa đúng thì b bỏ qua nhé

becauseofpassion

w0a hay day

bestofstrongman

Có ai giải thích cho mình rõ hơn là kiến trúc con CHIP AI nó khác gì với con chip xử lý thông thường không.
Tại sao với việc xử lý này thì chip cpu không chạy nổi/ hay chạy chậm mà chip AI lại xử lý nhanh hơn?

Azkan

@Ops456789 AI nào tính toán trên integer?????

Ops456789

ĐẠI BÀNG

@vanlinh2905 Nghiên cứu có của người VN luôn: https://bit.ly/3u5ujba
Trích: "Our experimental results show that a 4-bit Integer-Net leads to only a 2% drop of accuracy compared to a 32-bit real-value resolution CNN model while offering more than 7 times improvement in memory efficiency"

Tài liệu của google về TPU thế hệ đầu: https://shorturl.at/asSXZ
Trích: "As a first optimization, rather than executing all of these mathematical operations with ordinary 32-bit or 16-bit floating-point operations on CPUs or GPUs, we apply a technique called quantization that allows us to work with integer operations instead. This enables us to reduce the total amount of memory and computing resources required to make useful predictions with our neural network models."

or "Similarly, neural network predictions often don't require the precision of floating-point calculations with 32-bit or even 16-bit numbers. With some effort, you may be able to use 8-bit integers to calculate a neural network prediction and still maintain the appropriate level of accuracy."

vanlinh2905

Ops456789 đã nói: ↑

Nghiên cứu có của người VN luôn: https://bit.ly/3u5ujba
Trích: "Our experimental results show that a 4-bit Integer-Net leads to only a 2% drop of accuracy compared to a 32-bit real-value resolution CNN model while offering more than 7 times improvement in memory efficiency"

Tài liệu của google về TPU thế hệ đầu: https://shorturl.at/asSXZ
Trích: "As a first optimization, rather than executing all of these mathematical operations with ordinary 32-bit or 16-bit floating-point operations on CPUs or GPUs, we apply a technique called quantization that allows us to work with integer operations instead. This enables us to reduce the total amount of memory and computing resources required to make useful predictions with our neural network models."

or "Similarly, neural network predictions often don't require the precision of floating-point calculations with 32-bit or even 16-bit numbers. With some effort, you may be able to use 8-bit integers to calculate a neural network prediction and still maintain the appropriate level of accuracy."

@Ops456789 gần như trong bất kì lĩnh vực nào, một nghiên cứu mà cải thiện được độ chính xác tới 2% là đủ sức đăng bất kì tạp chí đầu ngành nào rồi đấy bác =))

@vanlinh2905 Muốn đi chi tiết đúng không? Mục đích là đẩy nhanh throughput nhằm xử lý được nhiều hơn. Ở trong cái công trình nghiên cứu kia là có 4-bit thôi, nếu gấp đôi lên là 8-bit như GG thì kết quả thậm chí không khác nhiều với 32-bit/16-bit float mà nhanh hơn nhiều. Lý do float vẫn được dùng nhiều bởi vì trừ những công ty lớn, mọi người xài GPU để chạy machine learning, mà GPU chuyên tính float. Đến Nvidia cũng nhận ra giới hạn của việc dùng float 32/16, nó đẻ ra cái Tensor float, còn GG xài là bfloat.

Cái chính là để tăng số lượng phép tính làm được trong thời gian ngắn nhất, tiêu hao ít nhất năng lượng, mình cũng xin chỉnh lại là: kiểu dữ liệu gì cũng được, miễn là đạt được nhiều phép tính, nên ví dụ là xài int thay vì float cho phép tính ngắn hơn, nhanh hơn.

ML không phải ngành của mình, nhưng có học qua, nếu có sai sót thì sorry nhá.

hongphuc1992

Qúa gắt

Nqv7

Hay

qwarl

nhìn thì cái của mic đẹp hơn của gg😁

huytai93

Ko hiểu gì nhưng treo vậy nó đẹp thật

Microsoft ra mắt Azure Percept: xử lý AI ngay lập tức mà không cần đẩy về máy chủ

CHỦ ĐỀ TƯƠNG TỰ

Apple Notes trên iOS 18 có thể sẽ có thêm 1 loạt tính năng mới, học theo Microsoft OneNote

Microsoft giới thiệu model AI VASA-1: tạo video chân dung người nói chỉ bằng 1 hình tĩnh + voice

Clipchamp trên Windows 11 bổ sung thêm tính năng AI, tự động loại bỏ khoảng lặng trong video

Ăn cắp máy chủ để đào crypto, chi phí vận hành 3.5 triệu USD, thu về được có 1 triệu USD