Qualcomm hôm qua vừa trình diễn một công nghệ mới trên nền tảng Snapdragon 8 Gen 2 mới của họ, đó là khả năng tận dụng những nhân NPU mạnh mẽ để tạo ra hình ảnh từ những đoạn text được gợi ý. Đây là một công nghệ tận dụng AI đang gây sốt trong thời gian gần đây, bên cạnh những mô hình ngôn ngữ như ChatGPT. Mô hình AI lần này được gọi là Stable Diffusion.
Đây là một dự án open-source được phát triển bởi Stability AI, điểm nổi bật nhất của model AI này chính là tạo ra những hình ảnh đồ hoạ siêu chân thực (photorealistic). Nếu anh em vẫn cảm thấy xa lạ thì có thể liên tưởng đến Midjourney, một công cụ tạo hình ảnh từ những đoạn văn bản gợi ý đang rất nổi tiếng ở thời điểm hiện tại, cũng dùng các công nghệ cơ bản dựa trên Stable Diffusion hay Dall-E của Open AI.
Theo Qualcomm, demo của họ được thực hiện trên một thiết bị được trang bị Snapdragon 8 Gen 2, SoC di động mạnh nhất mà Qualcomm tạo ra. Như video anh em đã xem, một bức hình với những mô tả chi tiết theo khổ 512 x 512 được vẽ ra chỉ trong vỏn vẹn khoảng 14 giây. Qualcomm sử dụng phiên bản 1.5 của model Stable Diffusion, để đạt được tốc độ đó thì các kỹ sư của Qualcomm cũng đã tối ưu hoá rất nhiều từ phần mềm cho đến phần cứng.
Vấn đề là từ Dall-E của Open AI hay Midjourney hay các phần mềm khác tận dụng Stable Diffusion hầu hết đều được xử lý từ máy chủ đám mây, sau đó cho người dùng trải nghiệm trên website, còn với việc xử lý trực tiếp trên smartphone là điều thực sự ấn tượng, đặc biệt trong một khoảng thời gian ngắn như vậy.
Hình ảnh được tạo ra từ demo của Qualcomm.
Đây là một dự án open-source được phát triển bởi Stability AI, điểm nổi bật nhất của model AI này chính là tạo ra những hình ảnh đồ hoạ siêu chân thực (photorealistic). Nếu anh em vẫn cảm thấy xa lạ thì có thể liên tưởng đến Midjourney, một công cụ tạo hình ảnh từ những đoạn văn bản gợi ý đang rất nổi tiếng ở thời điểm hiện tại, cũng dùng các công nghệ cơ bản dựa trên Stable Diffusion hay Dall-E của Open AI.
Theo Qualcomm, demo của họ được thực hiện trên một thiết bị được trang bị Snapdragon 8 Gen 2, SoC di động mạnh nhất mà Qualcomm tạo ra. Như video anh em đã xem, một bức hình với những mô tả chi tiết theo khổ 512 x 512 được vẽ ra chỉ trong vỏn vẹn khoảng 14 giây. Qualcomm sử dụng phiên bản 1.5 của model Stable Diffusion, để đạt được tốc độ đó thì các kỹ sư của Qualcomm cũng đã tối ưu hoá rất nhiều từ phần mềm cho đến phần cứng.
Vấn đề là từ Dall-E của Open AI hay Midjourney hay các phần mềm khác tận dụng Stable Diffusion hầu hết đều được xử lý từ máy chủ đám mây, sau đó cho người dùng trải nghiệm trên website, còn với việc xử lý trực tiếp trên smartphone là điều thực sự ấn tượng, đặc biệt trong một khoảng thời gian ngắn như vậy.
Hình ảnh được tạo ra từ demo của Qualcomm.
Qualcomm họ nhấn mạnh vào thời gian render và lần đầu tiên khả năng này xuất hiện trên một chiếc điện thoại Android, dù không nói rõ điện thoại mà họ thử nghiệm là của hãng nào. Nhưng tuyên bố đó của Qualcomm lại chưa chính xác cho lắm, The Verge phát hiện ra một Blogger đã thử nghiệm Stable Diffusion trên Sony Xperia 5 II chạy Snapdragon 865 với RAM 8GB và chiếc điện thoại này mất khoảng 1 giờ để render xong, vì vậy có thể thấy khả năng xử lý của Snapdragon 8 Gen 2 là cực kì ấn tượng.
Vậy với iOS thì sao? Hồi tháng 12 Apple đã ra mắt iOS 16.2 và macOS 13.1 với những tối ưu hoá dành cho Stable Diffusion bằng cách tận dụng sức mạnh của NPU, cụ thể là các nhân ML của Apple A-series. Rất nhanh ngay sau đó một ứng dụng bên thứ 3 là Draw Things đã đem Stable Diffusion phổ biến đến với người dùng iOS, anh em muốn trải nghiệm thử có thể tải về tại đây.
Hình ảnh được tạo bằng Draw Things trên iPhone 13 Pro chạy iOS 16.4.
Hình ảnh được tạo bằng Draw Things trên iPad Pro M2 chạy iPadOS 16.3.1.
Mình thử nghiệm trên iPhone 13 Pro với con chip Apple A15 Bionic (dùng model Stable Diffusion v1.5, thiết lập mặc định) thì thời gian để render mất khoảng 41 giây cho những gợi ý tương tự như trong demo của Qualcomm, thử tiếp trên chiếc iPad Pro M2 thì thời gian render là 30 giây. Rõ ràng nếu so về thời gian thì SoC của Qualcomm nhanh hơn nhiều nhưng đó là khi Qualcomm sử dụng những tinh chỉnh tối ưu hoá riêng biệt, còn mình đang thử nghiệm trên một ứng dụng của bên thứ ba.
Tuy nhiên tổng kết lại thì thử nghiệm của Qualcomm là rất ấn tượng, đặc biệt khi nó được xử lý trực tiếp trên một chiếc điện thoại, nó sẽ có những ưu điểm nhất định khi so với xử lý qua các nền tảng máy chủ khác là không cần đến internet, chi phí (ví dụ bỏ tiền ra sử dụng dịch vụ) và quyền riêng tư cũng được đảm bảo.
Theo The Verge.
