Cuối cùng thì Apple Intelligence cũng đã ra mắt với việc phiên bản hệ điều hành iPhone iOS 18.1 được phát hành phiên bản thử nghiệm. Đi kèm với đó, là tài liệu chi tiết mô tả quy trình phát triển, tham số và dữ liệu huấn luyện hai phiên bản mô hình AI được coi là trụ cột để Apple Intelligence vận hành:
Đầu tiên, về mặt dữ liệu huấn luyện cũng như phát triển mô hình AI, Apple đặt ra 4 quy tắc chính, bao gồm cả những quy tắc đảm bảo quyền riêng tư dữ liệu cá nhân của người dùng cũng như trách nhiệm của nội dung mà AI tạo sinh tạo ra:
Đầu tiên, về mặt dữ liệu huấn luyện cũng như phát triển mô hình AI, Apple đặt ra 4 quy tắc chính, bao gồm cả những quy tắc đảm bảo quyền riêng tư dữ liệu cá nhân của người dùng cũng như trách nhiệm của nội dung mà AI tạo sinh tạo ra:
- Công cụ thông minh phải giúp ích cho người dùng: Xác định được những khía cạnh và tác vụ mà AI có thể được ứng dụng một cách có trách nhiệm để tạo ra những công cụ giải quyết những nhu cầu cụ thể của người dùng. Apple tuyên bố họ tôn trọng quyết định có sử dụng hay không những công cụ ấy của người dùng để hoàn thành một số tác vụ nhất định.
- Công cụ phải đại diện cho người dùng: Tạo ra những sản phẩm cá nhân hóa với khả năng đại diện cho người dùng toàn thế giới. Apple làm việc liên tục để bài trừ mọi nguy cơ AI tạo ra những thiên kiến sai lệch một cách có hệ thống trên toàn bộ những mô hình và công cụ AI họ tạo ra.
- Thiết kế một cách cẩn trọng: Mọi bước phát triển mô hình cho tới thiết kế ứng dụng đều được thực hiện cẩn trọng, bao gồm cả thiết kế mô hình, huấn luyện mô hình, phát triển tính năng và đánh giá chất lượng ứng dụng để xác định những cách AI có thể bị dùng sai mục đích, hoặc tạo ra tác động tiêu cực đối với người dùng.
- Bảo vệ quyền riêng tư: Apple bảo vệ quyền riêng tư nhờ vào khả năng vận hành trên thiết bị đầu cuối, cùng hệ thống cơ sở hạ tầng như Private Cloud Compute. Apple hứa không sử dụng dữ liệu cá nhân của người dùng hoặc tương tác giữa người dùng với công cụ Apple Intelligence để huấn luyện ngược mô hình AI.
Apple Intelligence và câu chuyện Apple "đi đầu" về bảo mật dữ liệu khi xử lý AI
Apple Intelligence, cái tên đang chiếm sóng về lượt tìm kiếm trên gần như khắp các nền tảng, có nhiều thông tin thú vị xoay quanh lớp AI mà Apple sẽ nhúng nó vào iOS, iPadOS và macOS sắp tới. Fast Company đã có cuộc phỏng vấn độc quyền Phó Chủ tịch…
tinhte.vn
Apple hiện tại vận hành hai mô hình AFM khác nhau. Một phiên bản AFM được chạy trên chính cụm Neural Engine của những chiếc iPhone, MacBook hay iPad trang bị chip Apple Silicon thế hệ mới. Phiên bản mô hình AI này sở hữu 2.73 tỷ tham số. Phiên bản AFM thứ hai có tham số lớn hơn, chạy trên những máy chủ đám mây Private Cloud Compute, bên trong những máy chủ này là phần cứng Apple Silicon để có chất lượng tương đồng với nhau.
AFM on-device và AFM on cloud chỉ là hai trong số nhiều phiên bản mô hình ngôn ngữ Apple Foundation Model đã được phát triển và huấn luyện. Những mô hình này hỗ trợ cả người dùng lẫn các nhà phát triển ứng dụng muốn tích hợp những tính năng AI vào ứng dụng của họ trên hệ sinh thái App Store. Để làm được điều này, sẽ có mô hình code tích hợp vào API phát triển ứng dụng Xcode, cùng với mô hình tạo sinh khuếch tán (diffusion), dùng để vận hành những tính năng tạo ra hình ảnh từ AI, chẳng hạn như Image Wand, Genmoji và Image Playground.
Sau khi phát triển xong những phiên bản AFM với số lượng tham số khác nhau, sẽ tới bước huấn luyện và tối ưu mô hình để những tính năng Apple Intelligence vận hành dựa trên AFM có khả năng xử lý tạo sinh nhanh, và tiết kiệm năng lượng cho thiết bị đối với những tính năng vận hành on device. Rồi chính những tính năng ấy cũng cần phải có adapter được tinh chỉnh theo nhu cầu của từng cá nhân người dùng. Và như đã đề cập, một trong những yếu tố cực kỳ quan trọng là xác thực hiệu năng mô hình AI để vừa hữu ích, vừa giảm thiểu tối đa tình trạng tạo sinh ra những kết quả có hại, chẳng hạn như thông tin sai lệch hay thiên kiến phân biệt đối xử.
Tổng hợp tất cả các tính năng AI của Apple
Trên iOS 18, iPad 18 và macOS Sequoia mới ra mắt đêm qua, xương sống vận hành hầu hết các tính năng mới chính là AI (Apple gọi đây là Apple Intelligence chứ không phải là Artificial Intelligence như xưa giờ nhé anh em.
tinhte.vn
Sau quá trình huấn luyện mô hình AFM bằng dữ liệu được tổng hợp bằng AppleBot, một crawler đi cào trên mạng internet để lấy dữ liệu con người tạo ra và đăng tải trên mạng, sẽ đến quy trình hậu huấn luyện mô hình AI. Giống như mọi đơn vị khác, Apple khẳng định chất lượng dữ liệu đầu vào phục vụ huấn luyện mô hình là một trong những điều kiện quan trọng nhất quyết định chất lượng AI vận hành sau này.
Quá trình phát triển AFM được Apple ứng dụng chiến lược dữ liệu hybrid, kết hợp cả dữ liệu do con người tạo ra lẫn các dữ liệu phái sinh, và tất cả chúng đều trải qua quy trình tổng hợp và thanh lọc. Hai thuật toán mới hoàn toàn được Apple phát triển trong quá trình hậu huấn luyện. Thứ nhất là một thuật toán điều chỉnh từ chối mẫu, và thứ hai là thuật toán học tăng cường dựa trên phản hồi của con người, viết tắt là RLHF (reinforcement learning from human feedback). Apple cho biết, hai thuật toán tối ưu mô hình hậu huấn luyện này đã tạo ra được những cải thiện đáng kể trong quy trình tuân theo những câu lệnh prompt của người dùng đưa ra và yêu cầu AI xử lý.
Rồi tới quá trình tối ưu mô hình. Vì AFM sẽ có hai phiên bản với tham số khác nhau, một chạy on device, một chạy trên máy chủ đám mây, nên Apple cũng phải tối ưu mô hình để vận hành hiệu quả trên chiếc iPhone đời mới của anh em.
Có vẻ Apple cũng chưa chứng minh được cho người dùng, vì sao cần xài AI hàng ngày
Truyền thống công nghệ bây giờ là, cứ có một công nghệ mới, cả thế giới sẽ nhìn về Apple xem họ sẽ làm gì với công nghệ ấy. Dưới thời Steve Jobs nhiều năm về trước, Apple đã trở thành một tập đoàn danh tiếng, với khả năng tuyệt vời nhất của họ…
tinhte.vn
Quảng cáo
Cả hai mô hình on device và on cloud của AFM vận hành Apple Intelligence đều mô phỏng chú ý neural network theo dạng grouped-query-attention. Để giảm thiểu bộ nhớ mà mô hình AI yêu cầu lúc vận hành, Apple ứng dụng những bảng từ vựng input và output. Rồi quá trình nội suy cũng được tối ưu token.
Phiên bản AFM vận hành Apple Intelligence on device có kích thước từ vựng 49K, còn phiên bản vận hành trên máy chủ đám mây có kích thước 100K, bao gồm những ngôn ngữ khác nhau và từ vựng kỹ thuật chuyên ngành.
Sau khi đã tối ưu để vận hành hiệu quả nhất trên cả máy chủ lẫn thiết bị đầu cuối, sẽ tới công đoạn điều chỉnh mô hình để xử lý nhiều tác vụ khác nhau theo yêu cầu của người dùng, cùng lúc điều chỉnh lớp adapter để giữ nguyên khối kiến thức mà những mô hình đã học được trong quá trình huấn luyện trên máy chủ của Google Cloud.
Nền tảng của Apple Intelligence huấn luyện bằng chip Google chứ không phải Nvidia
Trong báo cáo nghiên cứu khoa học mới nhất của Apple, mô tả quy trình huấn luyện mô hình AI nền móng của những ứng dụng thuộc gói Apple Intelligence vừa ra mắt cùng iOS 18.1 Beta, có một chi tiết đã được hé lộ.
tinhte.vn
Cuối cùng, trước khi ứng dụng vào những tính năng thuộc gói Apple Intelligence, là bước đánh giá so sánh hiệu năng và chất lượng nội dung tạo sinh từ những mô hình AFM đã được phát triển, huấn luyện, tối ưu và tinh chỉnh. Apple đem hai phiên bản AFM này so sánh với nhiều mô hình vận hành trên thiết bị và trên máy chủ đám mây, như Gemma 7B của Google, Phi-3-mini của Microsoft và Llama-3-8B của Meta đối với AFM on device, hay Llama-3-70B, GPT-4 hay Mixtral-8x22B so sánh với AFM server.
Với bước so sánh kết quả tạo sinh từ AFM, Apple sử dụng gói bài kiểm tra với 750 lệnh khác nhau tổng hợp từng nhu cầu sử dụng công cụ AI. Một trong số những nhu cầu sử dụng có thể được vận hành nhiều nhất chính là yêu cầu tóm tắt văn bản hoặc thư điện tử của người dùng. Một lo ngại là tính năng sử dụng AI tóm tắt văn bản sẽ lược bỏ những chi tiết quan trọng, hoặc nhấn mạnh những thứ khác theo cách biến đổi cả nội dung lẫn ngữ cảnh văn bản. Tuy nhiên, Apple cho biết adapter tóm tắt văn bản của AFM trong 99% bài thử nghiệm đều không nảy sinh tình trạng này.
Quảng cáo
Kế đến, là sử dụng bài kiểm tra đánh giá từ con người để xác định mức độ thỏa mãn với những kết quả mà các mô hình AI tạo ra trong từng tác vụ cụ thể. Bài thử nghiệm này được thực hiện trên cả hai phiên bản AFM on device và AFM on server. Những tác vụ đa dạng được dùng để thử nghiệm bao gồm brainstorm, phân loại dữ liệu, trả lời câu hỏi, yêu cầu lập trình, truy xuất thông tin, phân tích toán học, tóm tắt văn bản, viết lại văn bản và viết văn bản mới.
Rồi tỷ lệ nội dung có nguy cơ gây hại cũng được đánh giá bởi con người, bao gồm những nội dung độc hại, những chủ đề nhạy cảm và độ chính xác của thông tin. “Tỷ lệ vi phạm”, tạo ra những thông tin có hại của AFM trên cả hai phiên bản on device lẫn on server đều rất thấp. Nhưng cùng lúc, Apple cũng hiểu rằng, với tiềm năng của mô hình AI tạo sinh, mọi bài thử nghiệm và đánh giá đều không toàn diện, và luôn luôn phải thực hiện đánh giá mức độ an toàn của dữ liệu tạo sinh với những nhóm nhân sự nội bộ và outsource bên ngoài.
Tiếp theo đó là benchmark IFEval (Instruction-Following Eval) để xác định khả năng tuân thủ theo câu lệnh của người dùng:
Cuối cùng là benchmark đánh giá khả năng viết dữ liệu tạo sinh của hai mô hình AFM on device và on server. Bài thử nghiệm này không bao gồm đánh giá khả năng của adapter tóm tắt văn bản, mà xét chung toàn bộ khả năng tạo ra văn bản của hai phiên bản AFM dùng vận hành Apple Intelligence:
