Các nhà nghiên cứu từ Đại học Tel Aviv đã phát hiện ra một phương pháp lợi dụng các cuộc hẹn trên lịch để lừa Gemini thao túng các thiết bị nhà thông minh của Google. Đây có thể là ví dụ đầu tiên về một cuộc tấn công AI gây ra hiệu ứng trong thế giới thực. Với tên gọi promptware, cuộc tấn công này là một dạng "tấn công tiêm nhiễm prompt gián tiếp" (indirect prompt injection attack), trong đó các hành động độc hại được cung cấp cho bot AI bởi một người không phải người dùng.
Cuộc tấn công bắt đầu với một cuộc hẹn trên lịch chứa nội dung mô tả thực chất là một tập hợp các lệnh độc hại. Khi người dùng yêu cầu Gemini tóm tắt lịch trình của họ, robot sẽ xử lý sự kiện lịch đã bị "đầu độc" này. Phương pháp này đã né tránh thành công các biện pháp bảo vệ hiện có của Google, liên kết các hành động độc hại với những tương tác vô hại sau đó với Gemini. Nhóm nghiên cứu đã chứng minh rằng có thể kiểm soát bất kỳ thiết bị nhà thông minh nào được liên kết với Google như đèn, bộ điều nhiệt và rèm thông minh theo cách này.
Kỹ thuật này, được trình bày trong bài báo có tên "Invitation Is All You Need", còn có thể được sử dụng để tạo nội dung xúc phạm, gửi thư rác cho người dùng và xóa ngẫu nhiên các cuộc hẹn trên lịch trong các tương tác tương lai. Nó cũng có thể khiến người dùng gặp phải các mối đe dọa khác bằng cách mở các trang web chứa mã độc để lây nhiễm thiết bị và đánh cắp dữ liệu. Các nhà nghiên cứu đánh giá nhiều cuộc tấn công "promptware" này là cực kỳ nguy hiểm.
Lỗi này đã được tiết lộ một cách có trách nhiệm tại hội nghị bảo mật Black Hat gần đây. Nhóm nghiên cứu đã bắt đầu làm việc với Google từ tháng 2 để giảm thiểu cuộc tấn công. Google cho biết phân tích phương pháp này đã "trực tiếp thúc đẩy" việc triển khai các biện pháp phòng thủ tấn công tiêm nhiễm lời nhắc mới vào tháng 6, bao gồm phát hiện hướng dẫn không an toàn trong lịch, tài liệu và email, cùng với xác nhận bổ sung của người dùng cho một số hành động như xóa sự kiện lịch.
Có thể thấy các hệ thống Gen AI đã phổ biến rộng rãi trong ngành công nghệ, đến mức khó có thể tránh sử dụng chúng. Mặc dù các công ty lớn như Google dành nhiều thời gian nói về an toàn AI, nhưng khả năng phát triển không ngừng của AI cũng dẫn đến sự thay đổi trong bối cảnh các mối đe dọa phần mềm độc hại, hay còn gọi là "promptware" như trong tình huống trên.
Nguồn: Arstechnica
Cuộc tấn công bắt đầu với một cuộc hẹn trên lịch chứa nội dung mô tả thực chất là một tập hợp các lệnh độc hại. Khi người dùng yêu cầu Gemini tóm tắt lịch trình của họ, robot sẽ xử lý sự kiện lịch đã bị "đầu độc" này. Phương pháp này đã né tránh thành công các biện pháp bảo vệ hiện có của Google, liên kết các hành động độc hại với những tương tác vô hại sau đó với Gemini. Nhóm nghiên cứu đã chứng minh rằng có thể kiểm soát bất kỳ thiết bị nhà thông minh nào được liên kết với Google như đèn, bộ điều nhiệt và rèm thông minh theo cách này.
Kỹ thuật này, được trình bày trong bài báo có tên "Invitation Is All You Need", còn có thể được sử dụng để tạo nội dung xúc phạm, gửi thư rác cho người dùng và xóa ngẫu nhiên các cuộc hẹn trên lịch trong các tương tác tương lai. Nó cũng có thể khiến người dùng gặp phải các mối đe dọa khác bằng cách mở các trang web chứa mã độc để lây nhiễm thiết bị và đánh cắp dữ liệu. Các nhà nghiên cứu đánh giá nhiều cuộc tấn công "promptware" này là cực kỳ nguy hiểm.
Lỗi này đã được tiết lộ một cách có trách nhiệm tại hội nghị bảo mật Black Hat gần đây. Nhóm nghiên cứu đã bắt đầu làm việc với Google từ tháng 2 để giảm thiểu cuộc tấn công. Google cho biết phân tích phương pháp này đã "trực tiếp thúc đẩy" việc triển khai các biện pháp phòng thủ tấn công tiêm nhiễm lời nhắc mới vào tháng 6, bao gồm phát hiện hướng dẫn không an toàn trong lịch, tài liệu và email, cùng với xác nhận bổ sung của người dùng cho một số hành động như xóa sự kiện lịch.
Có thể thấy các hệ thống Gen AI đã phổ biến rộng rãi trong ngành công nghệ, đến mức khó có thể tránh sử dụng chúng. Mặc dù các công ty lớn như Google dành nhiều thời gian nói về an toàn AI, nhưng khả năng phát triển không ngừng của AI cũng dẫn đến sự thay đổi trong bối cảnh các mối đe dọa phần mềm độc hại, hay còn gọi là "promptware" như trong tình huống trên.
Nguồn: Arstechnica
