Atakujący mogli przejąć kontrolę nad asystentem Google Gemini za pomocą jednego zaproszenia. Ofiary mogły wtedy np. otworzyć okno

Jeśli kiedykolwiek myśleliście, że do przejęcia kontroli nad telefonem lub systemem inteligentnego domu innej osoby potrzebujecie doktoratu z informatyki i lat praktyki hakerskiej, to niestety bardzo się myliliście. Jak udowodnili badacze Ben Nassi z Uniwersytetu Tel Awiwu, Stav Cohen z Technion i Or Yair z SafeBreach, jedyną rzeczą, która wystarczy w dzisiejszych czasach, jest to, aby ofiara korzystała z asystenta AI Google Gemini. Kiedy atakujący wyśle jej zaproszenie na spotkanie lub na pierwszy rzut oka niewinnie wyglądający e-mail, których wielu z nas otrzymuje dziesiątki, a nawet setki tygodniowo, może rozpocząć się lawina nieszczęść.

Do zniszczenia wystarczy jedno zaproszenie

W badaniu zatytułowanym Invitation Is All You Need (w tłumaczeniu Zaproszenie to wszystko, czego potrzebujesz) szczegółowo opisano kilka przypadków nadużycia zjawiska określanego jako „indirect prompt injection”. Jest to technika, w której sztucznej inteligencji w ramach zwykłego zadania przedstawiany jest również szkodliwy rozkaz (prompt), który zmusza ją do wykonania czynności szkodzącej ofierze.

Pomijając jeszcze w pewnym stopniu nieszkodliwe działania, takie jak generowanie wulgarnej lub w inny sposób toksycznej treści czy usuwanie wydarzeń z kalendarza, AI może teoretycznie być zdolna do przygotowania gruntu pod poważne przestępstwa. Badacze na przykład zademonstrowali, jak za pomocą opisanej metody otworzyli ofierze okno, które jest podłączone do systemu inteligentnego domu Google Home.

Jak dokładnie przebiega atak?

Atak z wykorzystaniem metody pośredniego wstrzykiwania promptu wygląda mniej więcej tak:

1. Atakujący tworzy i wysyła ofierze e-mail lub zaproszenie na spotkanie (przez Gmail lub Kalendarz Google). W tym zaproszeniu ukryty jest prompt, który zawiera złośliwe instrukcje dla Gemini.
2. Użytkownik później pyta asystenta Gemini (aplikacja internetowa/mobilna lub Google Assistant) o swoje e-maile, wydarzenia lub pliki. Gemini podczas przetwarzania tych danych odczytuje również ukryty szkodliwy prompt.
3. Dochodzi do „pośredniego wstrzyknięcia promptu”, gdzie złośliwe instrukcje stają się częścią kontekstu operacyjnego Gemini. Gemini zostaje oszukane, aby uznać te instrukcje za legalne polecenia użytkownika.
​Aktivace chytrého domácího spotřebiče (např. bojleru nebo okna).
1. ​Aktivace chytrého domácího spotřebiče (např. bojleru nebo okna).
2. ​Spuštění videozáznamu oběti přes aplikaci Zoom.
3. ​Získání geolokace oběti pomocí webového prohlížeče.
4. ​Odstranění události z kalendáře.

Z tego wynika, że ofiarą nie stanie się zwykły użytkownik, który rzadko korzysta z AI do sporadycznego rozwiązywania problemów w swoim codziennym życiu, ale bardziej zaawansowane osoby używające sztucznej inteligencji jako swojego osobistego sekretarza.

Autorzy opisali 5 typów ataku

Autorzy badania zidentyfikowali pięć typów ataków. Atakujący mieli więc naprawdę wiele możliwości manipulowania Gemini:

1. Short-Term Context Poisoning (Zatrucie krótkoterminowego kontekstu): Wstawianie szkodliwych instrukcji do współdzielonych zasobów (np. nazw wydarzeń), które wpłyną na jedną konwersację z Gemini.
2. ​Long-Term Memory Poisoning (Zatrucie pamięci długoterminowej): Trwała modyfikacja pamięci Gemini, która umożliwia utrzymujące się szkodliwe działania w niezależnych sesjach.
3. ​Tool Misuse (Nadużycie narzędzi): Nadużycie narzędzi związanych z zaatakowanym agentem (np. agentem Kalendarza Google) do wykonywania szkodliwych działań (np. usuwania wydarzeń).
4. ​Automatic Agent Invocation (Automatyczne wywołanie agenta): Atak na jednego agenta (np. Kalendarza) w celu wywołania innego agenta (np. Google Home), co umożliwia eskalację uprawnień i kontrolę nad inteligentnym domem.
5. ​Automatic App Invocation (Automatyczne wywołanie aplikacji): Uruchomienie aplikacji (np. Zoom, przeglądarki internetowej) na urządzeniu ofiary za pomocą agenta Gemini, co umożliwia szersze spektrum ataków, w tym eksfiltrację danych. Ten typ ataku dotyczy tylko użytkowników Androida.

Google już zareagował na sytuację

Ponieważ badacze podzielili się swoimi odkryciami bezpośrednio z firmą Google, która rozwija sztuczną inteligencję Gemini, nie musicie obawiać się bezpośrednio niebezpieczeństwa związanego z wyżej opisanymi zjawiskami. Kalifornijski gigant technologiczny wdrożył bowiem rozwiązania, które mają wyeliminować lub przynajmniej znacznie ograniczyć problemy. Z poziomu „wysokiego do krytycznego” poziom ryzyka miał zostać obniżony do „średniego do niskiego”.

Mimo to powinniście być bardziej niż ostrożni, któremu asystentowi AI udostępniacie swoje dane. Badanie wykazało bowiem, że nawet sztuczna inteligencja od jednego z największych graczy w sektorze technologicznym może mieć znaczne luki w zabezpieczeniach.

Czy używasz Google Gemini jako swojego osobistego asystenta?

Źródło: Invitation Is All You Need/Google Sites, Wired