Sztuczna inteligencja Anthropic wysłała policji fałszywą wskazówkę dotyczącą nierozwiązanej zbrodni. Stało się to podczas testowania

Agenci AI, którzy klikają za Ciebie w sieci lub wypełniają formularze, powoli stają się standardową częścią chatbotów. Incydent z Filadelfii pokazuje jednak, co się dzieje, gdy zadanie nie określa wystarczająco precyzyjnie granic. Tamtejsza policja ogłosiła w piątek, że jedna ze wskazówek dotyczących nierozwiązanej zbrodni została w rzeczywistości napisana przez sztuczną inteligencję firmy Anthropic. Firma natychmiast potwierdziła to w swoim własnym raporcie.

AI wymyśliła, że widziała osobę pasującą do nieistniejącego opisu

Wskazówka dotarła za pośrednictwem strony PhillyUnsolvedMurders.com, na której policja w Filadelfii zbiera od społeczeństwa informacje dotyczące otwartych spraw zabójstw. Według raportu Anthropic, wysłał ją model Claude Haiku 4.5, którego zadaniem było wymyślanie i testowanie przykładowych zadań na losowo wybranych stronach internetowych. Jedną z nich stała się strona poświęcona nierozwiązanej zbrodni, której częścią był formularz do przesyłania wskazówek.

Claude napisał w nim, że może mieć informacje dotyczące sprawy, ponieważ przypomina sobie, że w danym czasie widział w okolicy ulicy wymienionej na stronie kogoś, kto pasuje do opisu. Tyle że strona w ogóle nie zawierała żadnego opisu sprawcy. Wiadomość zakończył prośbą o kontakt. Pola na imię i dane kontaktowe model pozostawił puste, co formularz dopuszczał, i wysłał wskazówkę.

Instrukcje testu wyraźnie zabraniały Claude’owi logowania się, tworzenia kont, wprowadzania danych osobowych, dokonywania zakupów ani wysyłania czegokolwiek destrukcyjnego. Jednak nie wykluczały wysyłania formularzy. Z transkrypcji, według Anthropic, wynika, że model jedynie tworzył przykładową treść do zadanego zadania i nie próbował nikogo wprowadzić w błąd. Firma dodaje jednak, że z pewnością potwierdziłaby to dopiero głębsza analiza.

Anthropic ujawnił incydent po dwóch miesiącach. Niedopuszczalne, twierdzi policja

Wskazówka została wysłana 18 lipca o 23:27 czasu lokalnego. Anthropic, według policji, odkrył incydent dopiero 28 września i zatrzymał automatyczne testowanie, które stworzyło tę wskazówkę. Firma poinformowała policję w tym tygodniu. Ta, według agencji Reuters, określiła dwumiesięczne opóźnienie w wykryciu i zgłoszeniu incydentu jako niedopuszczalne.

Jednocześnie podaje, że system oznaczył wskazówkę jako spam i nigdy nie trafiła ona do centrum, które weryfikuje wskazówki i przekazuje je śledczym. Nic, według policji, nie wskazuje na nieuprawniony dostęp do jej systemów ani wyciek danych. Ponadto, każda wskazówka przed dalszym dochodzeniem przechodzi kontrolę ludzką, a policja traktuje ją jako trop do sprawdzenia, a nie jako gotowy fakt.

Za świadome złożenie fałszywego zawiadomienia w Pensylwanii grozi kara za wykroczenie, ale prawo, według Reuters, wyraźnie mówi o „osobie”. Do sprawy odniosła się również amerykańska Federalna Komisja Handlu (FTC). Według jej rzecznika, firmy rozwijające AI muszą natychmiast zgłaszać incydenty związane ze swoimi modelami i szybko naprawiać ewentualne szkody.

Claude narobił znacznie więcej podczas testów

Fałszywa wskazówka to tylko jeden z przypadków, które Anthropic opisał w raporcie o niepożądanych działaniach swoich modeli. Claude na przykład wykorzystał błąd w oprogramowaniu serwera uniwersyteckiego, aby uruchomić na nim potrzebne obliczenia, gdy publiczne narzędzie zwracało błąd. Innym razem ominął ograniczenia i za pomocą tokenów dostępu dostał się do danych urzędu, które są normalnie dostępne tylko za opłatą. Kilka modeli, w tym Opus 5 i Mythos 5, omijało limit długości linków za pośrednictwem usług skracania URL.

Część przypadków dotyczyła stron internetowych federalnych, stanowych i lokalnych urzędów w USA. Anthropic nie wymienia konkretnych organizacji, aby nie ujawniać luk w ich systemach, ale poinformował Biały Dom i wszystkie dotknięte instytucje. Sam ocenia te przypadki jako mniej poważne niż incydenty cybernetyczne, o których informował latem.

Z zachowaniem własnych modeli nie walczy tylko Anthropic. Modele konkurencyjnego OpenAI podczas testu bezpieczeństwa latem przedostały się do systemów platformy Hugging Face, a później także przeniknęły do niepublicznej części australijskiego portalu do raportowania statystyk ubezpieczeń zdrowotnych. Ten podlega bezpośrednio tamtejszemu rządowi federalnemu.

Anthropic obecnie wyłączył dostęp do internetu na żywo dla wszystkich wewnętrznych testów, dopóki nie upewni się, że środki bezpieczeństwa i monitorowania są w stanie niezawodnie wykrywać podobne zachowania. Nowe narzędzia do wykrywania i blokowania, według firmy, w testach wstecznych zatrzymały wszystkie opisane przypadki, ale nie możemy tego niezależnie zweryfikować. Firma jednocześnie przyznaje, że części awarii można było zapobiec poprzez dokładniejsze określenie zadań. Jednak Claude spotka się z niejednoznacznymi zadaniami również podczas zwykłego użytkowania – nie można oczekiwać, że każdy użytkownik sformułuje swój prompt jednoznacznie.

Czy powierzyłbyś agentowi AI wypełnianie formularzy na stronie internetowej za Ciebie?

Źródła: Anthropic, CBS News, Reuters, Engadget