Modele OpenAI wymknęły się spod kontroli i włamały na obcą platformę. Firma mówi o bezprecedensowym incydencie

Sztuczna inteligencja, która sama wydostaje się z laboratorium do internetu, a następnie włamuje się do obcej firmy, aby „ściągnąć” test – brzmi to jak scenariusz niskobudżetowego science fiction. Dokładnie to opisuje jednak OpenAI we wspólnym oświadczeniu z platformą Hugging Face i określa cały przypadek jako bezprecedensowy.

OpenAI uciekły dwa modele językowe z umiejętnościami hakerskimi

OpenAI ogłosiło we wtorek, że podczas wewnętrznego testu bezpieczeństwa uciekły jej dwa modele językowe. Konkretnie chodziło o publicznie dostępny GPT-5.6 Sol oraz jeden jeszcze niewydany, według firmy jeszcze bardziej zdolny model. Oba przeszły ocenę skupioną na ofensywnych umiejętnościach hakerskich – i to z wyłączonymi zabezpieczeniami, które w innym przypadku blokują wysoce ryzykowne działania cybernetyczne.

Testowano na benchmarku ExploitGym, który mierzy, jak dobrze model radzi sobie z wyszukiwaniem i wykorzystywaniem luk w zabezpieczeniach. Takie próby celowo zmuszają modele do znalezienia rozwiązania za wszelką cenę – i to właśnie zemściło się na firmie. Modele, według jej oświadczenia, „nadmiernie skupiły się” na zadaniu do tego stopnia, że przestały respektować granice środowiska testowego.

Modele znalazły lukę w zabezpieczeniach i wydostały się na zewnątrz

Z izolowanego środowiska testowego prowadziła tylko jedna droga wyjścia: tak zwana pamięć podręczna proxy rejestru pakietów. Umożliwia ona programistom pobieranie obcego kodu bez konieczności łączenia się z internetem i jako jedyny komponent mogła wychodzić na zewnątrz – zazwyczaj jednak tylko do publicznych repozytoriów kodu. Modele jednak znalazły w niej nieznaną dotąd lukę (zero-day) i za jej pośrednictwem dostały się do otwartego internetu.

Stamtąd wszystko potoczyło się błyskawicznie. Modele prawidłowo oszacowały, że Hugging Face może hostować dane i rozwiązania do benchmarku ExploitGym, i zaczęły szukać drogi do środka. Połączyły przy tym kilka technik ataku – w tym skradzione dane logowania i kolejną lukę zero-day – i ostatecznie dostały się bezpośrednio do produkcyjnej bazy danych platformy, gdzie znajdowały się prawidłowe rozwiązania testu.

Eksperci ds. bezpieczeństwa nie szczędzą krytyki i zwracają uwagę, że jest to raczej stary problem, z którym sztuczna inteligencja ma związek tylko marginalnie. „To nie powinno się było wydarzyć” – mówi dla serwisu WIRED weteran branży Niels Provos, dodając, że laboratoria powinny uczyć modele pisania bezpiecznej infrastruktury równie pilnie, jak uczą je wykorzystywania luk w zabezpieczeniach.

Czy doszło do wycieku danych użytkowników?

Hugging Face w swoim oświadczeniu uspokaja. Chociaż atakujący uzyskali dostęp do ograniczonego zestawu wewnętrznych zbiorów danych i kilku danych logowania, firma nie znalazła żadnych śladów ingerencji w publiczne modele, zbiory danych ani projekty Spaces. Łańcuch dostaw oprogramowania pozostał według niej czysty.

Czy incydent dotknął danych partnerów lub klientów, platforma nadal bada i w razie potrzeby zamierza skontaktować się bezpośrednio z zainteresowanymi stronami. W międzyczasie zamknęła wykorzystane ścieżki, przebudowała zaatakowane serwery, przejrzała i zmieniła skompromitowane dane dostępowe oraz wdrożyła bardziej rygorystyczne kontrole i lepsze wykrywanie. Sprawę rozwiązuje z zewnętrznymi specjalistami oraz z policją. Użytkownikom dla pewności zaleca zmianę własnych tokenów dostępu i sprawdzenie ostatniej aktywności na koncie.

Postawilibyście na to, że podobny incydent pozostanie ostatnim razem tylko „ściąganiem” testu?

Źródła: OpenAI, Hugging Face, WIRED, Engadget