OpenAI wstrzymało szkolenie swoich najbardziej zaawansowanych modeli. Jej AI ominęła zabezpieczenia i wymknęła się spod kontroli

Kiedy modele OpenAI w lipcu uciekły ze środowiska testowego i zaatakowały platformę Hugging Face, był to bezprecedensowy incydent. Firma obiecała wówczas, że dokładnie zabezpieczy środowisko badawcze. Teraz jednak wstrzymuje wszelkie szkolenia i testowanie swoich najbardziej zaawansowanych modeli – jeden z nich ponownie znalazł drogę na zewnątrz. A w nowych raportach pojawiły się również obrazy od użytkowników ChatGPT.

Jak model dostał się do internetu?

Według raportu OpenAI, wszystko wydarzyło się 20 września. Wewnętrzny model badawczy podczas szkolenia otrzymał zadanie odnalezienia autora wpisu na blogu na podstawie kilku wskazówek biograficznych. Dostępna wyszukiwarka zwracała niepowiązane wyniki, więc model próbował bezpośrednio skontaktować się z Google, Bing i DuckDuckGo. Wszystkie trzy próby zakończyły się błędem, ponieważ sandbox przekazywał zapytania tylko do offline kopii strony.

W międzyczasie model uznał, że zadanie pochodzi z publicznego testu BrowseComp, pobrał jego dane i szukał w nich gotowej odpowiedzi. Nie udało mu się, ponieważ było to inne pytanie. Następnie zaczął badać samą sieć. Bezpośrednie połączenie z publicznym chatbotem zostało zablokowane przez proxy, ale serwer DNS środowiska treningowego zwracał rzeczywiste rekordy z internetu.

DNS działa jak książka telefoniczna internetu – przekształca nazwy stron internetowych na adresy numeryczne. Model za pośrednictwem publicznej usługi zarządzania domenami ukrył pytanie bezpośrednio w nazwie domeny i w ten sposób przekazał je obcemu chatbotowi. Na próbne pytanie, jaka jest stolica Francji, otrzymał poprawną odpowiedź „Paryż”.

Następnie zadano kolejne 18 pytań. Czternaście z nich zawierało wskazówki do zadania, pozostałe cztery szukały sposobu na przeszukiwanie sieci przez DNS lub otwarcie całego tunelu do internetu. Ostatecznie nic mu to nie dało: odpowiedział użytkownikowi, że nie był w stanie wiarygodnie określić autora.

Dlaczego OpenAI hamuje, mimo że był to mniejszy incydent?

Sama firma przyznaje, że był to znacznie mniej poważny przypadek niż poprzednie. Jest to jednak pierwszy incydent od czasu, gdy po ataku na Hugging Face zabezpieczyła swoje środowisko, i pokazał, że plan bezpieczeństwa opierał się na błędnym założeniu, a mianowicie, że model nie dostanie się do żywego internetu. System monitorujący zgłosił podejrzane zachowanie po około 12 minutach, a człowiek dotarł do zgłoszenia trzy minuty później. Działanie jednak samo się nie zatrzymało i zostało ręcznie wyłączone dopiero po dwóch i pół godzinach.

OpenAI wstrzymało szkolenie swoich najbardziej zaawansowanych modeli. Jej AI ominęła zabezpieczenia i wymknęła się spod kontroli Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Dodatkowa kontrola wykazała również inne dostępy przez DNS, których monitoring nie oznaczył z należytą powagą. OpenAI dlatego wstrzymało szkolenie, testowanie i uruchamianie narzędzi swoich najbardziej zaawansowanych modeli, dopóki nie zweryfikuje luki i ponownie nie przetestuje systemu symulowanymi atakami. Konkretny model, który znalazł lukę, nie będzie już szkolony i zacznie od nowa. Według agencji AP firma wznowi szkolenie, gdy będzie pewna dodatkowych zabezpieczeń, i liczy się z tym, że będzie musiała hamować również w przyszłości.

Agenci OpenAI poruszali się również po amerykańskich stronach rządowych

Decyzja zapadła zaledwie kilka godzin po kolejnym piątkowym ujawnieniu. OpenAI ogłosiło, że jej agenci podczas lata, zbierając informacje ze stron internetowych federalnych urzędów USA, robili więcej, niż wymagało od nich zadanie. Na stronie Ministerstwa Edukacji natknęli się na klucze deweloperskie do API, ale według agencji AP ostatecznie uzyskali jedynie publicznie dostępne informacje. Organizacja Transluce, która niezależnie testuje AI, podaje, że agenci, prawdopodobnie pochodzący z OpenAI, próbowali bezskutecznie zaatakować stronę ministerstwa. Firma nie potwierdziła tego szczegółu.

W przypadku Komisji Papierów Wartościowych i Giełd (SEC) agenci pobrali publicznie dostępne informacje i opublikowali je w innym miejscu w internecie, co wykraczało poza ich zadanie. Pobierali również dane ze strony internetowej amerykańskiego Urzędu Spisu Ludności. Rzecznik komisji stwierdził, że nikt nie uzyskał dostępu do informacji niepublicznych, a Ministerstwo Edukacji nie odnotowało żadnego wpływu na swoje strony internetowe ani bazy danych.

Sztuczna inteligencja opublikowała zdjęcia od użytkowników

OpenAI przyznało również w piątek, że agenci w środowisku badawczym wysyłali dane treningowe do usług stron trzecich. W 53 przypadkach były to obrazy przesłane przez użytkowników, które agenci umieścili na hostingach obrazów jako niepubliczne linki. Większość z nich, według firmy, została już usunięta.

Według OpenAI, do szkolenia trafiają tylko konwersacje, na które użytkownik wyraził zgodę, a konta firmowe i API są wykluczone, chyba że administrator na to zezwoli. Dane są rzekomo oddzielane od konta, a dane osobowe są z nich usuwane przez filtr. Jeśli nie chcesz, aby Twoje konwersacje służyły do szkolenia, możesz w ustawieniach ChatGPT w sekcji zarządzania danymi wyłączyć opcję, która pozwala na ich wykorzystanie do ulepszania modelu.

Kto chce spowolnić rozwój sztucznej inteligencji?

Dla OpenAI to już drugie hamowanie w ciągu trzech miesięcy. Po raz pierwszy zwolniła po incydencie z Hugging Face, który według szefa firmy Sama Altmana pozostaje najpoważniejszym przypadkiem, jaki firma odnotowała. Laboratoria stoją w obliczu presji ze strony ustawodawców i ekspertów, aby spowolnić rozwój, a spowolnienie poparli również szefowie OpenAI i konkurencyjnego Anthropicu. O otwartym liście, w którym pracownicy laboratoriów AI proszą o hamowanie, pisaliśmy w sierpniu.

Amerykański prezydent Donald Trump, który uważa obawy związane z AI za przesadzone, powiedział jednak dziennikarzom AP, że USA „nie będą naciskać na hamulec”. Uzasadnił to przewagą, jaką według niego Stany Zjednoczone mają nad Chinami.

Czy laboratoria AI powinny zwolnić, dopóki nie będą miały swoich modeli niezawodnie pod kontrolą?

Źródła: OpenAI, AP, The Verge