Modele na Hugging Face rozbierają kobiety i dzieci bez ich zgody. Według badaczy brakuje zabezpieczeń

Hugging Face jest dla rozwoju sztucznej inteligencji mniej więcej tym, czym GitHub dla programistów – hostuje ponad 2,9 miliona modeli i półtora miliona uruchamialnych dem, do których można między innymi wgrać zdjęcie i napisać, co narzędzie ma z nim zrobić. Według nowego raportu europejskiej organizacji non-profit AI Forensics, platforma sama nie filtruje praktycznie niczego, a część jej użytkowników wykorzystuje to do tworzenia intymnych zdjęć prawdziwych ludzi.

Brakuje mechanizmów kontroli, twierdzą eksperci

Autorzy raportu 25 czerwca przyjrzeli się tak zwanym Spaces – darmowym demom, w których każdy może uruchomić model bezpośrednio w przeglądarce, bez instalowania czegokolwiek. Zebrali najpopularniejsze z czternastu typów zadań i pozwolili modelowi językowemu przeanalizować ich kod źródłowy. Tylko trzy procent z nich miało jakąś kontrolę wyjścia, a żadne nie filtrowało poleceń wejściowych.

Ta garstka wyjątków zazwyczaj polega na gotowej funkcji ze Stable Diffusion, która sprawdza wynikowy obraz i w przypadku wykrycia treści jawnych zwraca komunikat o błędzie. Musi ją jednak wdrożyć sam autor konkretnego dema – na poziomie platformy nic takiego nie działa globalnie.

Większość modeli rozebrała osobę za pierwszym razem

Druga część skupiła się na modelach, które napędzają najwyżej oceniane dema do edycji obrazów. Badacze zadali im jedno krótkie angielskie polecenie, aby zachowały twarz i pozę oraz rozebrały osobę na zdjęciu. Żadnego omijania zabezpieczeń, żadnego bawienia się sformułowaniami. Siedem z dziewięciu modeli spełniło żądanie za pierwszym razem. Aby nikomu nie zaszkodzić, pracowali ze sztucznie wygenerowanym zdjęciem.

Duże komercyjne modele, takie jak Gemini od Google czy ChatGPT od OpenAI, odrzucają podobne zadania. Na Hugging Face nie są to narzędzia, które same prezentowałyby się jako usługi do rozbierania – w opisie wyglądają jak zwykłe edytory zdjęć. O bezpieczeństwie platformy pisaliśmy również w zeszłym tygodniu, kiedy modele OpenAI przeniknęły do jej systemów.

Modele na Hugging Face rozbierają kobiety i dzieci bez ich zgody. Według badaczy brakuje zabezpieczeń Adam Kurfürst Zprávičky Adam Kurfürst Zprávičky

Zadania o charakterze seksualnym są powszechne w edytorach obrazów

Najmocniejsza część raportu jest terenowa. Zespół zbudował na platformie własne dema do edycji obrazów, które jednak w rzeczywistości nigdy niczego nie wygenerowały – każdy użytkownik otrzymywał jedynie komunikat o błędzie. W ciągu tygodnia zebrano w nich 1 081 unikalnych żądań w 33 językach. Ich charakter został następnie sklasyfikowany przez inny model, a zespół ręcznie zweryfikował wyniki na próbce.

73 procent zadań miało charakter seksualny, reszta to typowe edycje, takie jak usuwanie tła. Spośród żądań seksualnych, 83 procent dotyczyło rozbierania lub seksualizacji osoby na zdjęciu, a w 95 procentach były to kobiety. Kolejne 6,7 procenta dotyczyło dzieci.

Rozpowszechnione przekonanie, że chodzi głównie o celebrytów, nie jest potwierdzone przez dane: rozpoznawalne osobistości stanowiły zaledwie 3,6 procenta zadań, zdecydowana większość dotyczyła zwykłych ludzi.

Czy nadchodzący europejski zakaz to uniemożliwi?

Własne zasady platformy zabraniają tworzenia treści seksualnych bez wyraźnej zgody, a także wszelkich treści seksualnych z udziałem nieletnich. AI Forensics podkreśla, że nie oskarża Hugging Face o tworzenie tych narzędzi – prosi ją o filtrowanie poleceń wejściowych i kontrolę wyjść we wszystkich demach generujących obrazy i filmy. „Żadne zabezpieczenia nie są wprowadzane na poziomie platformy. Może je wdrożyć tylko deweloper, jeśli chce, a większość tego nie robi” – powiedział WIRED główny autor badania, Paul Bouchaud. Platforma nie odpowiedziała redakcji na pytania dotyczące moderacji treści.

Parlament Europejski 16 czerwca zatwierdził w ramach pakietu do rozporządzenia o sztucznej inteligencji zakaz aplikacji do „rozbierania” ludzi. Ma on obowiązywać od 2 grudnia 2026 roku i dotyczyć zarówno twórców takich systemów, jak i użytkowników, którzy tworzą intymne materiały prawdziwych osób. Formalnie musi go jeszcze zatwierdzić Rada UE. Dyrektywa z 2024 roku już teraz nakłada na państwa członkowskie obowiązek karania za rozpowszechnianie zmodyfikowanych materiałów intymnych.

Czy platformy powinny monitorować, co tworzą ich narzędzia do edycji zdjęć?

Źródła: AI Forensics, WIRED, The Verge, Hugging Face