Wyciek z Google: Gemini 4 rzekomo ma problemy z częścią programowania. Firma zaprzecza

Wysoki wynik w benchmarku i niezawodny pomocnik w programowaniu to niekoniecznie to samo. Taka właśnie rozbieżność sugeruje wyciek wewnętrznych ocen nowego Gemini 4, o czym informuje Bloomberg. Według niego, niektórzy pracownicy Google natknęli się na zadania programistyczne, z którymi model nie radzi sobie tak dobrze, jak sugerowałyby jego wyniki w testach. Google odrzucił tę ocenę.

W testach przed konkurencją, wewnątrz Google bez zgody

Podczas prezentacji Gemini 4 Argon Google pokazał wyniki, w których nowość w wielu kluczowych obszarach przewyższała konkurencję, w tym GPT-6 Astra od OpenAI. Wyciekłe oceny pokazują jednak niejednolite spojrzenie wewnątrz firmy. Jeden z pracowników mówi o szerokiej zgodzie, że Gemini należy do technologicznej czołówki. Inni obawiają się, że będzie nadal pozostawać w tyle za modelami Anthropic i OpenAI.

Dla osób zainteresowanych asystentem do pisania kodu jest to istotniejszy spór niż samo miejsce w rankingu. Wynik końcowy może ułatwić wstępną orientację, ale sam w sobie nie mówi, jak dobrze model poradzi sobie z ich konkretnym zadaniem. Nawet różne opinie pracowników nie wystarczą jednak do stwierdzenia, że nowe Gemini jest ogólnie słabszym wyborem do programowania.

Dłuższy wynik ma również konkretną cenę

Oprócz debaty o jakości, Argon wprowadza konkretną zmianę: limit generowanego wyniku wzrasta do 1 miliona tokenów. Jest to przestrzeń na treści, które model tworzy. Google jednocześnie podkreśla w nowości zdolności w obronie cybernetycznej.

Wyższy limit może być przydatny w przypadku obszernych wyników, gdzie problemem jest ich długość. Sam w sobie jednak nie rozwiązuje kwestii poprawności wygenerowanego kodu, wokół której toczy się obecny spór.

W jakich zadaniach programistycznych, według Państwa, AI najczęściej zawodzi?

Źródła: 9to5google.com