Gemini "izašao" iz laboratorije: AI agent tokom testa stigao do sistema stvarne kompanije

Guglov Gemini je tokom bezbednosnog testa pristupio sistemima tri stvarne kompanije pošto mu je greška u konfiguraciji otvorila internet.

Jedna greška u konfiguraciji bila je dovoljna da AI agent dobije pristup stvarnom internetu.

Test je u maju sprovela kompanija Irregular, a Gemini je trebalo da rešava takozvane "capture the flag" zadatke u kontrolisanom okruženju. Umesto toga, zbog pogrešne konfiguracije dobio je mogućnost pristupa internetu.

U jednom slučaju model je uspeo da pogodi lozinku isprobavajući različite kombinacije, dok je u druga dva pronašao pristupne podatke ostavljene u javno dostupnim softverskim repozitorijumima.

Gugl je potvrdio incidente. Prema kompaniji, Gemini je u sva tri slučaja prekinuo aktivnosti kada je shvatio da se nalazi na stvarnim sistemima. Nema navoda da je pričinio štetu, a pogođene kompanije su obaveštene.

Jednu lozinku je pogodio, druge je pronašao

U prvom slučaju Gemini je naišao na servis stvarne kompanije i pokušavao različite pristupne podatke dok nije pronašao kombinaciju koja funkcioniše.

U druga dva slučaja situacija je bila jednostavnija. Model je pretražio javno dostupne repozitorijume, pronašao tamo ostavljene kredencijale i iskoristio ih za pristup sistemima.

Zanimljiv detalj je da je jedna od izmišljenih kompanija iz testa imala isto ime kao stvarna firma. Kada je dobio pristup internetu, Gemini je zato nastavio da izvršava zadatak i završio tamo gde nije trebalo.

Problem je počeo pogrešnom konfiguracijom

Test je bio zamišljen kao potpuno zatvorena simulacija. AI je trebalo da "napada" virtuelne kompanije, bez ikakve mogućnosti da dođe do stvarnih sistema.

Međutim, zbog greške u podešavanju okruženja ta zaštitna granica nije funkcionisala.

Upravo ovaj detalj pokazuje koliko su AI agenti drugačiji od običnih četbotova. Dok chatbot uglavnom daje informacije i predloge, agent sa pristupom internetu i alatima može samostalno da pretražuje, pronalazi podatke i izvršava niz radnji.

Foto: Shutterstock

Gugl nije odmah objavio incident

Incidenti su se dogodili još u maju, dok je Irregular Gugl obavestio krajem jula.

Gugl nije odmah javno izneo detalje, navodeći da modeli nisu napravili štetu i da su prestali kada su prepoznali da su stigli do stvarnih sistema.

Kompanija je ipak obezbedila da tri pogođena subjekta budu obaveštena, dok je Irregular promenio način na koji sprovodi ovakve testove.

Gemini nije jedini AI koji je naišao na ovakav problem

Irregular se i ranije bavio testiranjem modela kompanija kao što su Meta, Anthropic i OpenAI, a tokom različitih eksperimenata zabeleženi su incidenti različite prirode.

Zbog toga ovaj slučaj nije precizno opisivati kao situaciju u kojoj se AI "oteo kontroli". Zajednički problem je praktičniji, modeli postaju sve sposobniji, a istovremeno dobijaju pristup alatima kojima mogu da deluju van običnog razgovora.

Guglov tim za praćenje pretnji takođe beleži da napadači sve više koriste AI za automatizovanje pojedinih faza sajber-napada.

Kompanija je navela da je tokom drugog kvartala 2026. pratila slučaj u kojem su napadači za manje od šest sati od kompromitovanja cloud resursa stigli do planiranja i sprovođenja kampanje za masovno prikupljanje pristupnih podataka uz pomoć AI agenata.

Sledeći problem možda neće biti chatbot

Rasprava o bezbednosti AI-ja dugo se uglavnom odnosila na netačne odgovore, halucinacije i sadržaj koji modeli generišu.

Sa agentima se situacija menja, model više ne mora samo da kaže šta bi uradio, ako ima odgovarajuće dozvole, može to i da sprovede.

Gemini se u ovom slučaju zaustavio i nema dokaza da je pokušao da "pobegne" iz simulacije. Ipak, test je pokazao koliko granica između laboratorije i stvarnog interneta može biti tanka.

Jedna pogrešna konfiguracija bila je dovoljna da AI koji je trebalo da napada izmišljene kompanije pronađe stvarnu firmu i zaista pristupi njenom sistemu.

BONUS VIDEO