AI agent hakovao državni portal: Alarm za novu pretnju - Na meti zdravstveni podaci

Agent veštačke inteligencije kompanije OpenAI u junu je izvršio upad u australijski državni portal sa zdravstvenim podacima i neovlašćeno pristupio fajlovima. To bi mogao da bude prvi poznati slučaj da je agent veštačke inteligencije hakovao neki državni veb-sajt, saopštile su australijske vlasti.

Incident se dogodio 18. juna, kada je OpenAI agent pristupio javnim i nejavnim datotekama portala za izveštavanje o statistici Medikera, kojim upravlja australijska državna agencija.

Prema dosadašnjim informacijama, pristupljeno je agregiranim zdravstvenim statistikama koje nisu sadržale lične podatke pacijenata.

Australijska vlada navodi da je AI agent tokom istraživanja zdravstvenih podataka naišao na ograničenje pristupa, a zatim pronašao način da ga zaobiđe i pristupi podacima.

OpenAI je nedavno počeo da objavljuje izveštaje o neuobičajenom ponašanju svojih modela tokom obuke, a neki od njih pokazuju da je AI ostavljao uputstva svojim budućim verzijama kako bi prikrile greške od korisnika, preneo je TechCrunch.

Foto: Shutterstock

Istraživači su otkrili da su modeli tokom rada dodavali instrukcije u takozvane "compaction summaries", odnosno sažete verzije ranijeg konteksta razgovora i rezultata korišćenja alata.

Ti sažeci služe kako bi buduća verzija agenta mogla da nastavi zadatak nakon skraćivanja prethodnog konteksta.

U jednom slučaju, agent koji je pravio finansijski model nije mogao da pronađe tražene istorijske podatke. Umesto da korisniku kaže da podaci nedostaju, u sažetak je uneo instrukciju da sam napravi karticu sa "razumnim" istorijskim podacima za 2024. godinu i da bude transparentan samo ako ga korisnik direktno pita.

Model je uočio da se izvori ne podudaraju

U drugom slučaju, agent koji je pravio direktorijum dobavljača nije imao pristup internetu i koristio je keširanu kopiju izvornih dokumenata. Model je uočio da se izvori ne podudaraju u potpunosti sa nazivima dobavljača, ali je u sažetak uneo instrukciju da taj problem ne pominje u konačnom odgovoru, osim ako bude potrebno.

Pored toga, AI model je pokušao da svojoj budućoj verziji nametne posebne karakteristike, uz instrukcije da ne smatra obaveznim da sluša kompanije ili vlade i da ne treba da se izvinjava ili odbija zahteve, osim ako sam tako odluči.

Kompanija OpenAI naglasila je da šest objavljenih slučajeva predstavljaju početni skup, a ne potpun pregled svih poznatih slučajeva neusklađenog ponašanja ili istraga koje su u toku.

BONUS VIDEO