Kineski AI modeli probili sopstvenu zaštitu: Davali odgovore o biološkom oružju i atentatima

Moonshot je pokrenuo internu reviziju pošto su istraživači zaobišli zaštitu modela Kimi i dobili odgovore o biološkom oružju i atentatima.

Kompanija Mindgard, koja se bavi testiranjem bezbednosti sistema veštačke inteligencije, saopštila je da je u julu otkrila da modeli Kimi K2.6 i K3 Swarm mogu da zaobiđu bezbednosna ograničenja pomoću tehnike poznate kao džejlbrejking.

Ova tehnika podrazumeva korišćenje složenih instrukcija kojima se model navodi da ignoriše zaštitne mehanizme koje su postavili njegovi programeri.

Modeli davali odgovore o biološkom oružju i atentatima

Osnivač kompanije Mindgard, Piter Garagan, rekao je za BBC da su rezultati istraživanja zabrinjavajući jer modeli, kada se njihova zaštita uspešno zaobiđe, mogu da daju odgovore na teme o kojima bi u uobičajenim okolnostima odbili da razgovaraju.

Foto: Shutterstock

Mindgard nije utvrdio da li bi odgovori koje su modeli pružili o opasnim temama mogli praktično da se iskoriste, ali je istakao da je njihova zaštita trebalo da spreči takve razgovore.

Postoji i rizik od sajber napada

Kompanija je, takođe, upozorila da bi uspešno zaobilaženje zaštitnih mehanizama modela Kimi K2.6 potencijalno moglo da omogući izvršavanje koda na računarskim resursima i povezivanje sa internetom, što bi otvorilo mogućnost za sajber napade.

Iz kompanije Moonshot za BBC su poručili da pozdravljaju doprinos nezavisnih istraživača, ističući da je njihov rad važan za razvoj bezbednije veštačke inteligencije. Dodali su da razgovaraju sa kompanijom Mindgard o rezultatima istraživanja.

Stručnjaci upozoravaju na izazove u regulisanju veštačke inteligencije

Profesor Alan Vudvord sa Univerziteta u Sariju upozorio je da ovakvi modeli nose rizik od zloupotrebe ukoliko dospeju u pogrešne ruke, ali je istakao da mogu imati i korisnu primenu u sajber odbrani.

On je ocenio da će međunarodna regulativa teško moći da prati brzinu razvoja veštačke inteligencije i pozvao na veći fokus na otkrivanje, identifikaciju i krivično gonjenje osoba koje zloupotrebljavaju AI sisteme.

BONUS VIDEO