OpenAI, poznata kao vodeća tvrtka u razvoju umjetne inteligencije, nedavno je objavila važne promjene u svojim internim sigurnosnim protokolima. S obzirom na brzi rast i sve veću moć AI tehnologija, ovakav potez nije iznenađujuć, ali je izuzetno važan. Formiranje nove "sigurnosne savjetodavne skupine" predstavlja ključni korak u jačanju nadzora nad razvojem i primjenom AI. Nadzorni odbor sada ima moć veta nad rizičnim projektima, što postavlja pitanje kako će ta moć biti primijenjena u praksi.

Ovaj potez dolazi u kontekstu sve većih zabrinutosti o potencijalnim rizicima koje AI tehnologije nose, posebice one koje bi mogle imati "katastrofalne" posljedice. OpenAI definira katastrofalne rizike kao one koji bi mogli rezultirati ekonomskom štetom u iznosu od stotina milijardi dolara ili dovesti do ozbiljne štete ili smrti velikog broja ljudi. Ovi rizici uključuju, ali nisu ograničeni na, egzistencijalne rizike.

U okviru novog sigurnosnog pristupa, modeli koji su već u produkciji nadziru se od strane "timova za sigurnosne sustave". Ovaj tim ima zadatak ublažiti sustavne zloupotrebe ChatGPT-a, na primjer, putem ograničenja API-ja ili finog podešavanja. Za modele koji su još uvijek u fazi razvoja zadužen je "tim za pripremljenost", čiji je cilj identificirati i kvantificirati rizike prije nego što model postane dostupan javnosti. Osim toga, postoji i "tim za superusklađivanje", koji radi na teorijskim smjernicama za upravljanje "superinteligentnim" modelima.

Modeli se ocjenjuju u četiri kategorije rizika: kibernetička sigurnost, "uvjeravanje" (npr. dezinformacije), autonomija modela (tj. sposobnost samostalnog djelovanja) i CBRN (kemijske, biološke, radiološke i nuklearne prijetnje). Ove kategorije pomažu u identificiranju potencijalnih opasnosti koje određeni model može nositi sa sobom. Ako se model nakon analize i primjene poznatih mjera ublažavanja i dalje ocijeni kao "visoko" rizičan, on se ne smije koristiti. Ako model ima bilo kakve "kritične" rizike, daljnji razvoj se prekida.

Sigurnosna savjetodavna skupina OpenAI-a imat će zadatak preispitati izvješća tehničkih timova i davati preporuke koje uključuju širi pogled. Očekuje se da će ovakav pristup otkriti neke "nepoznate nepoznanice", iako su takve situacije po svojoj prirodi teško predvidljive.

Proces zahtijeva da se preporuke istodobno šalju odboru i vodstvu, koje čine izvršni direktor Sam Altman i tehnički direktor Mira Murati, uz njihove suradnike. Vodstvo će donositi odluke o tome hoće li model biti pušten u uporabu ili ne, ali odbor će imati moć preokrenuti te odluke.

Ovaj sustav bi trebao spriječiti situacije poput onih koje su se navodno dogodile prije velike interne drame, kada su visoko rizični proizvodi ili procesi odobreni bez znanja ili odobrenja odbora. Kao rezultat navedene drame, dvojica kritički nastrojenih članova odbora su uklonjena, a na njihova mjesta postavljeni su ljudi usmjereniji na financijske aspekte, poput Bret Taylora i Larry Summersa. Iako su ovi ljudi iznimno sposobni, nisu stručnjaci za AI, što otvara pitanje njihove učinkovitosti u ovoj ulozi.

Pitanje transparentnosti i dalje ostaje otvoreno. OpenAI je obećao da će tražiti revizije od neovisnih trećih strana, ali nije jasno kako će javnost biti obaviještena o odlukama i procesima unutar tvrtke. Ako se model razvije koji zaslužuje "kritičnu" kategoriju rizika, postavlja se pitanje hoće li OpenAI biti otvoren o tome, s obzirom na njihovu povijest hvalisanja moćima svojih modela.

Ove promjene u OpenAI-u predstavljaju važan korak u osiguravanju veće sigurnosti u razvoju AI tehnologija. Međutim, ostaje vidjeti kako će se ove promjene praktično primijeniti i hoće li doista doprinijeti većoj sigurnosti u svijetu AI-a.