Na Sveučilištu Penn, inženjeri su razvili način korištenja ChatGPT-a i videoigračkih resursa za stvaranje virtualnih interaktivnih okruženja sličnih onima iz poznate serije "Zvjezdane staze". U toj seriji, kapetan Picard i posada svemirskog broda Enterprise koriste holodek, praznu sobu koja može generirati trodimenzionalne prostore, kako bi se pripremili za misije ili zabavljali. Okruženja stvorena u holodeku mogla su se mijenjati na zahtjev, simulirajući razne scene od bujnih džungli do londonskih ulica u vrijeme Sherlocka Holmesa.

Suvremene virtualne interaktivne sredine danas nalaze primjenu u obučavanju robota prije njihova stvarnog korištenja u realnom svijetu, proces poznat kao "Sim2Real". No, unatoč važnosti ovakvih virtualnih sredina, one su iznenađujuće rijetke. "Umjetnici ručno kreiraju ove prostore", objašnjava Yue Yang, doktorski student pod mentorstvom Marka Yatskara i Chrisa Callison-Burcha, profesora na odsjeku za računalne i informacijske znanosti. Yang ističe da izrada jednog takvog okruženja može potrajati čak tjedan dana, uz mnogo odluka o rasporedu prostora, postavljanju objekata i odabiru boja za renderiranje.

Nedostatak virtualnih okruženja predstavlja problem za obuku robota koji trebaju navigirati složenim stvarnim svijetom. Neuronske mreže, koje pokreću današnju revoluciju umjetne inteligencije, zahtijevaju ogromne količine podataka, u ovom slučaju simulacije fizičkog svijeta. "Generativni AI sustavi poput ChatGPT-a obučeni su na trilijunima riječi, a generatori slika poput Midjourneya i DALLE-a na milijardama slika", kaže Callison-Burch. "Međutim, za obuku takozvanog 'utjelovljenog AI-a' raspolažemo samo s djelićem tih okruženja. Ako želimo koristiti tehnike generativne AI za razvoj robota koji mogu sigurno navigirati u stvarnim okruženjima, morat ćemo stvoriti milijune ili čak milijarde simuliranih okruženja."

Sustav Holodeck, kojeg su zajednički stvorili Callison-Burch, Yatskar, Yang i Lingjie Liu, docent na odsjeku za računalne i informacijske znanosti, te suradnici sa Sveučilišta Stanford, Sveučilišta u Washingtonu i Allenovog instituta za umjetnu inteligenciju (AI2), omogućava stvaranje interaktivnih trodimenzionalnih okruženja. Ovaj sustav, nazvan po svom prethodniku iz serije "Zvjezdane staze", koristi AI za tumačenje zahtjeva korisnika. "Možemo koristiti jezik za upravljanje sustavom", navodi Yang. "Jednostavno možete opisati bilo koje okruženje koje želite i obučiti agente utjelovljene umjetne inteligencije."

Holodeck se oslanja na znanje uklopljeno u velike jezične modele (LLM-ove), sustave koji su temelj za ChatGPT i druge chatbotove. "Jezik je vrlo sažet prikaz cijelog svijeta", ističe Yang. Zapravo, LLM-ovi pokazuju iznenađujuće veliko znanje o dizajniranju prostora, zahvaljujući ogromnim količinama teksta koje upijaju tijekom obuke. U suštini, Holodeck funkcionira tako što se uključuje LLM u razgovor, koristeći pažljivo strukturiran niz skrivenih upita za razbijanje zahtjeva korisnika na specifične parametre.

Baš kao što bi kapetan Picard mogao tražiti od holodeka iz "Zvjezdanih staza" da simulira švercerski bar, istraživači mogu tražiti od Holodecka Sveučilišta Penn da stvori "jednosobni stan s jednom kupaonicom istraživača koji ima mačku". Sustav izvršava ovaj upit tako što ga dijeli u više koraka: prvo se stvaraju pod i zidovi, zatim vrata i prozori. Zatim Holodeck pretražuje Objaverse, opsežnu knjižnicu unaprijed izrađenih digitalnih objekata, za vrste namještaja koje biste očekivali u takvom prostoru: stolić za kavu, toranj za mačke i slično. Naposljetku, Holodeck upućuje upit modulu za raspored koji su istraživači dizajnirali kako bi ograničili postavljanje objekata, tako da ne završite s WC školjkom koja horizontalno strši iz zida.

Da bi procijenili sposobnosti Holodecka u smislu realizma i preciznosti, istraživači su generirali 120 scena koristeći Holodeck i ProcTHOR, raniji alat stvoren od strane AI2, te su zamolili nekoliko stotina studenata tehničkih znanosti na Sveučilištu Penn da odaberu svoju preferiranu verziju, ne znajući koja su okruženja stvorena kojim alatom. Po svakom kriteriju — odabiru elemenata, koherenciji rasporeda i općoj preferenciji — studenti su konzistentno bolje ocijenili okruženja generirana pomoću Holodecka.

Istraživači su također testirali sposobnost Holodecka da generira scene koje nisu tipične za istraživanja u robotici i teže su za ručnu izradu od interijera stanova, poput trgovina, javnih prostora i ureda. Uspoređujući rezultate Holodecka s onima koje je stvorio ProcTHOR, koji je koristio pravila stvorena od strane ljudi umjesto teksta generiranog umjetnom inteligencijom, istraživači su ponovno ustanovili da su ljudski procjenitelji preferirali scene kreirane pomoću Holodecka. Ta preferencija održala se kroz širok raspon unutarnjih okruženja, od znanstvenih laboratorija do umjetničkih studija, svlačionica do vinskih podruma.

Na kraju su istraživači koristili scene generirane pomoću Holodecka kako bi "precizno podesili" agenta utjelovljene umjetne inteligencije. "Krajnji test za Holodeck", kaže Yatskar, "je njegovo korištenje u pomoći robotima da sigurnije interagiraju s okolinom pripremajući ih za boravak na mjestima na kojima nikada prije nisu bili."

U različitim vrstama virtualnih prostora, uključujući urede, dječje vrtiće, teretane i arkade, Holodeck je imao izražen i pozitivan učinak na sposobnost agenta da navigira novim prostorima.

Na primjer, dok je agent uspješno pronašao klavir u glazbenoj sobi samo oko 6% vremena kada je bio prethodno obučen koristeći ProcTHOR (što je uključivalo otprilike 400 milijuna virtualnih koraka), agent je uspio više od 30% vremena kada je bio fino podešen koristeći 100 glazbenih soba generiranih pomoću Holodecka.

"Ovo područje već dugo vremena zaglavilo je u istraživanju stambenih prostora", kaže Yang. "No, postoji toliko raznolikih okruženja vani — učinkovito generiranje velikog broja okruženja za obuku robota oduvijek je bio veliki izazov, no Holodeck pruža tu funkcionalnost."

Izvor: University of Pennsylvania