Veliki jezični modeli (LLM) predstavljaju vrhunac današnje tehnologije umjetne inteligencije, demonstrirajući izvanrednu sposobnost razumijevanja i generiranja teksta. Njihova vještina u tekstualnom rezoniranju omogućuje im da shvate kontekst dokumenata i pruže logične, suvisle odgovore. Međutim, unatoč toj sofisticiranosti, isti ti modeli često nailaze na nepremostive prepreke kada se suoče s najjednostavnijim matematičkim ili logičkim problemima. Paradoks leži u činjenici da je tekstualno rezoniranje, njihova temeljna snaga, često neadekvatan alat za rješavanje računskih ili algoritamskih zadataka.

Iako su neki napredni LLM-ovi, poput GPT-4, sposobni generirati programski kôd u jezicima kao što je Python kako bi riješili simboličke upite, ključni izazov ostaje: modeli ne znaju uvijek kada je prikladno koristiti kôd umjesto teksta, niti koji bi tip kôda bio najučinkovitiji za dani problem. Čini se da je ovim moćnim jezičnim modelima potreban svojevrsni "trener" ili "mentor" koji bi ih usmjeravao prema optimalnoj tehnici rješavanja problema. Upravo tu na scenu stupa inovativno rješenje s Massachusetts Institute of Technology (MIT).

Inteligentni asistent za jezične modele

Istraživači s MIT-a razvili su sustav nazvan CodeSteer, inteligentnog asistenta dizajniranog da vodi veliki jezični model kroz proces odabira između generiranja teksta i programskog kôda sve dok ne dođe do točnog rješenja upita. CodeSteer, koji je i sam manji, specijalizirani jezični model, funkcionira tako da automatski generira niz uputa (promptova) kako bi iterativno usmjeravao rad većeg, snažnijeg LLM-a. Nakon svakog koraka, CodeSteer analizira trenutne i prethodne odgovore modela te pruža smjernice za ispravak ili poboljšanje rješenja, nastavljajući taj proces sve dok ne procijeni da je odgovor točan i potpun.

Ovaj pristup pokazao se iznimno uspješnim. Istraživanje je otkrilo da je nadopunjavanje većeg LLM-a sustavom CodeSteer povećalo njegovu točnost na simboličkim zadacima za više od 30 posto. Testirani zadaci uključivali su širok spektar problema, od množenja brojeva i rješavanja Sudoku zagonetki do logičkih zadataka poput slaganja blokova. Značajno je i to što je ovaj sustav omogućio manje sofisticiranim modelima da nadmaše naprednije modele s poboljšanim sposobnostima rezoniranja, ali bez vanjskog vođenja.

Ovaj napredak ima potencijal drastično poboljšati sposobnosti rješavanja problema kod LLM-ova, posebno kod složenih zadataka koje je izuzetno teško riješiti isključivo tekstualnim rezoniranjem. Primjeri takvih zadataka uključuju generiranje putanja za robote u neizvjesnim okruženjima ili optimizaciju rasporeda pošiljaka unutar kompleksnog međunarodnog lanca opskrbe.

"Svjedočimo utrci u razvoju sve boljih modela sposobnih za sve, no mi smo zauzeli komplementaran pristup", izjavila je Chuchu Fan, izvanredna profesorica aeronautike i astronautike (AeroAstro) i glavna istraživačica u MIT-jevom Laboratoriju za informacijske i odluke (LIDS). "Istraživači su proveli godine razvijajući učinkovite tehnologije i alate za rješavanje problema u mnogim domenama. Naš cilj je omogućiti LLM-ovima da odaberu prave alate i metode te iskoriste tuđu stručnost kako bi poboljšali vlastite sposobnosti."

Na znanstvenom radu o ovom istraživanju, koje će biti predstavljeno na Međunarodnoj konferenciji o strojnom učenju, uz profesoricu Fan sudjelovali su i diplomant LIDS-a Yongchao Chen, diplomant AeroAstroa Yilun Hao, diplomantica sa Sveučilišta Illinois u Urbana-Champaignu Yueying Liu te znanstvenik iz MIT-IBM Watson AI Laba, Yang Zhang.

Kako funkcionira "trener" za LLM?

Da bismo shvatili problem koji CodeSteer rješava, dovoljno je postaviti LLM-u jednostavno pitanje: koji je broj veći, 9.11 ili 9.9? Koristeći tekstualno rezoniranje, model će često dati pogrešan odgovor. Međutim, ako mu se naloži da koristi programski kôd za odgovor, generirat će i izvršiti jednostavnu Python skriptu za usporedbu dva broja i bez problema doći do točnog rješenja.

Budući da su inicijalno trenirani za razumijevanje i predviđanje ljudskog jezika, LLM-ovi su skloniji odgovarati na upite koristeći tekst, čak i kada bi kôd bio znatno učinkovitiji. Iako su kroz proces finog podešavanja (fine-tuning) naučili generirati kôd, često generiraju netočnu ili manje efikasnu verziju potrebnog kôda.

Umjesto pokušaja ponovnog treniranja moćnih LLM-ova poput GPT-4 ili Claudea kako bi se poboljšale te sposobnosti, što je izuzetno skup i složen proces, istraživači s MIT-a odlučili su se za finije rješenje. Oni su fino podesili manji, "lakši" jezični model koji služi kao vodič većem modelu, usmjeravajući ga između teksta i kôda. Fino podešavanje manjeg modela ne mijenja temeljnu arhitekturu većeg LLM-a, čime se eliminira rizik od narušavanja njegovih ostalih, već usavršenih sposobnosti.

"Inspiraciju smo pronašli i kod ljudi. U sportu, trener možda nije bolji od zvijezde tima, ali svejedno može dati korisne savjete kako bi vodio sportaša. Ova metoda usmjeravanja funkcionira i za LLM-ove", objašnjava Yongchao Chen.

Ovaj "trener", CodeSteer, radi u tandemu s većim LLM-om. Prvo pregledava upit i određuje je li za rješavanje problema prikladniji tekst ili kôd te koja bi vrsta kôda bila najbolja. Zatim generira specifičnu uputu (prompt) za veći LLM, nalažući mu da koristi određenu metodu kodiranja ili tekstualno rezoniranje. Veći model slijedi tu uputu, generira odgovor i šalje ga natrag CodeSteeru na provjeru. Ako odgovor nije točan, CodeSteer nastavlja generirati nove upute, potičući LLM da isproba različite pristupe koji bi mogli riješiti problem. To može uključivati, primjerice, ugradnju algoritma za pretraživanje ili određenog ograničenja u Python kôd, sve dok se ne postigne točan rezultat.

"Otkrili smo da će veći LLM često pokušati biti 'lijen' i koristiti kraći, manje učinkovit kôd koji neće provesti ispravan simbolički izračun. Dizajnirali smo CodeSteer da izbjegne taj fenomen", dodaje Chen. Kako bi se osigurala kvaliteta, sustav uključuje i "simbolički provjeravač" koji procjenjuje složenost generiranog kôda i šalje signal CodeSteeru ako je kôd prejednostavan ili neučinkovit. Uz to, istraživači su ugradili i mehanizam za samoprovjeru odgovora, koji potiče LLM da generira dodatni kôd koji će izračunati odgovor i tako potvrditi njegovu ispravnost.

Suočavanje sa složenim zadacima i stvaranje novih mjerila

Tijekom razvoja sustava CodeSteer, istraživački tim suočio se s neočekivanim izazovom: nedostatkom odgovarajućih setova podataka (dataseta) za fino podešavanje i testiranje modela. Većina postojećih mjerila (benchmarkova) nije specificirala može li se određeni upit najbolje riješiti tekstom ili kôdom. Zbog toga su istraživači morali stvoriti vlastiti resurs.

Prikupili su korpus od 37 složenih simboličkih zadataka, uključujući prostorno rezoniranje, matematiku, logičko zaključivanje o redoslijedu i optimizaciju, te su na temelju toga izgradili vlastiti set podataka pod nazivom SymBench. Implementirali su pristup finog podešavanja koji koristi SymBench kako bi se maksimizirale performanse CodeSteera.

U eksperimentima, CodeSteer je nadmašio svih devet osnovnih metoda s kojima je uspoređivan i podigao prosječnu točnost s 53.3% na impresivnih 86.4%. Pokazao je slične performanse čak i na zadacima koje nikada prije nije vidio, kao i na različitim vrstama velikih jezičnih modela. Nadalje, model opće namjene poboljšan CodeSteerom može postići višu točnost od najsuvremenijih modela koji su specifično dizajnirani za složeno rezoniranje i planiranje, i to uz znatno manju računsku potrošnju.

"Naša metoda koristi vlastite sposobnosti LLM-a. Proširivanjem LLM-a sposobnošću pametnog korištenja kodiranja, možemo uzeti model koji je već vrlo snažan i dodatno poboljšati njegove performanse", ističe Chen.

Stručnjaci izvan MIT tima također su prepoznali važnost ovog postignuća. Jinsung Yoon, znanstvenik u Google Cloud AI, koji nije bio uključen u rad, komentirao je: "Autori predstavljaju elegantno rješenje za ključni izazov korištenja alata u LLM-ovima. Ova jednostavna, ali utjecajna metoda omogućuje najsuvremenijim LLM-ovima postizanje značajnih poboljšanja performansi bez potrebe za izravnim finim podešavanjem."

Slično mišljenje dijeli i Chi Wang, viši znanstvenik u Google DeepMindu, koji također nije sudjelovao u istraživanju. "Njihov uspjeh u treniranju manjeg, specijaliziranog modela da strateški vodi veće, napredne modele posebno je utjecajan. Ova inteligentna suradnja među različitim AI 'agentima' otvara put za robusnije i svestranije primjene u složenim scenarijima stvarnog svijeta."

Gledajući u budućnost, istraživači planiraju dodatno optimizirati CodeSteer kako bi ubrzali njegov iterativni proces davanja uputa. Osim toga, istražuju kako učinkovito fino podesiti jedinstveni model koji bi imao intrinzičnu sposobnost prebacivanja između tekstualnog rezoniranja i generiranja kôda, umjesto da se oslanja na zasebnog asistenta. Ovo istraživanje, podržano dijelom od strane američkog Ureda za pomorska istraživanja i MIT-IBM Watson AI Laba, predstavlja značajan korak prema stvaranju svestranije i pouzdanije umjetne inteligencije.