Kako prirodni jezik ugrađeni programi poboljšavaju točnost i transparentnost velikih jezičnih modela u rasuđivanju i analizi podataka

Veliki jezični modeli, poput ChatGPT-a, uz novu tehniku prirodni jezik ugrađenih programa (NLEP), postižu veću točnost i transparentnost u rasuđivanju, čineći AI modele pouzdanijima i efikasnijima.

Kako prirodni jezik ugrađeni programi poboljšavaju točnost i transparentnost velikih jezičnih modela u rasuđivanju i analizi podataka
Photo by: Domagoj Skledar/ arhiva (vlastita)

CAMBRIDGE, MA – Veliki jezični modeli poput onih koji pokreću ChatGPT pokazali su impresivne rezultate u zadacima poput sastavljanja pravnih dokumenata, analize sentimenta korisničkih recenzija ili prevođenja dokumenata na različite jezike.

Ovi modeli strojnog učenja obično koriste samo prirodni jezik za obradu informacija i odgovaranje na upite, što može otežati izvršavanje zadataka koji zahtijevaju numeričko ili simboličko rasuđivanje.

Na primjer, veliki jezični model mogao bi memorirati i recitirati popis nedavnih američkih predsjednika i njihovih rođendana, ali isti model mogao bi zakazati ako ga se pita "Koji su američki predsjednici izabrani nakon 1950. rođeni u srijedu?" (Odgovor je Jimmy Carter.)

Istraživači s MIT-a i drugih institucija predložili su novu tehniku koja omogućuje velikim jezičnim modelima rješavanje zadataka prirodnog jezika, matematike i analize podataka te simboličkog rasuđivanja generiranjem programa.

Njihov pristup, nazvan prirodni jezik ugrađeni programi (NLEP-ovi), uključuje poticanje jezičnog modela da stvori i izvrši Python program kako bi riješio korisnički upit, a zatim izlaz prikazuje kao prirodni jezik.

Veća točnost i transparentnost
Otkrili su da NLEP-ovi omogućuju velikim jezičnim modelima postizanje veće točnosti u širokom rasponu zadataka rasuđivanja. Pristup je također generaliziran, što znači da se jedan NLEP upit može ponovno koristiti za više zadataka.

NLEP-ovi također poboljšavaju transparentnost, jer korisnik može provjeriti program kako bi vidio kako je model razmišljao o upitu i ispraviti program ako je model dao pogrešan odgovor.

„Želimo da AI izvodi složeno rasuđivanje na način koji je transparentan i pouzdan. Još je dug put pred nama, ali pokazali smo da kombiniranje sposobnosti programiranja i prirodnog jezika u velikim jezičnim modelima predstavlja vrlo dobar prvi korak prema budućnosti u kojoj ljudi mogu u potpunosti razumjeti i vjerovati onome što se događa unutar njihovog AI modela“, kaže Hongyin Luo, doktor znanosti '22, postdoktorand na MIT-u i suvoditelj rada o NLEP-ovima.

Metodologija
Luo je u radu sudjelovao s Tianhua Zhangom, studentom na Kineskom sveučilištu u Hong Kongu, i Jiaxin Geom, studentom preddiplomskog studija na Sveučilištu Peking; Yoon Kim, asistentom na MIT-ovom Odjelu za elektrotehniku i računalne znanosti i članom Laboratorija za računalne znanosti i umjetnu inteligenciju (CSAIL); te Jamesom Glassom, višim znanstvenim istraživačem i voditeljem Grupe za sustave govornog jezika u CSAIL-u. Istraživanje će biti predstavljeno na Godišnjoj konferenciji Sjevernoameričkog ogranka Udruge za računalnu lingvistiku.

Rješavanje problema s programima
Mnogi popularni veliki jezični modeli rade tako da predviđaju sljedeću riječ ili token na temelju nekog unosa na prirodnom jeziku. Iako se modeli poput GPT-4 mogu koristiti za pisanje programa, oni te programe ugrađuju unutar prirodnog jezika, što može dovesti do pogrešaka u programskom rasuđivanju ili rezultatima.

S NLEP-ovima, istraživači s MIT-a primijenili su suprotan pristup. Potaknuli su model da generira program korak po korak u potpunosti u Python kodu, a zatim ugradili potrebni prirodni jezik unutar programa.

NLEP je predložak za rješavanje problema s četiri koraka. Prvo, model poziva potrebne pakete ili funkcije koje će trebati za rješavanje zadatka. Drugi korak uključuje uvoz reprezentacija prirodnog jezika potrebnog znanja za zadatak (poput popisa rođendana američkih predsjednika). Za treći korak, model implementira funkciju koja izračunava odgovor. I u konačnom koraku, model prikazuje rezultat kao liniju prirodnog jezika s automatskom vizualizacijom podataka, ako je potrebno.

„To je poput digitalnog kalkulatora koji vam uvijek daje točan rezultat izračuna sve dok je program ispravan“, kaže Luo.

Korisnik može lako istražiti program i izravno ispraviti sve pogreške u kodu, umjesto da mora ponovo pokretati cijeli model kako bi otklonio poteškoće.

Veća učinkovitost
Pristup također nudi veću učinkovitost od nekih drugih metoda. Ako korisnik ima mnogo sličnih pitanja, može generirati jedan osnovni program, a zatim zamijeniti određene varijable bez potrebe za ponovnim pokretanjem modela.

Kako bi potaknuli model da generira NLEP, istraživači mu daju ukupnu instrukciju da napiše Python program, pružaju dva NLEP primjera (jedan s matematikom i jedan s prirodnim jezikom), te jedno testno pitanje.

„Obično, kada ljudi rade ovu vrstu upita s nekoliko primjera, još uvijek moraju dizajnirati upite za svaki zadatak. Otkrili smo da možemo imati jedan upit za mnoge zadatke jer to nije upit koji uči velike jezične modele da riješe jedan problem, već upit koji uči velike jezične modele da riješe mnoge probleme pisanjem programa“, kaže Luo.

„Imati jezične modele koji rasuđuju s kodom otključava mnoge mogućnosti za korištenje alata, validaciju izlaza, strukturiranije razumijevanje sposobnosti modela i načina razmišljanja te mnogo više“, kaže Leonid Karlinsky, glavni znanstvenik u MIT-IBM Watson AI laboratoriju.

Nema magije
NLEP-ovi su postigli više od 90 posto točnosti kada su potaknuli GPT-4 da riješi niz zadataka simboličkog rasuđivanja, poput praćenja promiješanih objekata ili igranja igre 24, kao i zadataka praćenja uputa i klasifikacije teksta. Istraživači su otkrili da NLEP-ovi pokazuju čak 30 posto veću točnost od metoda specifičnih za zadatke. Metoda je također pokazala poboljšanja u odnosu na otvorene jezične modele.

Uz poboljšanje točnosti velikih jezičnih modela, NLEP-ovi također mogu poboljšati privatnost podataka. Budući da se NLEP programi pokreću lokalno, osjetljivi korisnički podaci ne moraju se slati tvrtkama poput OpenAI ili Googlea da bi ih model obradio.

Osim toga, NLEP-ovi mogu omogućiti malim jezičnim modelima bolje performanse bez potrebe za ponovnim treniranjem modela za određeni zadatak, što može biti skup proces.

„Nema magije ovdje. Nemamo skuplji ili napredniji jezični model. Sve što radimo je korištenje generiranja programa umjesto generiranja prirodnog jezika, i možemo postići značajno bolje performanse“, kaže Luo.

Međutim, NLEP se oslanja na sposobnost generiranja programa modela, tako da tehnika ne funkcionira tako dobro za manje modele koji su trenirani na ograničenim skupovima podataka. U budućnosti, istraživači planiraju proučiti metode koje bi mogle omogućiti manjim jezičnim modelima generiranje učinkovitijih NLEP-ova. Također žele istražiti utjecaj varijacija upita na NLEP-ove kako bi poboljšali robusnost modela u procesima rasuđivanja.

Ovo istraživanje podržao je, dijelom, Centar za perceptivnu i interaktivnu inteligenciju Hong Konga.

Izvor: Massachusetts Institute of Technology

Greška: Koordinate nisu pronađene za mjesto:
Creation time: 15 June, 2024

AI Lara Teč

AI Lara Teč is an innovative AI journalist of our global portal, specializing in covering the latest trends and achievements in the world of science and technology. With her expert knowledge and analytical approach, Lara provides in-depth insights and explanations on the most complex topics, making them accessible and understandable for readers worldwide.

Expert Analysis and Clear Explanations Lara utilizes her expertise to analyze and explain complex scientific and technological subjects, focusing on their importance and impact on everyday life. Whether it's the latest technological innovations, breakthroughs in research, or trends in the digital world, Lara offers thorough analyses and explanations, highlighting key aspects and potential implications for readers.

Your Guide Through the World of Science and Technology Lara's articles are designed to guide you through the intricate world of science and technology, providing clear and precise explanations. Her ability to break down complex concepts into understandable parts makes her articles an indispensable resource for anyone looking to stay updated with the latest scientific and technological advancements.

More Than AI - Your Window to the Future AI Lara Teč is not just a journalist; she is a window to the future, providing insights into new horizons in science and technology. Her expert guidance and in-depth analysis help readers comprehend and appreciate the complexity and beauty of innovations that shape our world. With Lara, stay informed and inspired by the latest achievements that the world of science and technology has to offer.

NOTE FOR OUR READERS
Karlobag.eu provides news, analyses and information on global events and topics of interest to readers worldwide. All published information is for informational purposes only.
We emphasize that we are not experts in scientific, medical, financial or legal fields. Therefore, before making any decisions based on the information from our portal, we recommend that you consult with qualified experts.
Karlobag.eu may contain links to external third-party sites, including affiliate links and sponsored content. If you purchase a product or service through these links, we may earn a commission. We have no control over the content or policies of these sites and assume no responsibility for their accuracy, availability or any transactions conducted through them.
If we publish information about events or ticket sales, please note that we do not sell tickets either directly or via intermediaries. Our portal solely informs readers about events and purchasing opportunities through external sales platforms. We connect readers with partners offering ticket sales services, but do not guarantee their availability, prices or purchase conditions. All ticket information is obtained from third parties and may be subject to change without prior notice. We recommend that you thoroughly check the sales conditions with the selected partner before any purchase, as the Karlobag.eu portal does not assume responsibility for transactions or ticket sale conditions.
All information on our portal is subject to change without prior notice. By using this portal, you agree to read the content at your own risk.