Znanstvenici s Tehničkog sveučilišta Delft razvili su dron koji autonomno leti koristeći neuromorfnu obradu slike i kontrolu temeljenu na radu životinjskih mozgova. Životinjski mozgovi koriste manje podataka i energije u usporedbi s trenutnim dubokim neuronskim mrežama koje rade na GPU-ovima. Neuromorfni procesori su stoga vrlo pogodni za male dronove jer ne zahtijevaju tešku i veliku hardversku opremu niti velike baterije. Rezultati su impresivni: tijekom leta, duboka neuronska mreža drona obrađuje podatke do 64 puta brže i troši tri puta manje energije nego kada radi na GPU-u. Daljnji razvoj ove tehnologije mogao bi omogućiti da dronovi postanu mali, agilni i pametni poput letećih insekata ili ptica. Ova otkrića nedavno su objavljena u časopisu Science Robotics.

Umjetna inteligencija ima veliki potencijal za pružanje autonomnim robotima potrebne inteligencije za stvarne aplikacije. Međutim, trenutna AI tehnologija oslanja se na duboke neuronske mreže koje zahtijevaju znatnu računalnu snagu. Procesori izrađeni za pokretanje dubokih neuronskih mreža (GPU-ovi) troše znatnu količinu energije. Posebno je ovo problem za male robote poput letećih dronova jer mogu nositi samo ograničene resurse u smislu senzora i računalne snage.

Životinjski mozgovi obrađuju informacije na način koji je vrlo različit od neuronskih mreža koje rade na GPU-ovima. Biološki neuroni obrađuju informacije asinkrono i uglavnom komuniciraju putem električnih impulsa zvanih šiljci. Budući da slanje tih šiljaka košta energiju, mozak minimizira šiljanje, što dovodi do rijetke obrade.

Inspirirani ovim svojstvima životinjskih mozgova, znanstvenici i tehnološke tvrtke razvijaju nove neuromorfne procesore. Ovi novi procesori omogućuju pokretanje neuronskih mreža sa šiljcima i obećavaju da će biti mnogo brži i energetski učinkovitiji.

„Izračuni koje obavljaju neuronske mreže sa šiljcima mnogo su jednostavniji nego oni u standardnim dubokim neuronskim mrežama“, kaže Jesse Hagenaars, doktorand i jedan od autora članka. „Dok digitalni šiljasti neuroni trebaju samo zbrajati cijele brojeve, standardni neuroni moraju množiti i zbrajati brojeve s pomičnim zarezom. To čini neuronske mreže sa šiljcima bržima i energetski učinkovitijima. Da bismo razumjeli zašto, zamislimo kako je ljudima također mnogo lakše izračunati 5 + 8 nego izračunati 6.25 x 3.45 + 4.05 x 3.45.“

Ova energetska učinkovitost dodatno se pojačava ako se neuromorfni procesori koriste u kombinaciji s neuromorfnim senzorima, poput neuromorfnih kamera. Takve kamere ne snimaju slike u fiksnim vremenskim intervalima. Umjesto toga, svaki piksel šalje signal samo kada postane svjetliji ili tamniji. Prednosti takvih kamera su da mogu brže percipirati pokret, energetski su učinkovitije i dobro funkcioniraju u tamnim i svijetlim okruženjima. Štoviše, signali iz neuromorfnih kamera mogu se izravno slati u neuronske mreže sa šiljcima koje rade na neuromorfnim procesorima. Zajedno, oni mogu biti veliki poticaj za autonomne robote, posebno male, agilne robote poput letećih dronova.

U članku objavljenom u Science Robotics 15. svibnja 2024., istraživači s Tehničkog sveučilišta Delft u Nizozemskoj po prvi put demonstriraju dron koji koristi neuromorfnu viziju i kontrolu za autonomni let. Konkretno, razvili su neuronsku mrežu sa šiljcima koja obrađuje signale iz neuromorfne kamere i daje naredbe za kontrolu koje određuju položaj i potisak drona. Ovu mrežu su implementirali na neuromorfni procesor, Intelov Loihi neuromorfni istraživački čip, na dronu. Zahvaljujući mreži, dron može percipirati i kontrolirati svoje kretanje u svim smjerovima.

„Suočili smo se s mnogim izazovima“, kaže Federico Paredes-Vallés, jedan od istraživača koji je radio na studiji, „ali najteži je bio osmisliti kako možemo trenirati neuronsku mrežu sa šiljcima tako da treniranje bude dovoljno brzo i da trenirana mreža dobro funkcionira na stvarnom robotu. Na kraju smo dizajnirali mrežu koja se sastoji od dva modula. Prvi modul uči vizualno percipirati pokret iz signala neuromorfne kamere. To radi potpuno samostalno, na samonadzirani način, temeljen samo na podacima iz kamere. To je slično načinu na koji životinje same uče percipirati svijet. Drugi modul uči mapirati procijenjeni pokret u kontrolne naredbe u simulatoru. Ovo učenje oslanjalo se na umjetnu evoluciju u simulaciji, pri čemu su mreže koje su bile bolje u kontroli drona imale veću šansu za stvaranje potomstva. Tijekom generacija umjetne evolucije, neuronske mreže sa šiljcima postajale su sve bolje u kontroli i na kraju su mogle letjeti u bilo kojem smjeru pri različitim brzinama. Oba modula smo trenirali i razvili način na koji ih možemo spojiti zajedno. Bili smo sretni vidjeti da spojena mreža odmah dobro funkcionira na stvarnom robotu.“

S neuromorfnom vizijom i kontrolom, dron može letjeti različitim brzinama u različitim svjetlosnim uvjetima, od tamnih do svijetlih. Može čak letjeti s trepćućim svjetlima, koja čine da pikseli u neuromorfnoj kameri šalju veliki broj signala mreži koji nisu povezani s kretanjem.

„Naša mjerenja potvrđuju potencijal neuromorfne AI. Mreža radi prosječno između 274 i 1600 puta u sekundi. Ako pokrenemo istu mrežu na malom, ugrađenom GPU-u, radi prosječno samo 25 puta u sekundi, razlika je ~10-64 puta! Štoviše, prilikom pokretanja mreže, Intelov Loihi neuromorfni istraživački čip troši 1.007 vata, od čega 1 vat otpada na energiju mirovanja koju procesor troši samo pri uključivanju čipa. Pokretanje mreže samo košta 7 milivata. U usporedbi, prilikom pokretanja iste mreže, ugrađeni GPU troši 3 vata, od čega 1 vat na energiju mirovanja i 2 vata za pokretanje mreže. Neuromorfni pristup rezultira AI-om koji radi brže i učinkovitije, omogućujući primjenu na mnogo manjim autonomnim robotima“, kaže Stein Stroobants, doktorand u području neuromorfnih dronova.

„Neuromorfna AI omogućit će svim autonomnim robotima da budu inteligentniji“, kaže Guido de Croon, profesor za bio-inspirirane dronove, „ali apsolutno je ključna za male autonomne robote. Na Fakultetu za zrakoplovno inženjerstvo Tehničkog sveučilišta Delft radimo na malim autonomnim dronovima koji se mogu koristiti za primjene kao što je praćenje usjeva u staklenicima ili praćenje zaliha u skladištima. Prednosti malih dronova su što su vrlo sigurni i mogu navigirati u uskim okruženjima kao što su redovi rajčica. Osim toga, mogu biti vrlo jeftini, pa se mogu koristiti u rojevima. To je korisno za brže pokrivanje područja, kao što smo pokazali u istraživanjima i lokalizaciji izvora plina.“

„Trenutni rad je veliki korak u ovom smjeru. Međutim, realizacija ovih primjena ovisit će o daljnjem smanjenju neuromorfne hardverske opreme i proširenju mogućnosti prema složenijim zadacima kao što je navigacija.“

Izvor: Delft University of Technology