Artificial intelligence modeli često igraju ključnu ulogu u medicinskim dijagnozama, posebno u analizi slika poput rendgenskih snimaka. Istraživanja su pokazala da ovi modeli ne djeluju jednako uspješno na svim demografskim skupinama, često slabije radeći na ženama i pripadnicima manjinskih skupina. Modeli su također pokazali neke neočekivane sposobnosti. Istraživači s MIT-a su 2022. godine otkrili da AI modeli mogu točno predviđati rasu pacijenata iz njihovih rendgenskih snimaka prsnog koša — nešto što ni najvještiji radiolozi ne mogu postići. Nedavna studija tog istraživačkog tima pokazuje da modeli koji su najprecizniji u predviđanju demografskih podataka također pokazuju najveće "pristranosti u pravednosti" — odstupanja u sposobnosti točne dijagnoze slika ljudi različitih rasa ili spolova. Nalazi sugeriraju da ovi modeli možda koriste "demografske prečace" pri donošenju dijagnostičkih procjena, što dovodi do netočnih rezultata za žene, crnce i druge skupine, tvrde istraživači.

"Izuzetno je poznato da visokokapacitetni modeli strojnog učenja dobro predviđaju ljudsku demografiju poput samoprijavljene rase, spola ili dobi. Ovaj rad ponovno potvrđuje tu sposobnost, a zatim povezuje tu sposobnost s nedostatkom performansi među različitim skupinama, što dosad nije bilo učinjeno," kaže Marzyeh Ghassemi, izvanredna profesorica elektrotehnike i računalnih znanosti na MIT-u, članica MIT-ovog Instituta za medicinsko inženjerstvo i znanost, te glavna autorica studije.

Istraživači su također otkrili da mogu ponovno trenirati modele na način koji poboljšava njihovu pravednost. Međutim, njihovi pristupi "uklanjanju pristranosti" najbolje su djelovali kada su modeli testirani na istim vrstama pacijenata na kojima su trenirani, primjerice pacijentima iz iste bolnice. Kada su ovi modeli primijenjeni na pacijente iz različitih bolnica, pristranosti su se ponovno pojavile.

"Mislim da su glavne pouke prvo, temeljito procijeniti bilo koji vanjski model na vlastitim podacima jer bilo kakva jamstva o pravednosti koja pružaju programeri modela na njihovim podacima za obuku možda neće biti prenesena na vašu populaciju. Drugo, kad god je dostupno dovoljno podataka, trebali biste trenirati modele na vlastitim podacima," kaže Haoran Zhang, student na MIT-u i jedan od glavnih autora novog rada. Student MIT-a Yuzhe Yang također je glavni autor rada koji je danas objavljen u časopisu Nature Medicine. Judy Gichoya, izvanredna profesorica radiologije i znanosti o slikanju na Medicinskom fakultetu Sveučilišta Emory, i Dina Katabi, Thuan i Nicole Pham profesorica elektrotehnike i računalnih znanosti na MIT-u, također su autori rada.

Kao do svibnja 2024., FDA je odobrila 882 medicinska uređaja s podrškom za umjetnu inteligenciju, od kojih je 671 namijenjeno upotrebi u radiologiji. Od 2022. godine, kada su Ghassemi i njezini kolege pokazali da ovi dijagnostički modeli mogu točno predviđati rasu, oni i drugi istraživači su pokazali da su takvi modeli također vrlo dobri u predviđanju spola i dobi, iako modeli nisu obučavani za te zadatke.

"Mnogi popularni modeli strojnog učenja imaju nadljudsku sposobnost demografskog predviđanja — radiolozi ne mogu otkriti samoprijavljenu rasu iz rendgenske snimke prsnog koša," kaže Ghassemi. "To su modeli koji su dobri u predviđanju bolesti, ali tijekom obuke uče predviđati i druge stvari koje možda nisu poželjne."

U ovoj studiji, istraživači su htjeli istražiti zašto ovi modeli ne funkcioniraju jednako dobro za određene skupine. Posebno su željeli vidjeti koriste li modeli demografske prečace za donošenje predviđanja koja su na kraju bila manje točna za neke skupine. Ovi prečaci mogu se pojaviti u AI modelima kada koriste demografske atribute za određivanje prisutnosti medicinskog stanja, umjesto da se oslanjaju na druge značajke slika.

Koristeći javno dostupne rendgenske snimke prsnog koša iz Medicinskog centra Beth Israel Deaconess u Bostonu, istraživači su trenirali modele za predviđanje imaju li pacijenti jedno od tri različita medicinska stanja: nakupljanje tekućine u plućima, kolaps pluća ili povećanje srca. Zatim su testirali modele na rendgenskim snimkama koje nisu bile uključene u podatke za obuku.

Sveukupno, modeli su se dobro pokazali, ali većina je pokazivala "pristranosti u pravednosti" — tj. odstupanja u stopama točnosti za muškarce i žene, te za bijele i crne pacijente.

Modeli su također mogli predvidjeti spol, rasu i dob subjekata rendgenskih snimaka. Osim toga, postojala je značajna korelacija između točnosti svakog modela u donošenju demografskih predviđanja i veličine njegovih pristranosti u pravednosti. To sugerira da modeli možda koriste demografske kategorizacije kao prečace za donošenje svojih predviđanja bolesti.

Istraživači su tada pokušali smanjiti pristranosti u pravednosti koristeći dvije vrste strategija. Za jedan skup modela, trenirali su ih da optimiziraju "robustnost podskupine", što znači da su modeli nagrađivani za bolje performanse na podskupini za koju su imali najgore performanse, i kažnjavani ako je njihova stopa pogreške za jednu skupinu veća od ostalih.

U drugom skupu modela, istraživači su ih prisilili da uklone sve demografske informacije iz slika, koristeći "adversarijalne" pristupe. Obje strategije su se pokazale prilično učinkovite, otkrili su istraživači.

"Za podatke unutar distribucije, možete koristiti postojeće najmodernije metode za smanjenje pristranosti u pravednosti bez značajnih kompromisa u ukupnim performansama," kaže Ghassemi. "Metode robustnosti podskupina prisiljavaju modele da budu osjetljivi na pogreške u predviđanju specifične skupine, a adversarijalne metode pokušavaju potpuno ukloniti informacije o skupini."

Međutim, ti pristupi su djelovali samo kada su modeli testirani na podacima od istih vrsta pacijenata na kojima su trenirani — na primjer, samo pacijentima iz skupa podataka Medicinskog centra Beth Israel Deaconess.

Kada su istraživači testirali modele koji su bili "oslobođeni pristranosti" koristeći podatke BIDMC-a za analizu pacijenata iz pet drugih bolničkih setova podataka, otkrili su da je ukupna točnost modela ostala visoka, ali su neki od njih pokazivali velike pristranosti u pravednosti.

"Ako model oslobađate pristranosti u jednom skupu pacijenata, ta pravednost ne mora nužno ostati kada se prebacite na novi skup pacijenata iz druge bolnice na drugoj lokaciji," kaže Zhang.

To je zabrinjavajuće jer u mnogim slučajevima bolnice koriste modele koji su razvijeni na podacima iz drugih bolnica, posebno u slučajevima kada se kupuje gotov model, kažu istraživači.

"Otkrili smo da čak i najmoderniji modeli koji su optimalno izvedeni u podacima sličnim njihovim skupovima podataka za obuku nisu optimalni — to jest, ne čine najbolji kompromis između ukupnih performansi i performansi podskupina — u novim okruženjima," kaže Ghassemi. "Nažalost, ovako se model vjerojatno primjenjuje. Većina modela je trenirana i validirana s podacima iz jedne bolnice ili jednog izvora, a zatim se široko primjenjuju."

Istraživači su otkrili da modeli koji su bili oslobođeni pristranosti koristeći adversarijalne pristupe pokazuju nešto veću pravednost kada se testiraju na novim grupama pacijenata od onih oslobođenih pristranosti metodama robustnosti podskupina. Sada planiraju razviti i testirati dodatne metode kako bi vidjeli mogu li stvoriti modele koji bolje donose pravedna predviđanja na novim skupovima podataka.

Nalazi sugeriraju da bi bolnice koje koriste ovakve AI modele trebale procijeniti njihovu učinkovitost na vlastitoj populaciji pacijenata prije nego ih počnu koristiti, kako bi osigurale da ne daju netočne rezultate za određene skupine.

Istraživanje je financirano Google Research Scholar nagradom, Programom razvoja medicinskih fakulteta Harold Amos Zaklade Robert Wood Johnson, RSNA Health Disparities, Lacuna fondom, Zakladom Gordon i Betty Moore, Nacionalnim institutom za biomedicinsko slikanje i bioinženjering, te Nacionalnim institutom za srce, pluća i krv.

Izvor: Massachusetts Institute of Technology