Dzisiejsze badania w dziedzinie uczenia maszynowego często koncentrują się na ocenie niepewności, aby użytkownicy mogli lepiej zrozumieć, jak wiarygodne są decyzje modelu. Ta ocena jest szczególnie ważna w sytuacjach, w których stawka jest wysoka, takich jak rozpoznawanie chorób na obrazach medycznych lub filtrowanie aplikacji o pracę.

Jednak oceny niepewności są przydatne tylko wtedy, gdy są dokładne. Jeśli model twierdzi, że jest w 49 procentach pewien, że obraz medyczny pokazuje wysięk opłucnowy, to w 49 procentach przypadków model ten powinien mieć rację.

Badacze z MIT opracowali nowe podejście do poprawy ocen niepewności w modelach uczenia maszynowego. Ich metoda generuje bardziej dokładne oceny niepewności w porównaniu z innymi technikami i robi to w bardziej efektywny sposób.

Dodatkowo technika ta jest skalowalna i może być stosowana do dużych modeli głębokiego uczenia, które są coraz częściej stosowane w opiece zdrowotnej i innych sytuacjach, gdzie bezpieczeństwo ma kluczowe znaczenie.

Technika ta może dostarczyć użytkownikom końcowym, z których wielu nie ma wiedzy z zakresu uczenia maszynowego, lepszych informacji do oceny wiarygodności modelu i podjęcia decyzji o jego zastosowaniu w określonych zadaniach.

Kwantyfikacja niepewności
Metody kwantyfikacji niepewności często wymagają skomplikowanych obliczeń statystycznych, które trudno skalować na modele uczenia maszynowego z milionami parametrów. Ponadto metody te często wymagają założeń dotyczących modelu i danych użytych do jego trenowania.

Badacze z MIT podeszli do tego problemu w inny sposób. Wykorzystali zasadę minimalnej długości opisu (MDL), która nie wymaga założeń mogących ograniczać dokładność innych metod. MDL jest wykorzystywany do lepszego kwantyfikowania i kalibrowania niepewności dla punktów testowych, które model musi oznaczyć.

Technika opracowana przez badaczy, znana jako IF-COMP, sprawia, że MDL jest wystarczająco szybki do użycia z dużymi modelami głębokiego uczenia, które są stosowane w wielu rzeczywistych środowiskach.

MDL polega na rozważeniu wszystkich możliwych etykiet, które model może nadać dla określonego punktu testowego. Jeśli istnieje wiele alternatywnych etykiet dla tego punktu, które dobrze pasują, zaufanie modelu do wybranej etykiety powinno być proporcjonalnie zmniejszone.

"Jednym ze sposobów zrozumienia, jak pewny jest model, jest dostarczenie mu pewnych kontrfaktycznych informacji i sprawdzenie, jak bardzo jest skłonny zmienić swoje przekonanie", mówi Nathan Ng, główny autor badania i doktorant na Uniwersytecie w Toronto, który jest również studentem gościnnym na MIT.

Na przykład, rozważmy model, który twierdzi, że obraz medyczny pokazuje wysięk opłucnowy. Jeśli badacze powiedzą modelowi, że obraz pokazuje obrzęk, a model jest gotowy zmienić swoje przekonanie, to model powinien być mniej pewny swojej pierwotnej decyzji.

W przypadku MDL, jeśli model jest pewny, gdy oznacza punkt danych, powinien użyć bardzo krótkiego kodu do opisu tego punktu. Jeśli nie jest pewny, ponieważ punkt może mieć wiele innych etykiet, używa dłuższego kodu, aby objąć te możliwości.

Ilość kodu używanego do oznaczania punktu danych jest znana jako stochastyczna złożoność danych. Jeśli badacze zapytają model, jak bardzo jest skłonny zmienić swoje przekonanie na temat punktu danych w świetle przeciwnych dowodów, stochastyczna złożoność danych powinna się zmniejszyć, jeśli model jest pewny.

Jednak testowanie każdego punktu danych za pomocą MDL wymagałoby ogromnej ilości mocy obliczeniowej.

Przyspieszenie procesu
W IF-COMP badacze opracowali technikę aproksymacji, która może dokładnie oszacować stochastyczną złożoność danych przy użyciu specjalnej funkcji, znanej jako funkcja wpływu. Użyli również techniki statystycznej zwanej skalowaniem temperatury, która poprawia kalibrację wyników modelu. To połączenie funkcji wpływu i skalowania temperatury umożliwia wysokiej jakości aproksymacje stochastycznej złożoności danych.

Ostatecznie IF-COMP może efektywnie generować dobrze skalibrowane oceny niepewności, które odzwierciedlają rzeczywistą pewność modelu. Technika ta może również określić, czy model błędnie oznaczył określone punkty danych lub wykryć, które punkty danych są wyjątkowe.

Badacze przetestowali swój system na tych trzech zadaniach i odkryli, że był on szybszy i bardziej dokładny niż inne metody.

"Naprawdę ważne jest, aby mieć pewność, że model jest dobrze skalibrowany, a potrzeba wykrycia, kiedy określona prognoza nie jest całkiem dokładna, rośnie. Narzędzia do audytu stają się coraz bardziej potrzebne w problemach uczenia maszynowego, gdy używamy dużych ilości niezweryfikowanych danych do tworzenia modeli, które będą stosowane do problemów, z którymi borykają się ludzie", mówi Marzyeh Ghassemi, starszy autor badania.

IF-COMP jest niezależny od modelu, co oznacza, że może dostarczać dokładne oceny niepewności dla wielu rodzajów modeli uczenia maszynowego. To mogłoby umożliwić szersze zastosowanie w rzeczywistych środowiskach, co ostatecznie pomogłoby większej liczbie praktyków podejmować lepsze decyzje.

"Ludzie muszą zrozumieć, że te systemy są bardzo podatne na błędy i mogą wyciągać wnioski na podstawie niewystarczających danych. Model może wyglądać na bardzo pewny siebie, ale jest wiele różnych rzeczy, w które jest skłonny uwierzyć w świetle przeciwnych dowodów", mówi Ng.

W przyszłości badacze planują zastosować swoje podejście do dużych modeli językowych i zbadać inne potencjalne zastosowania zasady minimalnej długości opisu.

Źródło: Massachusetts Institute of Technology