Wielkie modele językowe (LLM), takie jak zaawansowane systemy GPT-4, Claude i Llama, stają się niezastąpionym narzędziem w coraz większej liczbie zawodów, od prawa i medycyny po programowanie i badania naukowe. Ich zdolność do przetwarzania i generowania tekstu przypominającego ludzki otworzyła drzwi do nowych poziomów produktywności. Jednak pod powierzchnią tej technologicznej rewolucji kryje się subtelna, ale znacząca wada, która może prowadzić do niewiarygodnych i niedokładnych wyników: stronniczość pozycyjna. Ostatnie badania wykazały, że te złożone systemy mają tendencję do przywiązywania nieproporcjonalnie dużej wagi do informacji znajdujących się na samym początku lub końcu dokumentu, jednocześnie ignorując kluczowe dane umieszczone w środku.

Problem ten oznacza, że na przykład prawnik korzystający z wirtualnego asystenta napędzanego sztuczną inteligencją w celu znalezienia określonej klauzuli w trzydziestostronicowej umowie ma znacznie większe szanse na sukces, jeśli ta klauzula znajduje się na pierwszej lub ostatniej stronie. Informacje w środkowej części dokumentu, niezależnie od ich trafności, często pozostają "niewidoczne" dla modelu.

Odkrywanie "Zagubienia w Środku": Problem Dotykający Nawet Najbardziej Zaawansowane Systemy

Zjawisko znane jako "zagubienie w środku" (ang. lost-in-the-middle) objawia się specyficznym wzorcem dokładności w kształcie litery "U". Kiedy testuje się zdolność modelu do znalezienia prawidłowej odpowiedzi w długim tekście, wydajność jest najlepsza, jeśli informacja znajduje się na początku. W miarę przesuwania się docelowej informacji w kierunku środka, dokładność drastycznie spada, osiągając najniższy punkt w samym centrum dokumentu, a następnie nieznacznie poprawia się pod koniec. Ta wada nie jest tylko techniczną ciekawostką, ale stanowi poważne ryzyko w zastosowaniach, w których każda informacja ma kluczowe znaczenie.

Wyobraź sobie medyczny system AI analizujący obszerną historię choroby pacjenta. Jeśli kluczowy objaw lub wynik badania laboratoryjnego zostanie wspomniany w środku dokumentacji, model może go przeoczyć, co potencjalnie prowadzi do błędnej diagnozy. Podobnie programista polegający na asystencie AI do analizy złożonego kodu może uzyskać niepełny obraz, jeśli model zignoruje krytyczne funkcje umieszczone w centralnej części pakietu oprogramowania. Zrozumienie i rozwiązanie tego problemu jest kluczowe dla budowania zaufania do systemów AI i ich bezpiecznego stosowania.

Naukowcy z MIT Wytropili Źródło Problemu

Zespół naukowców z prestiżowego Massachusetts Institute of Technology (MIT), z siedzibą w mieście Cambridge, zdołał odkryć podstawowy mechanizm powodujący to zjawisko. W nowym badaniu, które zostanie zaprezentowane na Międzynarodowej Konferencji na temat Uczenia Maszynowego, naukowcy opracowali ramy teoretyczne, które pozwoliły im zajrzeć do "czarnej skrzynki" wielkich modeli językowych.

Pod kierownictwem Xinyi Wu, studentki w Instytucie Danych, Systemów i Społeczeństwa (IDSS) na MIT, oraz we współpracy z doktorantem Yifei Wangiem i doświadczonymi profesorami Stefanie Jegelką i Alim Jadbabaiejem, zespół ustalił, że stronniczość pozycyjna nie jest przypadkowym błędem, ale bezpośrednią konsekwencją pewnych decyzji projektowych w samej architekturze modelu. "Te modele to czarne skrzynki, więc jako użytkownik prawdopodobnie не wiesz, że stronniczość pozycyjna może powodować niespójność twojego modelu", podkreśla Wu. "Dzięki lepszemu zrozumieniu podstawowego mechanizmu tych modeli możemy je ulepszyć, rozwiązując te ograniczenia."

Anatomia Transformera: Jak Architektura Tworzy Stronniczość

Sercem nowoczesnych modeli językowych jest architektura sieci neuronowej znana jako transformer. Transformery przetwarzają tekst, najpierw dzieląc go na mniejsze części, tak zwane "tokeny", a następnie uczą się relacji między tymi tokenami, aby zrozumieć kontekst i przewidzieć kolejne słowa. Kluczową innowacją, która im to umożliwia, jest mechanizm uwagi (ang. attention mechanism), który pozwala każdemu tokenowi selektywnie "zwracać uwagę" на inne istotne tokeny w tekście.

Jednak umożliwienie każdemu tokenowi w 30-stronicowym dokumencie zwracania uwagi na każdy inny token byłoby obliczeniowo zbyt kosztowne i niewykonalne. Dlatego inżynierowie stosują techniki "maskowania uwagi" (ang. attention masking), które ograniczają, na które tokeny dany token może patrzeć. Badania MIT wykazały, że właśnie jedna z tych technik, znana jako maska przyczynowa (ang. causal mask), jest jednym z głównych winowajców stronniczości. Maska przyczynowa pozwala tokenom zwracać uwagę tylko na te tokeny, które pojawiły się przed nimi. Ta metoda, choć przydatna do zadań takich jak generowanie tekstu, nieodłącznie tworzy stronniczość w kierunku początku sekwencji wejściowej. Im głębszy jest model, czyli im więcej ma warstw mechanizmu uwagi, tym bardziej ta początkowa stronniczość jest wzmacniana, ponieważ informacje z początku są coraz częściej wykorzystywane w procesie wnioskowania modelu.

Rola Danych i Możliwości Korekty

Architektura modelu nie jest jedynym źródłem problemu. Naukowcy potwierdzili, że również dane treningowe odgrywają znaczącą rolę. Jeśli dane, na których model się uczył, są same w sobie stronnicze w określony sposób, model nieuchronnie nauczy się i odtworzy tę stronniczość. Na szczęście ramy teoretyczne opracowane przez zespół z MIT не tylko diagnozują problem, ale także oferują potencjalne rozwiązania.

Jedną z proponowanych strategii jest stosowanie kodowania pozycyjnego (ang. positional encodings), techniki, która dostarcza modelowi jawnych informacji o lokalizacji każdego słowa w sekwencji. Poprzez silniejsze powiązanie słów z ich bezpośrednimi sąsiadami, technika ta może pomóc w przekierowaniu "uwagi" modelu na bardziej istotne części tekstu i w ten sposób złagodzić stronniczość. Jednak, jak ostrzegają naukowcy, efekt tej metody może osłabnąć w modelach z dużą liczbą warstw.

Inne możliwości obejmują stosowanie różnych technik maskowania, które nie faworyzują początku sekwencji, strategiczne usuwanie nadmiarowych warstw z mechanizmu uwagi lub celowe dostrajanie (ang. fine-tuning) modelu na danych, o których wiadomo, że są bardziej zrównoważone. "Jeśli wiesz, że twoje dane są stronnicze, powinieneś dostroić swój model, dostosowując wybory projektowe", radzi Wu.

Praktyczne Konsekwencje i Przyszłość Bardziej Wiarygodnej Sztucznej Inteligencji

Wyniki tych badań mają dalekosiężne konsekwencje. Rozwiązanie problemu stronniczości pozycyjnej mogłoby doprowadzić do znacznie bardziej wiarygodnych systemów AI. Chatboty mogłyby prowadzić dłuższe i bardziej sensowne rozmowy bez utraty kontekstu. Systemy medyczne mogłyby sprawiedliwiej analizować dane pacjentów, podczas gdy asystenci do kodowania mogliby szczegółowiej przeglądać całe programy, zwracając jednakową uwagę na wszystkie części kodu.

Amin Saberi, profesor i dyrektor Centrum Projektowania Rynków Komputerowych na Uniwersytecie Stanforda, który nie był zaangażowany w pracę, pochwalił badania: "Ci naukowcy oferują rzadki wgląd teoretyczny w mechanizm uwagi w sercu modelu transformera. Dostarczają przekonującej analizy, która wyjaśnia długotrwałe dziwactwa w zachowaniu transformerów." Jego słowa potwierdzają wagę tego kroku w kierunku demistyfikacji technologii AI.

W przyszłości zespół badawczy planuje dalej badać efekty kodowania pozycyjnego oraz studiować, jak stronniczość pozycyjna mogłaby być nawet strategicznie wykorzystywana w określonych zastosowaniach. Jak podkreśla profesor Jadbabaie, "Jeśli chcesz używać modelu w zastosowaniach wysokiego ryzyka, musisz wiedzieć, kiedy będzie działał, kiedy nie i dlaczego." Te badania stanowią kluczowy krok w kierunku tego celu, otwierając drogę do tworzenia dokładniejszych, bardziej wiarygodnych i ostatecznie bardziej użytecznych systemów sztucznej inteligencji.

Źródło: Massachusetts Institute of Technology