Wyniki dużych modeli językowych

W dużych modelach językowych, takich jak te napędzające ChatGPT, zauważono imponujące wyniki w zadaniach takich jak tworzenie analiz prawnych, analiza sentymentu opinii klientów czy tłumaczenie dokumentów. Tradycyjnie, te modele korzystają wyłącznie z języka naturalnego do przetwarzania informacji, co może sprawiać trudności w zadaniach wymagających rozumowania numerycznego lub symbolicznego.

Nowa technika NLEP

Badacze z MIT i innych instytucji zaproponowali nową technikę, która umożliwia dużym modelom językowym rozwiązywanie zadań związanych z językiem naturalnym, matematyką, analizą danych i rozumowaniem symbolicznym poprzez generowanie programów. Metoda ta, opublikowana na serwerze arXiv, nosi nazwę Natural Language Embedded Programs (NLEP). Polega ona na skłonieniu modelu do stworzenia i wykonania programu w Pythonie, który rozwiązuje zapytanie użytkownika, a następnie prezentuje rozwiązanie w języku naturalnym.

Skuteczność i uniwersalność NLEP

NLEP umożliwiły modelom osiągnięcie wyższej dokładności w szerokim zakresie zadań rozumowania. Podejście to jest również uniwersalne, co oznacza, że jedno wywołanie NLEP może być wykorzystane do wielu zadań. Poprawia to także transparentność, ponieważ użytkownik może sprawdzić program, aby zobaczyć, jak model rozwiązywał zapytanie i naprawić błędy w programie, jeśli model podał błędną odpowiedź.

Przejrzystość w AI

Hongyin Luo, postdoktorant MIT i współautor pracy o NLEP, podkreśla, że celem jest, aby AI wykonywała złożone rozumowanie w sposób transparentny i godny zaufania. „Pokazaliśmy, że połączenie możliwości programowania i języka naturalnego w dużych modelach językowych to bardzo dobry krok w stronę przyszłości, w której ludzie mogą w pełni zrozumieć i zaufać temu, co dzieje się wewnątrz modelu AI,” mówi Luo.

Różnice w podejściu NLEP

Wielu popularnych dużych modeli językowych działa poprzez przewidywanie kolejnego słowa lub tokenu na podstawie wprowadzonego języka naturalnego. Modele takie jak GPT-4 mogą pisać programy, jednak umieszczają te programy w języku naturalnym, co może prowadzić do błędów w rozumowaniu lub wynikach.

Krok po kroku z NLEP

Z NLEP badacze z MIT przyjęli odwrotne podejście. Model generuje krok po kroku program w Pythonie, a następnie umieszcza konieczny język naturalny wewnątrz programu. Proces NLEP składa się z czterech kroków:

• Wywołanie niezbędnych pakietów lub funkcji.
• Zaimportowanie reprezentacji języka naturalnego wymaganej wiedzy.
• Implementacja funkcji obliczającej odpowiedź.
• Wyprowadzenie wyniku jako linijki tekstu naturalnego z automatyczną wizualizacją danych, jeśli to konieczne.

Dokładność i prywatność

NLEP osiągnęły ponad 90% dokładności, gdy GPT-4 rozwiązywał zadania związane z rozumowaniem symbolicznym, klasyfikacją tekstów i śledzeniem przetasowanych obiektów. Metoda ta wykazała również 30% większą dokładność niż metody wykorzystujące konkretne zapytania. Dzięki NLEP możliwe jest również zwiększenie prywatności danych, ponieważ programy są uruchamiane lokalnie, bez konieczności przesyłania wrażliwych danych użytkownika do firm takich jak OpenAI czy Google.

Plany na przyszłość

W przyszłości badacze planują studiowanie metod, które pozwolą mniejszym modelom językowym generować bardziej efektywne NLEP oraz badanie wpływu różnych wariantów zapytań na NLEP w celu zwiększenia odporności procesów rozumowania modelu.