3 Sposoby na Utrzymanie Świeżych Faktów w Dużych Modelach Językowych

Duże Modele Językowe (LLM) jak GPT3, ChatGPT i BARD są obecnie bardzo popularne. Każdy ma swoją opinię na temat tego, czy te narzędzia są dobre czy złe dla społeczeństwa i co oznaczają one dla przyszłości sztucznej inteligencji. Google otrzymał wiele negatywnych opinii za swoje nowe modele BARD, które odpowiedziały nieprawidłowo na skomplikowane pytanie (nieznacznie). Kiedy zostało zapytane “Jakie nowe odkrycia z Teleskopu Kosmicznego Jamesa Webba mogę powiedzieć mojemu 9-letniemu dziecku?” – chatbot udzielił trzech odpowiedzi, z których 2 były prawidłowe, a 1 była nieprawidłowa. Nieprawidłowa odpowiedź była taka, że pierwsze zdjęcie “egzoplanety” zostało wykonane przez JWST, co było nieprawidłowe. Zatem, model miał nieprawidłowy fakt przechowywany w swojej bazie wiedzy. Aby duże modele językowe były skuteczne, musimy znaleźć sposób, aby utrzymać te fakty na bieżąco lub uzupełnić je nową wiedzą.

Przede wszystkim, przyjrzyjmy się, jak fakty są przechowywane wewnątrz dużych modeli językowych (LLM). Duże modele językowe nie przechowują informacji i faktów w tradycyjnym sensie, jak bazy danych lub pliki. Zamiast tego, zostały one przeszkolone na ogromnych ilościach danych tekstowych i nauczyły się wzorców i relacji w tych danych. To umożliwia im generowanie odpowiedzi podobnych do ludzkich na pytania, ale nie mają one określonego miejsca przechowywania swojej wiedzy. Kiedy odpowiadają na pytanie, model używa swojego przeszkolenia, aby wygenerować odpowiedź na podstawie otrzymanego wejścia. Wiedza i informacje, które posiada model językowy, są wynikiem wzorców, które nauczył się w danych, na których został przeszkolony, a nie wynikiem ich jawnego przechowywania w pamięci modelu. Architektura Transformer, na której opierają się większość nowoczesnych LLM, ma wewnętrzne zakodowanie faktów, które jest używane do odpowiedzi na pytania zadawane w prompcie.

Jeśli więc fakty wewnątrz pamięci LLM są nieprawidłowe lub nieaktualne, nowe informacje muszą być dostarczone za pomocą promtu. Prompt to tekst wysłany do LLM wraz z zapytaniem i dowodami, które mogą być nowymi lub poprawionymi faktami. Oto 3 sposoby, aby to zrobić.

1. Jednym ze sposobów, aby poprawić zakodowane fakty LLM, jest dostarczenie nowych faktów istotnych dla kontekstu za pomocą zewnętrznej bazy wiedzy. Baza wiedzy ta może być wywołaniem API, aby uzyskać istotne informacje, lub wyszukiwaniem w bazie danych SQL, No-SQL lub wektorowej. Bardziej zaawansowana wiedza może być wyodrębniona z grafu wiedzy, który przechowuje encje danych i relacje między nimi. W zależności od informacji, o które pyta użytkownik, istotne informacje kontekstowe mogą być pobrane i dostarczone jako dodatkowe fakty do LLM. Fakty te mogą być również sformatowane, aby wyglądały jak przykłady szkoleniowe, aby poprawić proces uczenia. Na przykład, możesz przekazać zestaw par pytań i odpowiedzi, aby model nauczył się, jak udzielać odpowiedzi.

2. Bardziej innowacyjny (i droższy) sposób, aby uzupełnić LLM, jest rzeczywiste dostrojenie za pomocą danych szkoleniowych. Zamiast zapytywania bazy wiedzy o konkretnych faktach, aby je dodać, tworzymy zestaw danych szkoleniowych, próbkując bazę wiedzy. Za pomocą technik szkoleniowych, takich jak dostrojenie, możemy utworzyć nową wersję LLM, która jest przeszkolona na tej dodatkowej wiedzy. Proces ten jest zwykle drogi i może kosztować kilka tysięcy dolarów, aby utworzyć i utrzymać dostrojony model w OpenAI. Oczywiście, koszt ten powinien się zmniejszyć z czasem.

3. Innym sposobem jest użycie metod, takich jak uczenie ze wzmocnieniem (RL), aby przeszkolić agenta z ludzką opinią i nauczyć politykę odpowiedzi na pytania. Metoda ta była bardzo skuteczna w budowaniu mniejszych modeli, które są dobre w określonych zadaniach. Na przykład, słynny ChatGPT wydany przez OpenAI został przeszkolony na połączeniu szkolenia nadzorowanego i RL z ludzką opinią.

Podsumowując, jest to bardzo dynamicznie rozwijający się obszar, w którym każda duża firma chce wziąć udział i pokazać swoją różnorodność. Wkrótce zobaczymy główne narzędzia LLM w większości obszarów, takich jak handel detaliczny, opieka zdrowotna i bankowość, które będą mogły odpowiadać w sposób podobny do ludzkiego, rozumiejąc nuanse języka. Te narzędzia LLM, zintegrowane z danymi przedsiębiorstwa, mogą uprościć dostęp i zapewnić odpowiednie dane odpowiednim osobom w odpowiednim czasie.