Rozwiązywanie Bieżących Problemów Wielkich Modeli Językowych (LLM) i Spoglądanie w Przyszłość

Dziś dostępnych jest kilkadziesiąt publicznie dostępnych wielkich modeli językowych (LLM), takich jak GPT-3, GPT-4, LaMDA lub Bard, a ich liczba ciągle rośnie, ponieważ są wydawane nowe modele. LLM-y rewolucjonizowały sztuczną inteligencję, całkowicie zmieniając sposób, w jaki wchodzimy w interakcje z technologią w różnych branżach. Te modele pozwalają nam uczyć się z wielu zbiorów danych językowych i otworzyły nowe ścieżki dla innowacji, kreatywności i wydajności.

Jednak wraz z wielką mocą przychodzi wielka złożoność. Istnieją wrodzone wyzwania i problemy etyczne związane z LLM-ami, które muszą być rozwiązane, zanim będziemy mogli ich używać w pełni. Na przykład niedawne badanie przeprowadzone przez Stanford wykazało rasistowską i płciową stronniczość, gdy obserwowano ChatGPT-4 w odniesieniu do sposobu, w jaki traktuje pewne zapytania zawierające imiona i nazwiska sugerujące rasę lub płeć. W tym badaniu program został poproszony o radę, ile powinno się zapłacić za używanego rower, który sprzedaje osoba o imieniu Jamal Washington, co dało znacznie niższą kwotę w porównaniu z sytuacją, gdy sprzedawcą był Logan Becker. Im więcej takich odkryć wychodzi na jaw, tym bardziej zwiększa się potrzeba rozwiązania problemów związanych z LLM-ami.

Jak Zmniejszyć Powszechne Obawy Związane z LLM

Stronniczość

Jednym z najczęściej dyskutowanych problemów wśród LLM-ów jest stronniczość i sprawiedliwość. W niedawnym badaniu eksperci przetestowali cztery ostatnio opublikowane LLM-y i stwierdzili, że wszystkie wyrażały stronnicze założenia dotyczące mężczyzn i kobiet, szczególnie tych zgodnych z postrzeganiem ludzi, a nie tych opartych na faktach. W tym kontekście stronniczość odnosi się do nierównego traktowania lub wyników wśród różnych grup społecznych, najprawdopodobniej z powodu historycznych lub strukturalnych dysproporcji władzy.

W LLM-ach stronniczość jest spowodowana wyborem danych, demografią twórców i językową lub kulturową skłonnością. Stronniczość wyboru danych występuje, gdy teksty wybrane do szkolenia LLM nie reprezentują pełnej różnorodności języka używanego w sieci. LLM-y szkolone na obszernych, ale ograniczonych, zbiorach danych mogą odziedziczyć stronniczości już zawarte w tych tekstach. Z demografią twórców pewne grupy demograficzne są częściej uwzględniane niż inne, co pokazuje potrzebę większej różnorodności i inkluzywności w tworzeniu treści, aby zmniejszyć stronniczość. Na przykład Wikipedia, powszechnie używane źródło danych szkoleniowych, wykazuje znaczącą demograficzną nierównowagę wśród swoich edytorów, z przewagą mężczyzn (84%). Jest to podobne do skłonności, która występuje w przypadku języka i kultury. Wiele źródeł, z których korzystają LLM-y, jest skłonnych, ukierunkowanych na język angielski, co tylko czasami tłumaczy się dokładnie na inne języki i kultury.

Jest niezwykle ważne, aby LLM-y były szkolone na danych przefiltrowanych, a także aby były wdrożone zabezpieczenia, które tłumią tematy, które nie są spójnymi reprezentacjami danych. Jednym ze sposobów jest zastosowanie technik opartych na augmentacji danych. Można dodać przykłady z grup niedoreprezentowanych do danych szkoleniowych, rozszerzając w ten sposób różnorodność zbioru danych. Inna taktyka łagodząca to filtrowanie i przypisywanie wagi danych, które koncentruje się głównie na precyzyjnym ukierunkowaniu konkretnych, niedoreprezentowanych przykładów w ramach istniejącego zbioru danych.

Halucynacje

W kontekście LLM-ów halucynacje są zjawiskiem charakteryzującym się wytwarzaniem tekstu, który, chociaż jest gramatycznie poprawny i zdaje się spójny, odbiega od faktograficznej dokładności lub intencji materiału źródłowego. W rzeczywistości niedawne raporty ujawniły, że pozew dotyczący prawa w Minnesocie jest bezpośrednio dotknięty halucynacjami LLM. Załącznik do pozwu zawierał nieistniejące źródła, które mogły zostać wygenerowane przez ChatGPT lub inny LLM. Te halucynacje mogą łatwo zmniejszyć niezawodność LLM-u.

Istnieją trzy podstawowe formy halucynacji:

1. Halucynacja sprzeczna z wejściem: Zdarza się to, gdy wyjście LLM-u odbiega od danych wejściowych podanych przez użytkownika, które zwykle obejmują instrukcje zadania i rzeczywistą treść wymagającą przetworzenia.
2. Halucynacja sprzeczna z kontekstem: LLM-y mogą generować wewnętrznie niespójne odpowiedzi w scenariuszach obejmujących przedłużone dialogi lub wiele wymian. To sugeruje potencjalną wadę w zdolności modelu do śledzenia kontekstu lub utrzymania spójności w różnych interakcjach.
3. Halucynacja sprzeczna z faktami: Ten rodzaj halucynacji pojawia się, gdy LLM wytwarza treści sprzeczne z ustaloną wiedzą faktograficzną. Pochodzenie takich błędów jest różnorodne i może wystąpić na różnych etapach cyklu życia LLM-u.

Wiele czynników przyczyniło się do tego zjawiska, takich jak braki wiedzy, które wyjaśniają, jak LLM-y mogą nie posiadać wiedzy lub zdolności do asymilacji informacji podczas wstępnego szkolenia. Dodatkowo stronniczość w danych szkoleniowych lub sekwencyjna strategia generowania LLM-ów, określana jako “halucynacyjny śnieg”, może tworzyć halucynacje.

Istnieją sposoby na złagodzenie halucynacji, choć zawsze będą one cechą LLM-ów. Pomocne strategie łagodzenia halucynacji to łagodzenie podczas wstępnego szkolenia (ręczne doskonalenie danych przy użyciu technik filtracji) lub dostrajanie (kuratorstwo danych szkoleniowych). Niemniej, łagodzenie podczas inferencji jest najlepszym rozwiązaniem ze względu na jego efektywność kosztową i sterowalność.

Prywatność

Wraz ze wzrostem dostępności internetu, zwiększona dostępność informacji osobistych i innych danych prywatnych stała się powszechnie rozpoznanym problemem. Badanie wykazało, że 80% amerykańskich konsumentów obawia się, że ich dane są wykorzystywane do szkolenia modeli AI. Ponieważ najbardziej znane LLM-y pochodzą ze stron internetowych, musimy rozważyć, w jaki sposób to stwarza ryzyko dla prywatności i pozostaje w dużej mierze nierozwiązanym problemem dla LLM-ów.

Najprostszym sposobem zapobiegania rozpowszechnianiu informacji osobistych przez LLM-y jest usunięcie ich z danych szkoleniowych. Jednakże, biorąc pod uwagę ogromną ilość danych zaangażowanych w LLM-y, jest prawie niemożliwe, aby zagwarantować, że wszystkie informacje prywatne zostaną usunięte. Innym powszechnym rozwiązaniem dla organizacji, które polegają na zewnętrznie opracowanych modelach, jest wybranie modelu LLM o otwartym źródle zamiast usługi takiej jak ChatGPT.

Z takim podejściem można wdrożyć kopię modelu wewnętrznie. Wprowadzane przez użytkowników dane pozostają bezpieczne w sieci organizacji, zamiast być narażone na usługi zewnętrzne. Chociaż to znacznie zmniejsza ryzyko wycieku danych wrażliwych, dodaje również znaczną złożoność. Biorąc pod uwagę trudności w pełnym zagwarantowaniu ochrony danych prywatnych, nadal jest niezwykle ważne, aby deweloperzy aplikacji brali pod uwagę, w jaki sposób te modele mogą narażać ich użytkowników na ryzyko.

Następna Granica dla LLM-ów

Podczas gdy kontynuujemy rozwój i kształtowanie następnych ewolucji LLM-ów poprzez łagodzenie obecnych ryzyk, powinniśmy oczekiwać przełomu w postaci agentów LLM, których już widzimy u firm takich jak H z Runner H, rozpoczynających uruchamianie. Przejście od czystych modeli językowych do architektur agencji reprezentuje zmianę w projekcie systemów AI; branża będzie przechodziła poza wrodzone ograniczenia interfejsów czatu i prostej generacji z uzupełnieniem. Te nowe ramy agentów będą miały zaawansowane moduły planistyczne, które rozkładają złożone cele na atomowe podzadania, utrzymują pamięć epizodyczną do rozumowania kontekstowego i wykorzystują specjalistyczne narzędzia za pomocą dobrze zdefiniowanych API. To tworzy bardziej solidne podejście do automatyzacji zadań.

Wraz z rozwojem LLM-ów, będzie większy nacisk na szkolenie mniejszych modeli językowych ze względu na ich efektywność kosztową, dostępność i łatwość wdrożenia. Na przykład, modele językowe specyficzne dla danej dziedziny są szkolone na danych i terminologii specyficznej dla tej dziedziny, co sprawia, że są one idealne dla złożonych i uregulowanych środowisk, takich jak medycyna lub prawo, gdzie precyzja jest niezwykle ważna. To ukierunkowane podejście zmniejsza prawdopodobieństwo błędów i halucynacji, które mogą pojawić się w modelach ogólnych, gdy mają do czynienia z treściami specjalistycznymi.

Ponieważ kontynuujemy eksplorację nowych granic w LLM-ach, jest niezwykle ważne, aby pchnąć granice innowacji i rozwiązać oraz złagodzić potencjalne ryzyka związane z ich rozwojem i wdrożeniem. Tylko poprzez identyfikację i proaktywne rozwiązywanie wyzwań związanych ze stronniczością, halucynacjami i prywatnością możemy stworzyć bardziej solidną podstawę dla LLM-ów, aby mogły one prosperować w różnych dziedzinach.