Pętla informacji zwrotnej AI: utrzymanie jakości modelu produkcyjnego w erze treści generowanych przez AI

Modele AI wdrożone w produkcji wymagają solidnego i ciągłego mechanizmu oceny wydajności. To właśnie tu można zastosować pętlę informacji zwrotnej AI, aby zapewnić stałą wydajność modelu.

Weź to od Elona Muska:

„Uważam, że bardzo ważne jest posiadanie pętli informacji zwrotnej, w której ciągle myślisz o tym, co zrobiłeś i jak możesz to robić lepiej.”

Dla wszystkich modeli AI standardową procedurą jest wdrożenie modelu, a następnie okresowe przeszkolenie go na najnowszych danych ze świata rzeczywistego, aby zapewnić, że jego wydajność nie pogorszy się. Ale z meteoricznym wzrostem AI generatywnej, trening modelu AI stał się anomalnym i podatnym na błędy. Wynika to z faktu, że źródła danych online (internet) stopniowo stają się mieszaniną danych generowanych przez ludzi i AI.

Na przykład, wiele blogów dzisiaj zawiera teksty generowane przez AI, napędzane przez LLM (Large Language Modules) takie jak ChatGPT lub GPT-4. Wiele źródeł danych zawiera obrazy generowane przez AI, tworzone za pomocą DALL-E2 lub Midjourney. Ponadto, badacze AI używają danych syntetycznych generowanych za pomocą AI generatywnej w swoich procesach treningowych.

Dlatego też potrzebujemy solidnego mechanizmu, aby zapewnić jakość modeli AI. To właśnie tu pojawia się potrzeba pętli informacji zwrotnej AI.

Czym jest pętla informacji zwrotnej AI?

Pętla informacji zwrotnej AI jest procesem iteracyjnym, w którym decyzje i dane wyjściowe modelu AI są ciągle zbierane i wykorzystywane do udoskonalenia lub przeszkolenia tego samego modelu, co prowadzi do ciągłego uczenia się, rozwoju i poprawy modelu. W tym procesie dane treningowe, parametry modelu i algorytmy są aktualizowane i udoskonalane na podstawie danych wejściowych generowanych wewnątrz systemu.

Głównie istnieją dwa rodzaje pętli informacji zwrotnej AI:

1. Pozytywne pętle informacji zwrotnej AI: Gdy modele AI generują dokładne wyniki, które są zgodne z oczekiwaniami i preferencjami użytkowników, użytkownicy dają pozytywną informację zwrotną za pomocą pętli informacji zwrotnej, co z kolei wzmacnia dokładność przyszłych wyników. Taka pętla informacji zwrotnej nazywana jest pozytywną.
2. Negatywne pętle informacji zwrotnej AI: Gdy modele AI generują niedokładne wyniki, użytkownicy zgłaszają błędy za pomocą pętli informacji zwrotnej, co z kolei próbuje poprawić stabilność systemu, naprawiając błędy. Taka pętla informacji zwrotnej nazywana jest negatywną.

Oba rodzaje pętli informacji zwrotnej AI umożliwiają ciągły rozwój modelu i poprawę wydajności w czasie. I nie są one stosowane w izolacji. Razem pomagają modelom AI wdrożonym w produkcji zrozumieć, co jest prawidłowe, a co nie.

Etapowanie pętli informacji zwrotnej AI

Ilustracja mechanizmu informacji zwrotnej w modelach AI. Źródło

Zrozumienie, jak działają pętle informacji zwrotnej AI, jest istotne, aby odblokować cały potencjał rozwoju AI. Przejdźmy do omówienia różnych etapów pętli informacji zwrotnej AI poniżej.

1. Zbieranie informacji zwrotnej: Zbieranie istotnych wyników modelu do oceny. Zazwyczaj użytkownicy dają informację zwrotną o wyniku modelu, która jest następnie wykorzystywana do przeszkolenia. Lub może to być zewnętrzne dane z sieci, opracowane w celu udoskonalenia wydajności systemu.
2. Przeszkolenie modelu: Wykorzystując zebrane informacje, system AI jest przeszkolony, aby lepiej przewidywać, udzielać odpowiedzi lub wykonywać określone czynności, poprzez udoskonalenie parametrów modelu lub wag.
3. Integracja informacji zwrotnej i testowanie: Po przeszkoleniu model jest testowany i oceniany ponownie. Na tym etapie informacja zwrotna od ekspertów jest również włączona w celu podkreślenia problemów poza danymi.
4. Wdrożenie: Model jest wdrożony ponownie po zweryfikowaniu zmian. Na tym etapie model powinien wykazywać lepszą wydajność na nowych danych ze świata rzeczywistego, co prowadzi do udoskonalenia doświadczenia użytkownika.
5. Monitorowanie: Model jest monitorowany ciągle za pomocą metryk, aby zidentyfikować potencjalne pogorszenie, takie jak dryft. I cykl informacji zwrotnej kontynuuje się.

Problemy w danych produkcyjnych i danych wyjściowych modelu AI

Budowanie solidnych systemów AI wymaga dogłębnego zrozumienia potencjalnych problemów w danych produkcyjnych (danych ze świata rzeczywistego) i wynikach modelu. Przejdźmy do omówienia kilku problemów, które stają się przeszkodą w zapewnieniu dokładności i niezawodności systemów AI:

1. Dryft danych: Występuje, gdy model zaczyna otrzymywać dane ze świata rzeczywistego z innego rozkładu w porównaniu z rozkładem danych treningowych modelu.
2. Dryft modelu: Możliwości predykcyjne i wydajność modelu maleją z czasem z powodu zmieniających się środowisk ze świata rzeczywistego. Jest to znane jako dryft modelu.
3. Dane wyjściowe modelu AI a decyzje ze świata rzeczywistego: Modele AI generują niedokładne dane wyjściowe, które nie są zgodne z decyzjami podjętymi przez stakeholderów ze świata rzeczywistego.
4. Założenie i sprawiedliwość: Modele AI mogą rozwijać założenia i problemy ze sprawiedliwością. Na przykład, w przemówieniu TED Janelle Shane, opisuje decyzję Amazonu o zaprzestaniu pracy nad algorytmem sortowania CV z powodu dyskryminacji ze względu na płeć.

Gdy modele AI zaczynają trenować na danych generowanych przez AI, te problemy mogą się nasilić. Jak? Przejdźmy do omówienia tego w większych szczegółach.

Pętle informacji zwrotnej AI w erze treści generowanych przez AI

W związku z gwałtownym rozwojem AI generatywnej, badacze zbadali zjawisko znane jako kollaps modelu. Definiują kollaps modelu jako:

„Proces degeneracyjny wpływający na pokolenia modeli generatywnych, w którym dane generowane kończą się zanieczyszczając zestaw treningowy następnego pokolenia modeli; trenowane na zanieczyszczonych danych, następnie błędnie postrzegają rzeczywistość.”

Kollaps modelu składa się z dwóch specjalnych przypadków,

• Wczesny kollaps modelu: Występuje, gdy „model zaczyna tracić informacje o ogonach rozkładu”, czyli skrajnych punktach rozkładu danych treningowych.
• Późny kollaps modelu: Występuje, gdy „model splata różne tryby oryginalnych rozkładów i konwerguje do rozkładu, który ma niewiele wspólnego z oryginalnym, często z bardzo małym rozrzutem.”

Przyczyny kollapsu modelu

Aby praktycy AI mogli rozwiązać ten problem, istotne jest zrozumienie przyczyn kollapsu modelu, które można podzielić na dwie główne kategorie:

1. Błąd aproksymacji statystycznej: To podstawowy błąd spowodowany przez skończoną liczbę próbek, który zanika, gdy liczba próbek zbliża się do nieskończoności.
2. Błąd aproksymacji funkcyjnej: Ten błąd pochodzi z faktu, że modele, takie jak sieci neuronowe, nie są w stanie uchwycić prawdziwej funkcji, którą należy nauczyć się z danych.

Przykład wyników modelu dla wielu pokoleń modeli dotkniętych kollapsem modelu. Źródło

W jaki sposób pętle informacji zwrotnej AI są wpływane przez treści generowane przez AI

Gdy modele AI trenują na danych generowanych przez AI, ma to destrukcyjny wpływ na pętle informacji zwrotnej AI i może spowodować wiele problemów dla przeszkolonych modeli AI, takich jak:

• Kollaps modelu: Jak wyjaśniono powyżej, kollaps modelu jest prawdopodobną możliwością, jeśli pętla informacji zwrotnej AI zawiera dane generowane przez AI.
• Katastrofalne zapominanie: Typowe wyzwanie w ciągłym uczeniu się jest to, że model zapomina poprzednich próbek, gdy uczy się nowych informacji. Jest to znane jako katastrofalne zapominanie.
• Zatrucie danych: Odwołuje się do karmienia manipulatywnymi danymi syntetycznymi modelem AI, aby skompromitować jego wydajność, powodując, że produkuje niedokładne dane wyjściowe.

Jak firmy mogą stworzyć solidną pętlę informacji zwrotnej dla swoich modeli AI?

Firmy mogą skorzystać na stosowaniu pętli informacji zwrotnej w swoich procesach AI. Postępuj zgodnie z trzema głównymi krokami poniżej, aby udoskonalić wydajność swoich modeli AI.

• Informacja zwrotna od ekspertów: Eksperci są bardzo dobrze zorientowani w swojej dziedzinie i rozumieją użycie modeli AI. Mogą zapewnić wgląd, aby zwiększyć zgodność modelu z ustawieniami ze świata rzeczywistego, dając większą szansę na poprawne wyniki. Mogą również lepiej zarządzać i kontrolować dane generowane przez AI.
• Wybór odpowiednich metryk jakości modelu: Wybór odpowiedniej metryki oceny dla odpowiedniego zadania i monitorowanie modelu w produkcji na podstawie tych metryk może zapewnić jakość modelu. Praktycy AI również wykorzystują narzędzia MLOps do automatycznej oceny i monitorowania, aby powiadomić wszystkich stakeholderów, jeśli wydajność modelu zacznie się pogarszać w produkcji.
• Ścisła kuracja danych: Ponieważ modele produkcyjne są przeszkolone na nowych danych, mogą zapomnieć poprzednich informacji, dlatego tak ważne jest kuracja wysokiej jakości danych, które są zgodne z celem modelu. Te dane mogą być wykorzystane do przeszkolenia modelu w następnych pokoleniach, wraz z informacją zwrotną użytkowników, aby zapewnić jakość.

Aby dowiedzieć się więcej o postępach w dziedzinie AI, odwiedź Unite.ai.