Naukowcy z Google odkrywają problem niedookreślenia, który utrudnia funkcjonowanie wielu modeli AI

Niedawno zespół badaczy z Google (GOOGL ) zidentyfikował powszechną przyczynę niepowodzeń modeli AI, wskazując na niedookreślenie jako jedną z głównych przyczyn, dla których modele uczenia maszynowego często działają znacznie gorzej w środowisku rzeczywistym niż w laboratorium.

Modele uczenia maszynowego często zawodzą, gdy wykonują zadania w środowisku rzeczywistym, nawet jeśli modele te działają optymalnie w laboratorium. Istnieje wiele powodów, dla których występuje rozbieżność między wynikami testów a wynikami w środowisku rzeczywistym. Jedną z najczęstszych przyczyn niepowodzeń modeli AI w zadaniach rzeczywistych jest pojęcie znane jako przesunięcie danych. Przesunięcie danych odnosi się do fundamentalnej różnicy między typem danych wykorzystywanym do opracowania modelu uczenia maszynowego a danymi wprowadzanymi do modelu podczas jego stosowania. Przykładowo, modele widzenia komputerowego opracowane na podstawie danych obrazów o wysokiej jakości będą miały trudności z działaniem, gdy zostaną wyposażone w dane pochodzące z niskiej jakości kamer spotykanych w codziennym środowisku modelu.

Według MIT Technology Review, zespół 40 różnych badaczy z Google zidentyfikował inną przyczynę, dla której wyniki modelu uczenia maszynowego mogą się znacznie różnić. Problem ten to „niedookreślenie”, pojęcie statystyczne, które opisuje problemy, w których zjawiska obserwowane mają wiele możliwych przyczyn, z których nie wszystkie są uwzględnione w modelu. Według lidera badania, Alexa D’Amour, problem ten występuje w wielu modelach uczenia maszynowego, mówiąc, że „zjawisko to występuje wszędzie”.

Typowy sposób szkolenia modelu uczenia maszynowego polega na wprowadzeniu do modelu dużej ilości danych, które model może analizować i wyodrębnić z nich istotne wzorce. Następnie model jest wprowadzany do przykładów, których nie widział, i proszony o przewidzenie ich natury na podstawie cech, które nauczył się rozpoznawać. Gdy model osiągnie pewien poziom dokładności, szkolenie jest zwykle uważane za zakończone.

Zdaniem zespołu badawczego z Google, należy zrobić więcej, aby upewnić się, że modele mogą naprawdę generalizować dane poza danymi szkoleniowymi. Klasyczny sposób szkolenia modeli uczenia maszynowego może wyprodukować wiele modeli, które wszystkie mogą przejść testy, ale te modele będą się różnić w małych, nieistotnych detalach, które mogą nie mieć dużego wpływu na ich działanie podczas szkolenia. Różne węzły w modelach mogą mieć różne losowe wartości, lub dane szkoleniowe mogą być wybrane lub reprezentowane na różne sposoby. Te różnice są małe i często arbitralne, i jeśli nie mają dużego wpływu na działanie modelu podczas szkolenia, są one łatwe do pominięcia. Jednakże, gdy wpływ tych małych zmian się kumuluje, mogą one prowadzić do znacznych różnic w wynikach w środowisku rzeczywistym.

Niedookreślenie to problematyczne, ponieważ oznacza, że nawet jeśli proces szkolenia jest w stanie wyprodukować dobre modele, może on również wyprodukować słaby model, a różnica nie zostanie odkryta, dopóki model nie opuści produkcji i nie wejdzie do użycia.

Aby ocenić wpływ niedookreślenia, zespół badawczy przeanalizował wiele różnych modeli. Każdy model został wyszkolony przy użyciu tego samego procesu szkolenia, a następnie modele zostały poddane serii testów w celu podkreślenia różnic w ich działaniu. W jednym przypadku 50 różnych wersji systemu rozpoznawania obrazów zostało wyszkolonych na zbiorze danych ImageNet. Modele te były takie same, z wyjątkiem wartości sieci neuronowej, które zostały im przydzielone losowo na początku szkolenia. Testy stresowe, które zostały przeprowadzone w celu określenia różnic w modelach, zostały przeprowadzone przy użyciu ImageNet-C, wariacji oryginalnego zbioru danych składającego się z obrazów zmienionych poprzez kontrast lub dostosowanie jasności. Modele te zostały również przetestowane na ObjectNet, serii obrazów przedstawiających codzienne obiekty w nietypowych orientacjach i kontekstach. Chociaż wszystkie 50 modeli miało podobne wyniki na zbiorze danych szkoleniowych, ich wyniki znacznie się różniły, gdy zostały poddane testom stresowym.

Zespół badawczy uzyskał podobne wyniki, gdy wyszkolił i przetestował dwa różne systemy NLP, a także gdy przetestował różne inne modele widzenia komputerowego. W każdym przypadku modele znacznie się różniły od siebie, chociaż proces szkolenia dla wszystkich modeli był taki sam.

Zdaniem D’Amour, badacze i inżynierowie muszą przeprowadzać znacznie więcej testów stresowych, zanim wydadzą modele do użycia. Może to być trudne, ponieważ testy stresowe muszą być dostosowane do konkretnych zadań przy użyciu danych z środowiska rzeczywistego, danych, które mogą być trudne do uzyskania dla pewnych zadań i kontekstów. Jednym z potencjalnych rozwiązań problemu niedookreślenia jest wyprodukowanie wielu modeli jednocześnie, a następnie przetestowanie ich na serii zadań rzeczywistych, wybór modelu, który konsekwentnie daje najlepsze wyniki. Rozwój modeli w ten sposób wymaga dużo czasu i zasobów, ale może to być opłacalne, zwłaszcza w przypadku modeli AI wykorzystywanych w kontekstach medycznych lub innych, w których bezpieczeństwo jest głównym problemem. Jak wyjaśnił D’Amour w MIT Technology Review:

„Musimy lepiej określić, jakie są nasze wymagania dotyczące modeli. Ponieważ często zdarza się, że odkrywamy te wymagania dopiero po tym, jak model zawodzi w świecie”.