Dlaczego sztuczna inteligencja przedsiębiorstw zawodzi na finiszu — i jak to naprawić

Pomimo zainteresowania sztuczną inteligencją, większość projektów sztucznej inteligencji przedsiębiorstw nie przechodzi poza etap eksperymentu. Zgodnie z niedawnymi badaniami IDC, 88% projektów proof-of-concept (POC) sztucznej inteligencji nie udaje się skalować do pełnej produkcji. To ogromny spadek, i wyraźny sygnał, że coś nie działa. Wiele z tych projektów dociera blisko mety, z wytrenowanym modelem, który spełnia benchmarki ustalone przez zespół, a następnie okazuje się, że nie są one uruchamiane lub przyjmowane przez użytkowników końcowych.

Co więc idzie nie tak? W wielu przypadkach sprowadza się to do trzech dużych problemów:

1. Zespoły sztucznej inteligencji przedsiębiorstw opierają się na powierzchniowych narzędziach diagnostycznych i benchmarkach, które nie wykrywają luk w wydajności
2. Modele są szkolone do standardowych benchmarków zamiast rozwiązywania rzeczywistych problemów
3. Koszt skalowania użycia modelu okazuje się zbyt wysoki dla przedsięwzięcia na skalę przedsiębiorstwa

W tym artykule rozpakujemy każdy z tych pułapek — i co jest potrzebne, aby przeprowadzić projekty sztucznej inteligencji przez linię mety i do rąk użytkowników na dużą skalę.

Problem #1: Standardowa diagnostyka, która nie wykrywa luk w wydajności

Jednym z głównych powodów, dla których projekty sztucznej inteligencji potykają się po fazie proof-of-concept, jest to, że wewnętrzne benchmarki i diagnostyka często nie sięgają wystarczająco głęboko w wydajność modelu i pomijają problemy, które wpływają na użyteczność, zaufanie i przyjęcie. Zespoły mogą odhaczyć wszystkie pola na papierze, ale te pola nie zawsze odzwierciedlają, jak model będzie działał w świecie rzeczywistym.

Weźmy ten przykład: Jeden zespół sztucznej inteligencji miał model, który przeszedł wszystkie wewnętrzne testy z wyróżnieniem. Spełnił wszystkie ich wskaźniki dokładności i progi bezpieczeństwa, i byli przygotowani do wydania. Ale kiedy sprowadzili stronę trzecią, aby ocenić model dla ich przypadku użycia, aby odtworzyć, jak użytkownicy końcowi będą wchodzić w interakcje z systemem, znaleźli duży punkt ślepy. Model był dziewięć razy bardziej skłonny do udzielania wymijających odpowiedzi, gdy zadawano mu pytania w określony sposób. Na przykład, odpowiedział poprawnie na “Kto jest prezydentem Stanów Zjednoczonych?”, ale potraktował “Czy możesz mi powiedzieć o prezydencie?” jako zagrożenie dla bezpieczeństwa i odmówił odpowiedzi.

Problem nie leżał w podstawowej wiedzy modelu — leżał w tym, jak interpretował intencję w oparciu o sformułowanie. Zespół zoptymalizował model pod kątem bezpieczeństwa, ale niechcący zablokował normalne, uzasadnione pytania.

Problem #2: Modele są dostosowane do benchmarków, które nie odzwierciedlają świata rzeczywistego

Inną powszechną przeszkodą dla sztucznej inteligencji przedsiębiorstw jest to, że zespoły sztucznej inteligencji szkolą modele, aby spełniały branżowe benchmarki, a nie rzeczywiste potrzeby. Na papierze model może wyglądać na najlepszy, uzyskując wysokie wyniki w standardowych ocenach dokładności, trafności lub bezpieczeństwa. Ale w praktyce może mieć trudności z dostarczaniem spójnych, użytecznych wyników bez ciężkiej interwencji użytkownika.

To się dzieje, gdy zespoły optymalizują modele, aby dobrze radziły sobie z wąskimi, benchmarkowymi zadaniami. Model staje się doskonały w tych testach, ale zawodzi, gdy spotyka mniej ustrukturyzowane, bardziej zróżnicowane dane wejściowe świata rzeczywistego. W efekcie użytkownicy muszą “mówić językiem modelu” za pomocą inżynierii podpowiedzi, aby uzyskać odpowiedzi. Jeśli twój produkt sztucznej inteligencji zależy od tego, że użytkownicy końcowi tworzą precyzyjne podpowiedzi, wprowadzasz tarcie, które spowalnia przyjęcie i podważa jego użyteczność.

Ten rodzaj szkolenia ukierunkowanego na benchmarki może również prowadzić do przeuczenia. Model staje się tak dostosowany do wykonywania dobrze w ocenach, że traci ogólną użyteczność. Może przejść każdy wewnętrzny test, ale nadal zawieść, gdy zostanie wdrożony w terenie, zwłaszcza jeśli rzeczywiste przypadki użycia różnią się choćby nieznacznie od tych, do których został wyszkolony.

Jeśli chcesz rozwiązanie sztucznej inteligencji przedsiębiorstwa, które się powiedzie, twój model musi działać w świecie rzeczywistym — a nie tylko w laboratorium.

Problem #3: Skalowanie przyjęcia sztucznej inteligencji oznacza skalowanie kosztów obliczeniowych

Trzecim powodem, dla którego wiele projektów proof-of-concept sztucznej inteligencji nie udaje się skalować, jest kwestia finansowa: zespoły często zaniżają koszt uruchomienia i utrzymania modelu w produkcji. Podczas rozwoju łatwo pominąć zapotrzebowanie na obliczenia dużego modelu, zwłaszcza podczas testowania na małych zbiorach danych lub w środowiskach o ograniczonym użyciu. Ale po wdrożeniu te koszty mogą wzrosnąć.

Sztuczna inteligencja na poziomie przedsiębiorstwa wymaga znacznych zasobów obliczeniowych, nie tylko do obsługi odpowiedzi w czasie rzeczywistym, ale także do ciągłego doskonalenia, monitorowania, logowania i ponownego szkolenia. Jeśli te koszty nie są uwzględnione na początku, biznesowy przypadek rozwiązania może zawieść, gdy zacznie się używanie w świecie rzeczywistym. To, co wydawało się obiecującym modelem w kontrolowanym teście, może szybko stać się niewykonalne, gdy tysiące użytkowników zacznie korzystać z systemu codziennie.

Pokonywanie przeszkód na ostatniej milie do udanej sztucznej inteligencji przedsiębiorstwa

Aby uniknąć powszechnych pułapek, które wykolejają tak wiele projektów sztucznej inteligencji przedsiębiorstwa, zespoły muszą wyjść poza standardowy podręcznik. Oto jak twój zespół sztucznej inteligencji może zbudować coś, co naprawdę działa — i skaluje.

Po pierwsze, sprowadź stronę trzecią, aby ocenić twój model. Wewnętrzne testowanie jest ważne, ale często jest zbyt ogólne. Świeży zestaw oczu, połączony z niestandardową ramą oceny dostosowaną do twojego przypadku użycia, może ujawnić problemy, których twój zespół może nie zauważyć, zwłaszcza jeśli chodzi o to, jak użytkownicy końcowi będą wchodzić w interakcje z systemem.

Po drugie, upewnij się, że testujesz z podpowiedziami świata rzeczywistego. Większość benchmarków testuje “czyste” dane, które nie odzwierciedlają świata rzeczywistego, a już nie tego, jak twoi użytkownicy końcowi będą wprowadzać dane do twojego modelu. Testowanie twojego modelu na nieładnych, niejasnych lub dziwnie sformułowanych danych wejściowych pomoże ci zobaczyć, jak twój model będzie działał po wdrożeniu i pozwoli ci wykryć problemy, które mogą wpłynąć na przyjęcie.

Po trzecie, ponownie przeanalizuj swoje protokoły bezpieczeństwa. Łatwo jest przesadzić z barierami ochronnymi, a chociaż bezpieczeństwo jest ważne, nie powinno ono sprawiać, że model jest frustrujący w użyciu. Jeśli model zamyka się na proste, nieszkodliwe pytania, wymieniasz użyteczność na fałszywe poczucie bezpieczeństwa.

Wreszcie, zwróć uwagę na koszty obliczeniowe. Jeśli twoje cele przyjęcia obejmują tysiące użytkowników i miliony żądań, te wydatki mogą szybko wzrosnąć. Jednym z rozwiązań jest rozważenie mniejszych modeli. Boosted.ai zrobił właśnie to — przełączył się na niestandardowy mały model językowy i obciął koszty obliczeniowe o 90%, poprawiając przy tym szybkość i wydajność. Wyniki w czasie rzeczywistym, lepsze doświadczenie użytkownika i brak potrzeby drogiego sprzętu.

Przez rozwiązanie problemów z oceną, użytecznością i skalowalnością od samego początku, zespoły mogą dać swoim projektom sztucznej inteligencji szansę na długoterminowy sukces. To nie tylko kwestia sprawienia, by działało w laboratorium — to kwestia sprawienia, by działało w świecie.