Jak przeniosłem swoją wiedzę do systemów AI, które mogą podejmować decyzje jak ludzcy eksperci

Gdy opuściłem firmę Microsoft i kontynuowałem pracę z przedsiębiorstwami nad ich wdrożeniami AI, zauważyłem, że większość systemów AI, które ludzie uważali za interesujące, nie były w stanie podejmować decyzji z prawdziwą ludzką oceną. Oczywiście, mogły pisać, streszczać i produkować niezwykle płynny tekst, który brzmiał jak decyzja, ale gdy umieści się te systemy w rzeczywistym środowisku operacyjnym, gdzie występują kompromisy, niepewność, niekompletne instrukcje i rzeczywiste konsekwencje, szybko mają problemy. To odpowiada danych z projektu MIT NANDA, które pokazują, że podczas gdy 60% organizacji oceniło narzędzia AI, tylko 20% osiągnęło etap pilotażowy, a tylko 5% osiągnęło produkcję. Innymi słowy, branża ma trudności z budowaniem systemów, które mogą naprawdę funkcjonować w rzeczywistych przepływach pracy.

W środowiskach przedsiębiorstw, szczególnie w obszarach takich jak łańcuch dostaw, produkcja i operacje, uzyskanie odpowiedzi nie jest trudne; trudne jest wiedzieć, której odpowiedzi można ufać, które zmienne są najważniejsze i co może się złamać w dół, jeśli się pomyli. Moim zdaniem jest to zarówno problem ekspertyzy, jak i oceny.

Aby być jasnym, AI dokonał niezwykłych postępów w produkcji lepszych wyników. Ale lepszy wynik nie jest tym samym, co lepsze decyzje. Są to dwa odrębne kamienie milowe, a myślę, że branża poświęciła dużo czasu na traktowanie ich jako wymiennych.

Brak ekspertyzy i oceny jest powodem, dla którego zacząłem interesować się budowaniem AI, które ludzcy eksperci mogą nauczyć podejmowania złożonych decyzji w sposób, w jaki oni to robią. AI nie powinno być tylko o automatyzacji zadań, ale o skutecznym i bezpiecznym przenoszeniu ludzkiej oceny do AI, które mogą się utrzymać.

Modele językowe (LLM) mówią jak decydenci, ale nimi nie są

Nie ma wątpliwości, że LLM są użyteczne, ale nie są one, z założenia, systemami podejmowania decyzji. Są to systemy predykcyjne opakowane w język. A język jest przekonywujący, co jest częścią problemu. Jeśli system może wyjaśnić się płynnie, łatwo przeceniamy to, czego on się uczy. Zadajesz mu pytanie biznesowe, on daje ci ustrukturyzowaną odpowiedź z kompromisami, zastrzeżeniami i schludnym podsumowaniem na końcu, sprawiając, że brzmi mądrzejszy, niż jest. Brzmiąc spójnie i będąc operacyjnie kompetentnym nie są tym samym, a to jest miejsce, w którym wiele przedsiębiorstw AI się łamie. Modele mogą powiedzieć ci, jaka dobra decyzja brzmi, bez żadnego zrozumienia, co sprawia, że decyzja jest dobra pod presją, w czasie lub w kontekście. To jest jeden z powodów, dla których wiele organizacji ma trudności z przeniesieniem się poza eksperymenty. Gartner stwierdził, że co najmniej 50% projektów generatywnych AI jest porzucanych po dowodach pojęciowych, zanim jeszcze dostarczą one rzeczywisty wpływ operacyjny, często z powodu niejasnej wartości i kontroli ryzyka.

Informacja nie jest tym samym, co ekspertyza

Jedną z najłatwiejszych pułapek, w które można wpaść z AI, jest założenie, że jeśli system ma wystarczającą ilość informacji, powinien on być w stanie działać jak ekspert. Brzmi to rozsądnie, ale gdy o tym myślisz w naszym codziennym życiu, zwiększanie naszej wiedzy o czymś nie automatycznie sprawia, że stajemy się ekspertami. Możesz przeczytać każdy podręcznik lotniczy i nadal nie być gotowy do lądowania samolotu. Możesz zapamiętać każdą najlepszą praktykę w łańcuchu dostaw i nadal zamarznąć, gdy trzy rzeczy pójdą nie tak jednocześnie.

Mógłbym kontynuować, ale punkt jest taki, że informacja nie równa się zdolności. Zdolność pochodzi z doświadczenia, konkretnie, powtarzającego się narażenia na sytuacje, w których odpowiedź nie jest oczywista.

Każdego dnia widzę, że większość dzisiejszych systemów AI jest szkolona na statycznych przykładach. To jest wszystko pomocne do robienia predykcyjnych, ale to jest tylko mała część podejmowania decyzji. Przedsiębiorstwa nie brakuje danych per se, ale potrzebują ustrukturyzowanych środowisk do praktyki, co oznacza dawanie systemom środowisk, w których mogą one:

• Spotkać realistyczne scenariusze
• Podejmować wybory
• Zobaczyć, co się dzieje
• Otrzymać informacje zwrotne
• Poprawić się w czasie

AI może być szkolony przy użyciu algorytmów predykcyjnych, ale ten podejście ma ograniczenia. Co jest potrzebne następnie, to AI, które mogą być szkolone w symulowanym środowisku z nadzorem ludzkim. Nazywam to nauczaniem maszynowym, metodyką, która rozkłada złożone decyzje na scenariusze i umiejętności, dostarczając przewodnik dla ludzkich ekspertów, aby nauczyć AI przez symulację. Wynikające z tego informacje zwrotne i próby i błędy ostatecznie umożliwiają agentom uczyć się i działać z prawdziwą autonomią bezpośrednio od ludzi, którzy zbudowali te procesy.

Przestań traktować AI jak monolit

Innym błędem, który widzę, jest założenie, że jeden duży model powinien jakoś robić wszystko. Żadna drużyna koszykarska nie składa się tylko z jednej osoby. Żadna fabryka nie jest prowadzona przez jednostkę. Złożone systemy działają, ponieważ różne komponenty robią różne zadania, a jest struktura, która je trzyma razem.

AI powinno być zbudowane w ten sam sposób. Nie myślę, że długoterminowa przyszłość podejmowania decyzji w przedsiębiorstwach jest jednym gigantycznym modelem siedzącym w środku firmy, udającym się za powszechnie kompetentny. Jest to bardziej prawdopodobne, że będzie to wyglądać jak zespoły specjalistycznych agentów.

Jeden agent mógłby być ekspertem od pobierania danych. Inny jest lepszy w ocenianiu scenariuszy. Inny zajmuje się planowaniem. Jeden sprawdza zgodność lub łapie sprzeczności. Inny działa bardziej jak nadzorca, decydując, kiedy eskalować lub kiedy zaufanie jest zbyt niskie, aby kontynuować. Architektura zespołu ma veel więcej sensu, ponieważ odwzorowuje, jak rzeczywiste organizacje naprawdę działają i jest zgodna z szerszymi trendami rynkowymi. Wyniki McKinseya potwierdzają, że organizacje uzyskują najwięcej wartości z AI, przebudowując przepływy pracy i struktury operacyjne wokół niego.

Nie wszystkie decyzje są podejmowane w ten sam sposób, a zbyt często zakładamy, że ten sam model, te same dane i ten sam typ rozumu mogą obsłużyć je wszystkie. W rzeczywistości różne decyzje wymagają różnych mechanizmów.

Cztery sposoby, w jakie decyzje są podejmowane

W moim doświadczeniu, większość decyzji ma tendencję do wpadania do kilku kategorii:

1. Systemy kontroli (reguły i formuły): Decyzje są podejmowane przez zastosowanie predefiniowanych równań lub reguł do znanych danych wejściowych. Jeśli X się dzieje, zrób Y.
2. Wyszukiwanie i optymalizacja: Decyzje są podejmowane przez ocenianie wielu możliwych opcji i wybór najlepszej na podstawie określonego celu.
3. Uczenie się wzmocnienia (próba i błąd): Decyzje są uczone w czasie przez podejmowanie działań, obserwowanie wyników i dostosowanie na podstawie nagrody lub kary.
4. Praktyka i doświadczenie (ludzkie uczenie się): Decyzje są kształtowane przez powtarzające się narażenie, kierowane informacje zwrotne i nagromadzoną ocenę w rzeczywistych scenariuszach.

Większość przedsiębiorstw AI radzi sobie dobrze w pierwszych dwóch kategoriach. Trzecia i czwarta kategoria są bardziej wyzwaniem dla AI, ponieważ tam żyje ludzka ocena.

Autonomia bez struktury jest ryzykowna

Kiedy ludzie mówią o autonomicznym AI, rozmowa tendencję do podziału na dwa skrajne punkty widzenia. Jedna strona myśli, że systemy są praktycznie magiczne i gotowe do prowadzenia wszystkiego. Inna strona działa, jakby one nigdy nie powinny być ufać z czymś znaczącym.

Nie myślę, że żadne z tych punktów widzenia jest użyteczne. Powinniśmy się skoncentrować na autonomii w ramach struktury, ponieważ autonomia bez nadzoru, logiki eskalacji, granic lub odpowiedzialności jest głównym źródłem ryzyka. Obawy dotyczące ryzyka pojawiają się teraz, również w rozmowach ukształtowanych przez wysiłki takie jak Ramowy program zarządzania ryzykiem AI National Institute of Standards and Technology, który odzwierciedla, jak poważnie organizacje traktują kwestie nadzoru, odpowiedzialności i zaufania operacyjnego.

Przyszłość przedsiębiorstw AI leży w zespołach agentów. Organizacje, które uzyskują najwięcej wartości z AI, nie będą tymi, które automatyzują najwięcej słów. Są to te, które wynajdą, jak przenieść prawdziwą ekspertyzę do systemów, które mogą się utrzymać, gdy środowisko staje się nieładne. To, moim zdaniem, jest różnicą między AI, które wygląda imponująco, a AI, które staje się naprawdę użyteczne, produkując prawdziwy zwrot z inwestycji.