Jak przeniosłem swoją wiedzę do systemów AI, które mogą podejmować decyzje jak ludzcy eksperci

Gdy opuściłem firmę Microsoft i kontynuowałem pracę z przedsiębiorstwami nad ich wdrożeniami AI, zauważyłem, że większość systemów AI, które ludzie uważali za interesujące, nie były w stanie podejmować decyzji z prawdziwym ludzkim osądem. Oczywiście, mogły pisać, streszczać i produkować niezwykle płynny tekst, który brzmiał jak decyzja, ale gdy umieści się te systemy w rzeczywistym środowisku operacyjnym, gdzie występują kompromisy, niepewność, niepełne instrukcje i rzeczywiste konsekwencje, szybko mają trudności. To potwierdzają dane z projektu MIT NANDA, które pokazują, że chociaż 60% organizacji oceniło narzędzia AI, tylko 20% dotarło do etapu pilotażowego, a tylko 5% dotarło do produkcji. Innymi słowy, branża ma trudności z budowaniem systemów, które mogą się utrzymać w rzeczywistych przepływach pracy.

W środowiskach przedsiębiorstw, szczególnie w obszarach takich jak łańcuch dostaw, produkcja i operacje, uzyskanie odpowiedzi nie jest trudne; trudne jest wiedzieć, której odpowiedzi można ufać, które zmienne są najważniejsze i co może się złamać w dół, jeśli się pomyli. Moim zdaniem jest to zarówno problem ekspertyzy, jak i osądu.

Aby być jasnym, AI dokonał niezwykłych postępów w produkcji lepszych wyników. Ale lepszy wynik nie jest tym samym co lepsze decyzje. Są to dwa odrębne kamienie milowe, a myślę, że branża poświęciła dużo czasu na traktowanie ich jako wymiennych.

Brak ekspertyzy i osądu jest powodem, dla którego zacząłem się interesować budowaniem AI, które ludzcy eksperci mogą nauczyć podejmować złożone decyzje w taki sam sposób, jak oni. AI nie powinno być tylko o automatyzacji zadań, ale o skutecznym i bezpiecznym przenoszeniu ludzkiego osądu do AI, które się utrzymuje.

Large language models (LLMs) mówią jak decydenci, ale nimi nie są

Nie ma wątpliwości, że LLM są użyteczne, ale nie są one, domyślnie, systemami podejmowania decyzji. Są to systemy predykcyjne opakowane w język. I język jest przekonywujący, co jest częścią problemu. Jeśli system może wyjaśnić się płynnie, łatwo przeceniamy to, co rozumie. Zadajesz mu pytanie biznesowe, on daje ci ustrukturyzowaną odpowiedź z kompromisami, zastrzeżeniami i ładnym podsumowaniem na końcu, sprawiając, że brzmi mądrzej, niż jest. Brzmiąc spójnie i być kompetentnym operacyjnie to nie to samo, i to jest miejsce, w którym wiele przedsiębiorstw AI się łamie. Modele mogą powiedzieć ci, jak brzmi dobra decyzja, bez żadnego zrozumienia, co sprawia, że decyzja jest dobra pod presją, w czasie lub w kontekście. To jest jeden z powodów, dla których wiele organizacji ma trudności z przeniesieniem poza eksperymenty. Gartner znalazł, że co najmniej 50% projektów generatywnych AI jest porzucanych po dowodach pojęciowych, długo zanim dostarczą one rzeczywisty wpływ operacyjny, często z powodu niejasnej wartości i kontroli ryzyka.

Informacja nie jest taka sama jak ekspertyza

Jedną z najłatwiejszych pułapek, w które można wpaść z AI, jest założenie, że jeśli system ma wystarczającą ilość informacji, powinien być w stanie działać jak ekspert. Brzmi to rozsądnie, ale gdy o tym myślisz w naszym codziennym życiu, zwiększanie naszej wiedzy o czymś nie automatycznie nas uczyni ekspertami. Możesz przeczytać każdy podręcznik lotniczy i nadal nie być gotowym, aby wylądować samolot. Możesz zapamiętać każdą najlepszą praktykę w łańcuchu dostaw i nadal zamarznąć, gdy trzy rzeczy pójdą nie tak jednocześnie.

Mogę kontynuować, ale punkt jest taki, że informacja nie równa się zdolności. Zdolność pochodzi z doświadczenia, konkretnie, powtarzającego się narażenia na nieładne sytuacje, w których odpowiedź nie jest oczywista.

Każdego dnia widzę, że większość dzisiejszych systemów AI jest szkolona na statycznych przykładach. To wszystko jest pomocne do robienia predykcyjnych, ale to jest tylko mała część podejmowania decyzji. Przedsiębiorstwa nie brakuje danych per se, ale potrzebują ustrukturyzowanych środowisk do praktyki, co oznacza dawanie systemom środowisk, w których mogą one powtarzać:

• Spotykać realistyczne scenariusze
• Podejmować wybory
• Widzieć, co się dzieje
• Otrzymywać informacje zwrotne
• Poprawiać się w czasie

AI można szkolić przy użyciu algorytmów predykcyjnych, ale ten podejście ma ograniczenia. Co jest potrzebne następnie, to AI, które mogą być szkolone w symulowanym środowisku z nadzorem ludzkim. Nazywam to nauczaniem maszyn, metodyką, która rozkłada złożone decyzje na scenariusze i umiejętności, zapewniając przewodnik dla ludzkich ekspertów, aby nauczyć AI przez symulację. Wynikowe informacje zwrotne i próba i błąd ostatecznie umożliwiają agentom uczyć się i działać z prawdziwą autonomią bezpośrednio od ludzi, którzy zbudowali te procesy.

Przestań traktować AI jak monolit

Innym błędem, który widzę, jest założenie, że jeden duży model powinien jakoś robić wszystko. Żadna drużyna koszykarska nie składa się z tylko jednej osoby. Żadna fabryka nie jest prowadzona przez jednostkę. Złożone systemy działają, ponieważ różne komponenty robią różne zadania, i jest struktura, która je trzyma razem.

AI powinno być zbudowane w ten sam sposób. Nie myślę, że długoterminowa przyszłość podejmowania decyzji w przedsiębiorstwach leży w jednym gigantycznym modelu siedzącym w środku firmy, udającym, że jest powszechnie kompetentnym. Jest to bardziej prawdopodobne, że będzie to wyglądać jak zespoły specjalistycznych agentów.

Jeden agent może być ekspertem od pobierania danych. Inny jest lepszy w ocenianiu scenariuszy. Inny zajmuje się planowaniem. Jeden sprawdza zgodność lub łapie sprzeczności. Inny działa bardziej jak nadzorca, decydując, kiedy eskalować lub kiedy zaufanie jest zbyt niskie, aby kontynuować. Architektura zespołu ma veel więcej sensu, ponieważ odwzorowuje, jak rzeczywiste organizacje naprawdę działają i jest zgodna z szerszymi trendami rynkowymi. Wyniki McKinseya potwierdzają, że organizacje uzyskują największą wartość z AI, przebudowując przepływy pracy i struktury operacyjne wokół niego.

Nie wszystkie decyzje są podejmowane w taki sam sposób, i zbyt często zakładamy, że ten sam model, same dane i ten sam typ rozumowania mogą obsłużyć je wszystkie. W rzeczywistości różne decyzje wymagają różnych mechanizmów.

Cztery sposoby, w jakie decyzje są podejmowane

W moim doświadczeniu, większość decyzji tendencji do upadku w kilka kategorii:

1. Systemy kontroli (reguły i formuły): Decyzje są podejmowane przez zastosowanie predefiniowanych równań lub reguł do znanych danych wejściowych. Jeśli X się dzieje, zrób Y.
2. Wyszukiwanie i optymalizacja: Decyzje są podejmowane przez ocenianie wielu możliwych opcji i wybór najlepszej na podstawie zdefiniowanego celu.
3. Uczenie się wzmocnienia (próba i błąd): Decyzje są uczone w czasie przez podejmowanie działań, obserwowanie wyników i dostosowanie na podstawie nagrody lub kary.
4. Praktyka i doświadczenie (ludzkie uczenie się): Decyzje są kształtowane przez powtarzające się narażenie, kierowane informacje zwrotne i nagromadzony osąd w rzeczywistych scenariuszach.

Większość przedsiębiorstw AI radzi sobie dobrze w pierwszych dwóch kategoriach. Trzecia i czwarta kategoria są bardziej wymagające dla AI, ponieważ tam żyje ludzki osąd.

Autonomia bez struktury to ryzyko

Kiedy ludzie mówią o autonomicznym AI, rozmowa tendencji do podziału na dwa skrajne poglądy. Jedna strona uważa, że systemy są praktycznie magiczne i gotowe do prowadzenia wszystkiego. Inna strona działa, jakby nie powinny być ufundowane z niczym znaczącym.

Nie myślę, że żaden z tych poglądów jest użyteczny. Powinniśmy się skoncentrować na autonomii w ramach struktury, ponieważ autonomia bez nadzoru, logiki eskalacji, granic lub odpowiedzialności jest głównym źródłem ryzyka. Obawy dotyczące ryzyka pojawiają się coraz częściej, w tym w rozmowach kształtowanych przez wysiłki takie jak National Institute of Standards and Technology’s AI Risk Management Framework, które odzwierciedlają, jak poważnie organizacje traktują pytania nadzoru, odpowiedzialności i zaufania operacyjnego.

Przyszłość przedsiębiorstw AI leży w zespołach agentów. Organizacje, które uzyskują największą wartość z AI, nie będą tymi, które zautomatyzują najwięcej słów. Są to te, które rozwiązują, jak przenieść prawdziwą ekspertyzę do systemów, które mogą się utrzymać, gdy środowisko staje się nieładne. To, moim zdaniem, jest różnicą między AI, które wygląda imponująco, a AI, które staje się prawdziwie użyteczne, produkując prawdziwy zwrot z inwestycji.