Hvordan jeg overførte min kunnskap til AI-systemer som kan faktisk ta beslutninger som menneskelige eksperter

Når jeg forlot Microsoft og fortsatte å arbeide med bedrifter på deres AI-utvikling, så jeg at de fleste AI-systemene folk var begeistret for ikke kunne faktisk ta beslutninger med virkelig menneskelig dømmekraft. Selvfølgelig kunne de skrive, summerere og produsere bemerkelsesverdig flytende tekst som lød som en beslutning, men når du dropper disse systemene i et virkelig operasjonelt miljø, hvor det er kompromisser, usikkerhet, ufullstendige instruksjoner og faktiske konsekvenser, sliter de raskt. Dette stemmer overens med data fra MIT Project NANDA som viser at mens 60% av organisasjonene vurderte AI-verktøy, nådde bare 20% pilotstadiet, og bare 5% nådde produksjon. Med andre ord, industrien sliter med å bygge systemer som kan holde seg i virkelige arbeidsflyter.

I bedriftsmiljø, spesielt i områder som leverandørkjede, produksjon og drift, er det ikke vanskelig å få et svar; det er å vite hvilket svar å stole på, hvilke variabler som teller mest, og hva som sannsynligvis vil gå galt nedstrøms hvis du tar feil. I mine øyne er dette både et ekspertise- og dømmekraftsproblem.

For å være tydelig, AI har gjort ekstraordinære fremskritt i å produsere bedre utdata. Men bedre utdata er ikke det samme som bedre beslutninger. Disse er to distinkte milepæler, og jeg tror industrien har brukt mye tid på å behandle dem som utskiftbare.

Mangel på ekspertise og dømmekraft er grunnen til at jeg ble interessert i å bygge AI som menneskelige eksperter kan lære å ta komplekse beslutninger på samme måte. AI bør ikke bare være om å automatisere oppgaver, men om å overføre menneskelig dømmekraft effektivt og trygt til AI som kan holde seg.

Store språkmodeller (LLM) snakker som beslutningstakere, men de er det ikke

Det er ingen tvil om at LLM er nyttige, men de er ikke, som standard, beslutningstagende systemer. De er prediksjonsystemer innpakket i språk. Og språk er overbevisende, som er en del av problemet. Hvis et system kan forklare seg flytende, overskattar vi lett hva det forstår. Du spør det et forretnings-spørsmål, det gir deg et strukturert svar med kompromisser, forbehold og en pen liten sammenfatting til slutt, og gjør det mer intelligent enn det er. Å lyde koherent og være operasjonelt kompetent er ikke det samme, og dette er hvor mye bedrifts-AI bryter. Modeller kan fortelle deg hva en god beslutning lyder som uten å ha noen forståelse av hva som gjør en beslutning god under press, over tid eller i kontekst. Dette er en av grunnene til at mange organisasjoner sliter med å gå utover eksperimentasjon. Gartner fant ut at minst 50% av generative AI-prosjekter blir forkastet etter bevis for konsept, lenge før de leverer virkelig operasjonell påvirkning, ofte på grunn av uklar verdi og risikokontroll.

Informasjon er ikke det samme som ekspertise

En av de enkleste feller å falle i med AI er å anta at hvis et system har nok informasjon, bør det være i stand til å fungere som en ekspert. Lyder rimelig, men når du tenker på det i vår hverdagsliv, øker ikke informasjon om noe nødvendigvis gjør oss til eksperter. Du kan lese alle luftfartsmanualer og likevel ikke være klar til å lande et fly. Du kan memorere alle beste praksis i leverandørkjeden og likevel fryse når tre ting går galt på en gang.

Jeg kunne fortsette, men poenget er at informasjon ikke er det samme som evne. Evne kommer fra erfaring, spesielt gjentakende eksponering for uoversiktlige situasjoner hvor svaret ikke er åpenbart.

Hver dag ser jeg at de fleste av dagens AI-systemer er trent på statiske eksempler. Dette er all hjelp for å gjøre prediksjoner, men det er bare en liten del av beslutningstagning. Bedrifter mangler ikke data per se, men de trenger strukturerte miljøer for praksis, som betyr å gi systemer miljøer hvor de kan møte:

• Realistiske scenarier
• Gjøre valg
• Se hva som skjer
• Motta tilbakemelding
• Forbedre seg over tid

AI kan trenes ved hjelp av prediksjonsalgoritmer, men denne tilnærmingen har begrensninger. Hva som trengs neste er AI som kan trenes i et simuleringsmiljø med menneskelig tilsyn. Jeg kaller dette maskinlæring, en metode som bryter ned komplekse beslutninger i scenarier og ferdigheter, og gir en guide for menneskelige eksperter til å lære AI gjennom simulering. Den resulterende tilbakemeldingen og prøving og feil gjør at agentene kan lære og handle med virkelig autonomi direkte fra menneskene som bygde disse prosessene.

Slutt å behandle AI som en monolit

En annen feil jeg ser mye av er antagelsen at ett stort modell skal på noen måte gjøre alt. Ingen basketballag består bare av en person. Ingen fabrikk drives av en enkelt person. Komplekse systemer fungerer fordi forskjellige komponenter gjør forskjellige jobber, og det er en struktur som holder dem sammen.

AI bør bygges på samme måte. Jeg tror ikke at den lange fremtiden for bedriftsbeslutning er ett gigantisk modell som sitter i midten av selskapet og later som om det er universelt kompetent. Det er mye mer sannsynlig å se ut som lag av spesialiserte agenter.

En agent kunne være en ekspert på datahenting. En annen er bedre på å evaluere scenarier. En annen håndterer planlegging. En sjekker overholdelse eller fanger motstridende. En annen fungerer mer som en sjef, bestemmer når å eskalere eller når tillit er for lav til å fortsette. Lagarkitektur gjør mye mer mening for meg fordi det kartlegger hvordan virkelige organisasjoner faktisk fungerer og stemmer overens med bredere markedstrender. McKinseys funn støtter opp om at organisasjoner får mest verdi fra AI ved å redesigne arbeidsflyter og driftsstrukturer rundt det.

Ikke alle beslutninger tas på samme måte, og for ofte antar vi at samme modell, samme data og samme type resonnering kan håndtere dem alle. I virkeligheten krever forskjellige beslutninger forskjellige mekanismer.

De fire måtene beslutninger faktisk skjer

I min erfaring, tenderer de fleste beslutninger å falle i noen kategorier:

1. Kontrollsystemer (regler og formularer): Beslutninger tas ved å anvende forhåndsdefinerte ligninger eller regler til kjente inndata. Hvis X skjer, gjør Y.
2. Søk og optimalisering: Beslutninger tas ved å evaluere mange mulige alternativer og velge den beste basert på en definert mål.
3. Forsterkninglæring (prøving og feil): Beslutninger lærer seg over tid ved å utføre handlinger, observere resultater og justere basert på belønning eller straff.
4. Praksis og erfaring (menneskelig-lignende læring): Beslutninger formas gjennom gjentakende eksponering, veiledet tilbakemelding og akkumulert dømmekraft i virkelige scenarier.

De fleste bedrifts-AI gjør det bra i de to første kategoriene. Den tredje og fjerde kategoriene er mer utfordrende for AI, fordi det er der menneske-lignende dømmekraft bor.

Autonomi uten struktur er risiko

Når folk snakker om autonom AI, tenderer samtalen å dele seg i to ekstreme. Den ene siden tror systemene er nesten magi og klare til å kjøre alt. Den andre siden handler som om de aldri bør tillites med noe meningsfullt.

Jeg tror ikke noen av disse synspunktene er nyttige. Vi bør fokusere på autonomi innen struktur fordi autonomi uten tilsyn, eskalasjonslogikk, grenser eller ansvar er hovedkilden til risiko. Risikobekymring viser seg nå også, inkludert i samtaler formet av innsats som National Institute of Standards and Technologys AI-risikostyringsramme, som reflekterer hvor alvorlig organisasjoner tar spørsmål om tilsyn, ansvar og operasjonell tillit.

Fremtiden for bedrifts-AI ligger i lag av agenter. Organisasjoner som får mest verdi fra AI, vil ikke være de som automatiserer mest ord. De er de som finner ut hvordan å overføre virkelig ekspertise til systemer som kan holde seg når miljøet blir uoversiktlig. Det, i min mening, er forskjellen på AI som ser imponerende ut og AI som blir virkelig nyttig, produserer virkelig avkastning.