Hur jag överförde min kunskap till AI-system som faktiskt kan fatta beslut som mänskliga experter

När jag lämnade Microsoft och fortsatte att arbeta med företag på deras AI-distributioner, såg jag att de flesta AI-system som människor var entusiastiska över inte kunde fatta beslut med verklig mänsklig bedömning. Visst kunde de skriva, sammanfatta och producera anmärkningsvärt flytande text som lät som ett beslut, men när du släpper dessa system i en verklig operativ miljö, där det finns avvägningar, osäkerhet, ofullständiga instruktioner och verkliga konsekvenser, kämpar de snabbt. Detta överensstämmer med data från MIT Project NANDA som visar att medan 60% av organisationerna utvärderade AI-verktyg, nådde endast 20% pilotstadiet och endast 5% nådde produktion. Med andra ord kämpar branschen med att bygga system som faktiskt kan stå pall i verkliga arbetsflöden.

I företagsmiljöer, särskilt inom områden som leveranskedja, tillverkning och drift, är det inte svårt att få ett svar; det är att veta vilket svar man ska lita på, vilka variabler som är viktigast och vad som sannolikt kommer att gå sönder nedströms om man får det fel. I mina ögon är detta både ett expert- och ett bedömningsproblem.

För att vara tydlig, AI har gjort extraordinära framsteg i att producera bättre utdata. Men bättre utdata är inte detsamma som bättre beslut. Dessa är två distinkta milstolpar, och jag tror att branschen har lagt mycket tid på att behandla dem som utbytbara.

Bristen på expertkunskap och bedömning är varför jag blev intresserad av att bygga AI som mänskliga experter kan lära att fatta komplexa beslut på samma sätt som de gör. AI bör inte bara handla om att automatisera uppgifter, utan om att effektivt och säkert överföra mänsklig bedömning till AI som håller.

Stora språkmodeller (LLM) låter som beslutsfattare, men de är det inte

Det finns inget tvivel om att LLM är användbara, men de är inte, som standard, beslutsfattande system. De är förutsägelsesystem inpackade i språk. Och språk är övertygande, vilket är en del av problemet. Om ett system kan förklara sig flytande, överskattar vi lätt vad det förstår. Du frågar det en affärsfråga, det ger dig ett strukturerat svar med avvägningar, förbehåll och en snygg liten sammanfattning i slutet, vilket gör det klingande smartare än det är. Att låta sammanhängande och vara operativt kompetent är inte samma sak, och detta är där mycket företags-AI går sönder. Modeller kan berätta för dig vad ett bra beslut låter som utan att ha någon förståelse för vad som gör ett beslut bra under tryck, över tid eller i sammanhang. Detta är en av anledningarna till att många organisationer kämpar för att gå utöver experiment.

Information är inte detsamma som expertkunskap

En av de lättaste fällorna att falla i med AI är att anta att om ett system har tillräckligt med information, bör det kunna prestera som en expert. Låter rimligt, men när du tänker på det i vår vardag, gör att öka vår information om något inte automatiskt oss till experter. Du kan läsa varje flygmanual och fortfarande inte vara redo att landa ett plan. Du kan memorera varje bästa praxis i leveranskedjan och fortfarande frysa när tre saker går fel på en gång.

Jag kunde fortsätta, men poängen är att information inte motsvarar förmåga. Förmåga kommer från erfarenhet, specifikt, upprepad exponering för besvärliga situationer där svaret inte är uppenbart.

Varje dag ser jag att de flesta av dagens AI-system är tränade på statiska exempel. Detta är allt hjälpsamt för att göra förutsägelser, men det är bara en liten del av beslutsfattandet. Företag saknar inte data i sig, men de behöver strukturerade miljöer för övning, vilket innebär att ge systemen miljöer där de kan:

• Möta realistiska scenarier
• Göra val
• Se vad som händer
• Få feedback
• Förbättras över tid

AI kan tränas med hjälp av prediktiva algoritmer, men den metoden har begränsningar. Vad som behövs härnäst är AI som kan tränas i en simulerad miljö med mänsklig övervakning. Jag kallar detta maskinundervisning, en metodik som bryter ner komplexa beslut i scenarier och färdigheter, vilket ger en guide för mänskliga experter att undervisa AI genom simulering. Den resulterande återkopplingen och trial-and-error möjliggör slutligen för agenter att lära sig och agera med verklig autonomi direkt från de personer som byggde dessa processer.

Sluta behandla AI som en monolit

En annan misstag jag ser mycket är antagandet att ett stort modell bör någonstans göra allt. Inga basketlag består av bara en person. Inga fabriker drivs av en individ. Komplexa system fungerar för att olika komponenter gör olika jobb, och det finns en struktur som håller dem samman.

AI bör byggas på samma sätt. Jag tror inte att den långsiktiga framtiden för företagsbeslutsfattande är ett jätte-modell som sitter i mitten av företaget och låtsas vara universellt kompetent. Det är mycket mer troligt att se ut som team av specialiserade agenter.

En agent kunde vara expert på dataåtervinning. En annan är bättre på att utvärdera scenarier. En annan hanterar planering. En kontrollerar regelefterlevnad eller fångar motsägelser. En annan fungerar mer som en chef, som bestämmer när man ska eskalera eller när förtroendet är för lågt för att fortsätta. Teamarkitektur har mycket mer mening för mig eftersom den kartlägger hur riktiga organisationer faktiskt fungerar och överensstämmer med bredare marknadstrender. McKinseys fynd förstärker att organisationer får mest värde från AI genom att omforma arbetsflöden och driftsstrukturer runt det.

Inte alla beslut fattas på samma sätt, och för ofta antar vi att samma modell, samma data och samma typ av resonemang kan hantera dem alla. I verkligheten kräver olika beslut olika mekanismer.

De fyra sätten beslut faktiskt sker

I min erfarenhet tenderar de flesta beslut att hamna i några kategorier:

1. Styrningssystem (regler och formler): Beslut fattas genom att tillämpa fördefinierade ekvationer eller regler på kända indata. Om X händer, gör Y.
2. Sökning och optimering: Beslut fattas genom att utvärdera många möjliga alternativ och välja det bästa baserat på ett definierat mål.
3. Förstärkt inlärning (trial and error): Beslut lärs över tid genom att vidta åtgärder, observera resultat och justera baserat på belöning eller straff.
4. Övning och erfarenhet (mänsklig inlärning): Beslut formas genom upprepad exponering, vägledande feedback och ackumulerad bedömning i verkliga scenarier.

De flesta företags-AI fungerar bra i de två första kategorierna. Den tredje och fjärde kategorierna är mer utmanande för AI, eftersom det är där mänsklig bedömning bor.

Autonomi utan struktur är risk

När människor pratar om autonom AI, tenderar samtalet att splittras i två extremer. En sida tror att systemen är i princip magi och redo att köra allt. Den andra sidan agerar som om de aldrig ska lita på något meningsfullt.

Jag tror inte att någon av dessa åsikter är användbara. Vi bör fokusera på autonomi inom struktur eftersom autonomi utan tillsyn, eskalationslogik, gränser eller ansvar är den primära källan till risk. Riskproblem visas mer nu, inklusive i samtal som formas av insatser som National Institute of Standards and Technologys AI Risk Management Framework, som reflekterar hur allvarligt organisationer tar frågor om tillsyn, ansvar och operativ tillit.

Framtiden för företags-AI ligger i team av agenter. Organisationer som får mest värde från AI kommer inte att vara de som automatiserar mest ord. De är de som lyckas överföra verklig expertkunskap till system som kan stå pall när miljön blir rörig. Det, i min mening, är skillnaden mellan AI som ser imponerande ut och AI som blir genuint användbart, producerar verkligt ROI.