AI behöver fortfarande en tränare och mänsklig tillsyn behöver en handlingsplan

AI finns överallt du ser, och professionell fotboll är inget undantag.

NFL har introducerat Digital Athlete, som använder data och AI för att hjälpa lag att identifiera situationer där spelare kan löpa ökad risk för skada. Den kombinerar video och data från träning, övningar och matcher med miljontals simuleringar, vilket ger alla 32 lag tillgång till ligasomfattande trendinformation. Tränare och träningspersonal använder sedan den informationen för att utveckla individuella skadeförebyggande, tränings- och återhämtningsprogram.

Medan teknologin läser av planen är tränarna fortfarande ansvariga för besluten. När organisationer utökar AI‑användningen över affärsprocesser, inklusive regelefterlevnad och arbetsplatsutredningar, känns automatiseringspotentialen gränslös. Men vilka uppgifter bör AI utföra, under vilka förutsättningar och med vilken mänsklig tillsyn?

Det är här en organisatorisk handlingsplan kan sätta tonen: den ger tränare möjlighet att utnyttja AI‑verktyg samtidigt som mänsklig tillsyn bevaras där den är viktig.

Ge AI en position snarare än hela planen

Utredningar består av olika risknivåer. AI kan hjälpa till att organisera information från första rapporter och:

• Identifiera saknade detaljer
• Sammanfatta informationen i en slutrapport
• Bygga tidslinjer
• Framställa mönster som utredare kan vilja granska närmare

Dessa användningsfall kan minska manuellt sorteringsarbete och frigöra tid för att fokusera på arbete som kräver mänskligt omdöme.

Tänk på att AI kan sammanfatta ett påstående, men den kan inte avgöra om det är trovärdigt. AI kan identifiera en inkonsekvens, men kan inte fastställa varför den finns. Här kan organisationer hamna i trubbel genom att bara använda AI utan skyddsåtgärder.

För att bevara tillsynen behöver AI en tydlig roll. Organisationer bör bestämma:

• De uppgifter som systemet är avsett att utföra
• Den information den kan komma åt
• Gränserna för vad den får göra
• De situationer då en person måste ta kontroll

The AI Risk Management Framework från National Institute of Standards and Technology ger ett användbart riktmärke. NIST:s färdplan beskriver AI‑RMF‑profiler som ett sätt att visa hur ramverket kan tillämpas på specifika sektorer, teknologier, sammanhang eller andra miljöer. Med andra ord blir ansvarsfull AI‑styrning mer handlingsbar när organisationer översätter breda principer till verkligheten i ett specifikt användningsfall.

En AI‑handlingsplan kan göra något liknande på operativ nivå. Den definierar roller, situationer och åtgärder med tydlighet.

Mänsklig tillsyn är ett systemdesignproblem

Uttrycket ”human in the loop” har blivit vanligt i diskussioner om ansvarsfull AI. Men att en person finns någonstans i ett arbetsflöde innebär inte automatiskt att ett AI‑system är välstyrt.

NIST har identifierat samarbete mellan människa och AI som ett viktigt område för forskning och vägledning kring AI‑riskhantering. Bland de frågor den lyfter är hur människor tolkar AI‑genererade resultat och hur människor övervakar AI‑system som verkar i verkliga miljöer.

Mänsklig tillsyn bör inte betraktas som en tillfällig lösning tills AI blir tillräckligt sofistikerad för att fungera på egen hand. I många höginsats‑miljöer är den en del av den nödvändiga arkitekturen för att använda AI ansvarsfullt på lång sikt.

En granskad undersökning av mänsklig tillsyn i AI‑styrning noterar att mänskliga tillsynspersoner förväntas förbättra noggrannhet och säkerhet för att upprätthålla mänskliga värden och bygga förtroende. Dock är människor inte alltid pålitliga tillsynspersoner. Effektiv tillsyn beror på kompetens, incitament och hur tillsynsrollen är utformad.

För en utredare är det inte tillräckligt att bli ombedd att godkänna ett AI‑genererat förslag om de saknar den information eller befogenhet som krävs för att ifrågasätta det. Handlingsplanen måste definiera inte bara det att en människa är involverad, utan hur och när den personen kan ingripa.

Överlämningen är lika viktig som modellen

Det finns en annan utmaning: även när en människa har sista myndighet kan sättet AI presenterar information på påverka beslutet som följer.

En förhandsgranskning av forskare vid University of California, Santa Barbara visar varför gränssnittsdesign är viktig. I ett kontrollerat experiment med 108 deltagare i ett vårdbesluts‑scenario testade forskarna sex former av AI‑beslutsstöd. De fann att mekanismer, inklusive AI‑tillitssiffror, textförklaringar och prestationsvisualiseringar, förbättrade människ‑AI‑beslutsnoggrannheten i deras experiment.

Studien belyser också risken för automatiseringsbias: människor kan förlita sig för mycket på AI‑förslag, även felaktiga.

Detta experiment visar varför överlämningen mellan maskin och människa kräver medveten design och testning.

När vi extrapolerar detta vidare och inför begreppet en utredning uppstår flera frågor:

• Ser en utredare bara en AI‑genererad slutsats, eller kan de granska informationen bakom den?

• Kan systemet kommunicera osäkerhet?

• Är det tydligt när information saknas?

• Kan utredare avvisa ett resultat och dokumentera varför?

Detta är lika mycket styrningsfrågor som tekniska frågor.

Fem frågor varje AI‑handlingsplan bör besvara

En användbar AI‑handlingsplan bör omvandla abstrakta principer som ”ansvarsfull AI” och ”mänsklig tillsyn” till konkreta driftsregler.

1. Vad får AI göra? Organisationer bör auktorisera specifika uppgifter snarare än att ge bred tillåtelse att använda AI i hela ett arbetsflöde.
2. Vilken information kan den använda? För utredningar och visselblåsning behöver organisationer tydliga gränser för vilken information som är tillgänglig för ett AI‑system och hur den hanteras.
3. Hur ska människor utvärdera dess resultat? Mänskliga granskare behöver tillräckligt med kontext för att förstå vad systemet producerat, dess relevanta begränsningar och den information som behövs för att ifrågasätta resultatet.
4. När måste en människa ingripa? En handlingsplan bör fastställa eskaleringsutlösare snarare än att förlita sig på enskilda medarbetare för att avgöra när AI har gått för långt.
5. Var slutar AI:s befogenhet? Vissa beslut bör kräva mänskligt omdöme, och de personer som ansvarar för dessa beslut behöver verklig befogenhet att avfärda, åsidosätta eller stoppa teknologin.

Dessa idéer återfinns i ett av världens mest betydelsefulla AI‑regleringsdokument. Artikel 14 i EU:s AI‑lag fastställer krav på mänsklig tillsyn för AI‑system som faller inom lagens hög‑risk‑kategori. Den säger att tillsynsåtgärder ska vara proportionerliga mot systemets risker, autonomi och användningskontext. Den kräver också att tillsynspersoner ska kunna förstå relevanta förmågor och begränsningar, korrekt tolka resultat, vara vaksamma på automatiseringsbias, avfärda eller åsidosätta resultat samt ingripa i eller stoppa ett system.

Det betyder inte att varje AI‑verktyg som används i en utredning automatiskt är ett hög‑risk‑system. Ramverket illustrerar en viktig princip för AI‑styrning. Mänsklig tillsyn måste ge människor meningsfulla möjligheter, inte bara en plats i arbetsflödet.

AI ersätter inte tränaren. Det förändrar vad tränaren kan se.

NFL:s Digital Athlete är övertygande, inte för att den visar att AI kan ersätta tränare, utan för att den visar hur sofistikerad teknik kan utöka den information som är tillgänglig för erfarna yrkespersoner.

AI kan hjälpa människor att bearbeta information, framhäva det som förtjänar uppmärksamhet och skapa större konsekvens i upprepade uppgifter. Men de mest avgörande ögonblicken i en utredning kräver ofta något annat: kontext, skepsis, tolkning och ansvar.

De organisationer som är bäst positionerade att dra nytta av AI kommer därför att ställa fler frågor än vad tekniken kan automatisera. De kommer att definiera vad den ska göra, vad den inte ska göra och hur människor och AI ska samarbeta.