Hvis din medarbejder opførte sig som AI, ville du have fyret dem allerede

Forestil dig, at du lige har ansat en ny person, og de fleste dage er vedkommende effektiv, vidende, velformuleret og selvsikker. Vedkommende er alt, hvad du håbede, og viser mange af egenskaberne hos en fremragende medarbejder.

Forestil dig nu, at vedkommende af og til bare finder på noget, når der stilles et spørgsmål, som vedkommende ikke kender svaret på. Svaret er velformuleret og overbevisende, så i starten tager du det for pålydende. Men når det får konsekvenser for virksomheden, vender du tilbage til den medarbejder, udfordrer vedkommende – som ikke kan forklare sin tankeproces eller vise sin fremgangsmåde. Du kan endda påpege, at vedkommende tager fejl, kun for at møde en insisteren på det modsatte og flere påfund for at bakke det op. Efter den anden eller tredje gang dette sker, ville du sandsynligvis have fyret vedkommende, eller i det mindste givet den medarbejder en advarsel? Svaret for de fleste arbejdsgivere er næsten helt sikkert ja.

Jeg finder det forbløffende, at virksomheder nu overlader kritiske arbejdsprocesser og beslutningstagning til en ‘medarbejder’, som er kendt for at udvise denne præcise adfærd. Den eneste grund til, at det får lov at fortsætte uden indgriben, er, at denne ‘medarbejder’ er software frem for en person.

Hvorfor AI fejler på en anden måde end mennesker

Der er en udbredt, forkert antagelse blandt virksomheder, der implementerer AI, om at hvis teknologien har en fejlrate, er det stort set det samme problem som menneskelig fejl og kan håndteres på samme måde. Men kontrol, gennemgang og eskalering fungerer ikke altid med store sprogmodeller (LLM’er). De er designet til at lyde som mennesker, men se på, hvad der gemmer sig under motorhjelmen, så vil du se, at de slet ikke fungerer som os.

Hvis en stjernemedarbejder begår en fejl, antager vi, at fejlen er utilsigtet – vedkommende gjorde sit bedste, men begik en fejl. Det sker. Hvis vedkommende bevidst finder på et svar for at skjule sin manglende viden og gør det gentagne gange, vil vi betragte det som uredelighed. Ledere ved, hvor de skal fokusere deres tilsyn, fordi sværhedsgrad og fejlmargin falder sammen. De kan bede medarbejderen om at forklare sit ræsonnement og stille spørgsmål til det. Medarbejderen ved som regel, hvornår opgaven overstiger vedkommendes kompetencer, og siger det. Og efter én fejl lærer vedkommende, så den samme fejl ikke gentager sig i en konstant cyklus.

AI-systemer vender hver eneste af disse antagelser på hovedet. Deres standardreaktion på fejl er et velformuleret, selvsikkert påfund. De vil producere et plausibelt svar, der simpelthen er usandt, hvilket er den præcise adfærd, der ville afslutte en menneskelig karriere. LLM’er er designet til at generere den mest statistisk sandsynlige fortsættelse af en tekst, og når de ikke kender svaret, producerer de ofte noget, der lyder som om det kunne være rigtigt alligevel. OpenAIs egne forskere har erkendt, at et vist niveau af faktuelle fejl er en statistisk uundgåelighed i, hvordan disse modeller fungerer, og at træning belønner et selvsikkert gæt frem for en ærlig indrømmelse af usikkerhed.

Her kommer neurosymboliske tilgange ind i billedet

Det er netop det, som neurosymboliske tilgange er designet til at løse. De kombinerer neurale netværk, som er fremragende til at forstå ustruktureret sprog og data fra den virkelige verden, med deterministisk, regelbaseret ræsonnement. Det betyder, at et systems konklusioner følger af eksplicit logik, som kan inspiceres, i stedet for at opstå fra en proces, som ingen kan se ind i.

Uden dette ekstra lag af logik, som neurosymbolisk teknologi leverer, korrelerer AIs fejl ikke med arbejdsopgavens sværhedsgrad på samme måde som menneskelige fejl – de er uforudsigelige. De kan opstå på trivielle opgaver, mens vanskelige opgaver glider let igennem, hvilket gør det svært at afgøre, hvor man bedst fokuserer menneskelig kontrol. Deres forklaringer, når de gives, genereres efterfølgende i stedet for at give en sand redegørelse for, hvordan de nåede en konklusion. Den samme fejl kan gentage sig uendeligt, fordi der ikke er nogen inde i systemet, der kan lære af den eller holdes ansvarlig for den.

Tillid uden forståelse

Forskere har dokumenteret, at når folk er nye i et system, har de en tendens til at opgive det efter én synlig fejl; men når det er et velkendt system, svinger de til den modsatte yderlighed – accepterer dets output simpelthen fordi de er blevet vant til dem, ikke fordi outputtene er blevet mere pålidelige. Det, der sjældent ses, er det rette tillidsniveau, fordi det afhænger af, at folk forstår, hvornår et AI-system sandsynligvis vil tage fejl, og kan genkende, når det gør.

Det betyder ikke, at AI ikke bør betros vigtigt arbejde. Det betyder, at vi har været villige til at give det en form for tillid, som vi ikke ville give en person, delvis fordi der ikke er en åbenlys enkeltperson, der kan holdes ansvarlig, når det fejler.

Hvis AI skal påtage sig arbejde, der kræver dømmekraft, på samme måde som en værdsat kollega, skal den opfylde de samme grundlæggende standarder. Svar skal kunne verificeres, med synligt ræsonnement, og AI skal acceptere, at det bedste, den nogle gange kan gøre, er at sige “jeg ved det ikke”.