Yu Su, medstifter og administrerende direktør i NeoCognition – Interviewserie

Yu Su, medstifter og administrerende direktør i NeoCognition, er en langvarig kunstig intelligens-forsker, hvis karriere spænder over akademiske, virksomhedsbaseret AI og avancerede agentsystemer. Ud over at lede NeoCognition, fungerer han som associeret professor og innovationsforsker ved Ohio State University, hvor hans arbejde har fokuseret på AI-agenter, resonanssystemer og maskinel læring. Hans baggrund omfatter også mere end seks år som seniorforsker hos Microsoft, hvor han arbejdede sammen med førende forskere, herunder Percy Liang, på konversationsbaserede AI-systemer til Outlook ved hjælp af semantisk parsingsteknik. På tværs af roller hos Microsoft, akademiske og forskningsinstitutioner som IBM T.J. Watson Research Center har Yu Su opbygget en reputation for at fremme AI-systemer, der kan resonere, lære og interagere med komplekse digitale miljøer, og hjælpe med at brobygge mellem førende forskning og virkelige anvendelser.

NeoCognition er et AI-agent-forskningsfirma, der fokuserer på udvikling af, hvad de beskriver som “specialiseret intelligens” – AI-systemer, der kontinuerligt lærer og forbedrer sig gennem erfaring. Grundlagt af førende AI-forskere, forfølger virksomheden en vision, der går ud over statiske store sprogmodeller mod agenter, der kan udvikle dyb ekspertise i bestemte domæner. Deres forskning fokuserer på områder som kontinuerlig læring, resonans, planlægning, værktøjsbrug og samarbejde mellem flere agenter, med det formål at skabe AI-systemer, der bliver mere kapable og pålidelige over tid. Ved at kombinere fremskridt i maskinel læring med struktureret resonans og adaptiv læringsteknik sigter NeoCognition på at hjælpe med at forme den næste generation af AI-agenter, der kan tackle stadig mere komplekse virkelige opgaver.

Mange virksomheder har skyndt sig at udgive generiske AI-kopiloter, men vi hører stadig mere om bekymringer om pålidelighed, når disse systemer kommer ud i rigtige produktionsmiljøer. Hvorfor tror du, at så mange nuværende AI-agenter kæmper uden for kontrollerede demoer?

De fleste nuværende AI-agenter kæmper i produktion, fordi de stadig er grundlæggende generalister, der opererer uden en varig forståelse af det miljø, de arbejder i. De kan ofte fuldføre en opgave én gang i en demo, men det er meget forskelligt fra at udvikle gentagen dømmekraft inden for et rigtigt operativt system.

I dag er modellerne imponerende mønstermatchere, men de mangler stadig de mekanismer, som mennesker bruger til at blive pålidelige eksperter. Mennesker bliver ikke pålidelige ved at memorere isolerede opgaver. Vi specialiserer os ved at lære strukturen af en bestemt verden: arbejdsgange, begrænsninger, relationer, værktøjer, prioriteter og konsekvenser, der definerer en profession eller organisation. Over tid bygger vi en intern arbejdende model af det miljø, og det er den model, der tillader os at træffe konsekvente og gentagne beslutninger.

De fleste AI-agenter i dag bygger ikke den slags operativ forståelse. De afhænger tungt af promptning, hentning eller orkestreringslag, der hjælper dem med at fuldføre isolerede handlinger, men de improviserer stadig i høj grad hver gang, de møder en ny situation. Det er derfor, at præstationen ofte bryder sammen, når miljøet ændrer sig, og endnu mere, når det bliver rodet, dynamisk eller højrisikabelt.

Den manglende del er specialisering. Mennesker trives, fordi vi kan tilpasse os til ændrede miljøer og blive eksperter inden for dem gennem kontinuerlig læring. Vi mener, at AI-agenterne har brug for en lignende kapacitet: evnen til at lære den lokale struktur af et domæne dybt nok til at operere med reel kompetence.

NeoCognition har beskrevet sin vision som at bygge agenter, der kan lære og tilpasse sig mere som mennesker. Hvad ser det ud til teknisk set i forhold til de statiske finjusteringer eller hentningsbaserede tilgange, som mange virksomheder afhænger af i dag?

De fleste virksomhedsbaserede AI-systemer i dag forbedrer præstationen enten ved at finjustere en model én gang eller ved at hente relevant information på inference-tidspunktet. Disse tilgange kan være nyttige, men de tillader ikke grundlæggende, at en agent udvikler udviklende ekspertise inden for et domæne.

Finjustering er typisk statisk efter træning. Hentningssystemer hjælper med at fremhæve information, men at hente viden er ikke det samme som at udvikle domæneekspertise eller tilpasse adfærd baseret på erfaring over tid. I mange tilfælde mangler agenten stadig en varig model af det miljø, det opererer i.

Når et menneske starter i en virksomhed, bliver de ikke effektive kun, fordi de kan søge i dokumenter. De udvikler gradvist dømmekraft ved at forstå, hvordan organisationen faktisk fungerer, og ekspertise opstår ved at kontinuerligt forfine den interne model.

Vi mener, at den næste generation af agenter har brug for en lignende læringsmekanisme. Hos NeoCognition fokuserer vi på at aktivere agenter til at danne den slags udviklende operative modeller, så de kan kontinuerligt specialisere sig og forbedre sig inden for et domæne over tid, snarere end at starte forfra eller afhænge af konstant menneskelig omkonstruktion.

Der synes at være en voksende kløft mellem AI-eksperimenter og operativ tillid. Virksomheder kan måske med succes prototype-agenter internt, men at implementere dem i stor skala er en anden udfordring helt. Hvad underestimerer organisationerne ved denne overgang?

Mange organisationer underestimerer, hvor dynamiske rigtige operative miljøer faktisk er. En agent, der opnår 85% nøjagtighed, kan lyde stærkt i testen, men i virksomhedsskala oversætter det sig til en konstant strøm af fejl og genskabningssituationer, som menneskelige hold må håndtere. Udfordringen bliver endnu mere betydelig i multi-trins arbejdsgange, hvor fejl forstærker sig på tværs af systemer og opgaver, og det gør overvågning, indgriben og ansvarlighed langt mere vanskeligt end mange organisationer oprindeligt forventer.

Virksomheder behandler stadig implementering som et orkestrerings- eller prompteringsproblem, når det i virkeligheden også er et læringsproblem. Det svære er ikke kun at få en agent til at udføre en opgave, men at aktivere systemet til at udvikle varig kompetence og dømmekraft inden for et dynamisk operativt miljø.

Byrden af tilpasning, promptning, overvågning og omkonstruktion falder stadig tungt på menneskelige hold i dag. Det er ofte et tegn på, at systemet stadig mangler operativ forståelse; de styres manuelt gennem det hver gang. Det er ikke en vej til skala eller tillid.

Et stort tema, der opstår på tværs af AI-industrien, er styre, sikkerhedsforanstaltninger og politikgennemførelse. Alligevel mener NeoCognition, at styre alene ikke er nok. Hvorfor tror du, at pålidelighed ultimativt kræver systemer, der kontinuerligt tilpasser sig deres miljø, snarere end blot at følge statiske regler?

Styre og sikkerhedsforanstaltninger er ekstremt vigtige, men statiske regler alene kan ikke fuldt ud løse pålidelighed i komplekse miljøer.

Produktionsniveau-operative systemer ændrer sig konstant. Arbejdsgange udvikler sig, værktøjer opdateres, politikker skifter, og uventede situationer opstår, som ikke altid kan forudses på forhånd. Hvis en agent kun kender til at følge foruddefinerede regler uden at forstå det miljø, det opererer i, vil den til sidst møde situationer, som reglerne ikke har taget højde for.

Menneskers pålidelighed kommer fra dømmekraft, ikke kun rigid overholdelse af manuskripter, men fordi vi udvikler dømmekraft gennem at forstå strukturen og begrænsningerne i den verden, vi omgås. Vi lærer, hvornår vi skal eskalere, hvornår noget ser unormalt ud, og hvornår konteksten ændrer den korrekte handlemåde.

Vi mener, at AI-agenterne har brug for en lignende kapacitet for tilpasning og miljøforståelse. Sikrere systemer vil komme fra at gøre dem mere kompetente og specialiserede inden for klart definerede operative verdener. Denne type system observerer sit eget miljø og egne output og sporer, hvor det fejler, og opdaterer sin adfærd.

AI-industrien fremhæver ofte større modeller og bredere kapaciteter, men NeoCognition synes at fokusere på specialisering og kontekstuel læring. Tror du, at fremtidens virksomhedsbaserede AI-agenter vil ligne højtspecialiserede digitale arbejdere snarere end universelle assistenter?

Vi er stærkt overbeviste om, at fremtiden vil blive drevet af specialisering. Industrien har forståeligt nok fokuseret på stadig mere generelle modeller, fordi bred kapacitet er imponerende. Men i virksomhedsbaserede miljøer er den virkelige udfordring ikke, om en agent kan gøre lidt af alt. Det er, om den kan udføre en specifik rol pålideligt og med sund dømmekraft over tid. Vores styrke er ikke, at vi er født eksperter i hvert miljø. Det er, at vi kan lære strukturen af en bestemt verden dybt nok til at operere effektivt inden for den.

Hos NeoCognition mener vi, at fremtiden ikke vil være én superagent, der gør alt. I stedet vil det være en overflod af specialiserede agenter, hver især lærer en bestemt verden dybt nok til at operere med ekspertniveauets kompetence, dømmekraft og pålidelighed. Deres formål er ikke at erstatte menneskelig ekspertise, men at gøre den mere overflodig: at bringe frontierskabende kapacitet til langt flere hænder og hæve grundniveauet for, hvad enhver person eller organisation kan gøre.

En af de største bekymringer omkring autonome agenter er, hvordan de opfører sig, når miljøet ændrer sig uventet. Hvor vigtigt er virkelige tilpasninger og miljøbevidsthed for at forhindre fejl, hallucinationer eller usikre handlinger?

Det er absolut kritisk. Uden miljøbevidsthed kan agenter fortsætte med at handle med tillid, selv når deres forståelse af situationen er forældet eller ufuldstændig. Det er der, hvor operative fejl ofte opstår.

Vi mener, at pålidelighed kræver, at agenter kontinuerligt lærer den lokale struktur af det miljø, de opererer i, og opdaterer deres forståelse over tid. Pålidelighed ændrer sig og udvikler sig over tid: hvad der så ud til at være pålideligt i september, kan ikke se det samme ud i maj. Jo dybere en agent forstår systemerne, begrænsningerne, arbejdsgangene og relationerne omkring sig, jo mere kapabel bliver den til at genkende, når betingelserne har ændret sig eller når usikkerhed kræver eskalering.

Hvor tæt tror du, at industrien er på at implementere AI-systemer, der kan forbedre sig selv gennem kontinuerlig interaktion med rigtige operative miljøer?

Vi er stadig tidligt i opbygningen af de underliggende læringsmekanismer, der kræves for pålidelig kontinuerlig læring og selvforbedring, men industrien er langt tættere på denne overgang, end mange mennesker er klar over. Vi lever i en komprimeret tidsramme. Ingredienserne til den næste teknologiske gennembrud er klar. Det kan ske ret snart.

Det, der betyder noget, er ikke kun selvforbedring i abstrakt, men struktureret specialisering inden for rigtige miljøer. Det betyder at lære arbejdsgange, begrænsninger, relationer og mønstre af succesfuld adfærd på måder, der er stabile, styrbare og modstandsdygtige over for katastrofalt glemsomhed. Det er problemet, vi fokuserer på hos NeoCognition.

Settet fremad flere år, hvad tror du, der ultimativt vil adskille pålidelige virksomhedsbaserede AI-agenter fra bølgen af eksperimentelle systemer, der i øjeblikket oversvømmer markedet?

De systemer, der lykkes, vil være dem, der føles mindre som legetøjsscenarier og mere som pålidelige operatører.

Ren modelkapacitet alene vil ikke være nok. Virksomhederne vil ultimativt bekymre sig om, hvorvidt agenter kan operere konsekvent inden for deres faktiske miljøer, forstå lokale arbejdsgange og begrænsninger, respektere grænser og tilladelser, tilpasse sig sikkert over tid og levere gentagne resultater.

Fremtidens vindere i virksomhedsbaseret AI vil ikke kun være systemer, der kan besvare det bredeste spørgerække. De vil være systemer, der kan lære en bestemt operativ verden dybt nok til at handle med reel kompetence, dømmekraft og pålidelighed inden for den.

Tak for det fantastiske interview. Læsere, der ønsker at lære mere, kan besøge NeoCognition.