Ud over benchmarks: Hvorfor AI-evaluering kræver en realitetscheck

Hvis du har fulgt med i AI på det seneste, har du sandsynligvis set overskrifter, der rapporterer om de gennembrud, som AI-modeller har opnået ved at slå rekorder på benchmarks. Fra billedgenkendelse til at opnå overmenneskelige resultater i oversættelse og medicinsk billedanalyse, har benchmarks længe været standarden for at måle AI-præstationer. Men selvom disse tal kan være imponerende, fanger de ikke altid kompleksiteten i virkelige anvendelser. En model, der fungerer fejlfrit på en benchmark, kan stadig falde kort, når den testes i virkelige miljøer. I denne artikel vil vi dykke ned i, hvorfor traditionelle benchmarks ikke kan fange den sande værdi af AI, og udforske alternative evalueringmetoder, der bedre afspejler de dynamiske, etiske og praktiske udfordringer ved at implementere AI i den virkelige verden.

Benchmarks’ appel

I årevis har benchmarks været grundlaget for AI-evaluering. De tilbyder statiske datasæt, der er designet til at måle bestemte opgaver som genkendelse af objekter eller maskinoversættelse. ImageNet er for eksempel en meget brugt benchmark til test af objekt klassificering, mens BLEU og ROUGE scorer kvaliteten af maskin-genereret tekst ved at sammenligne den med menneskeskrevne reference-tekster. Disse standardiserede tests giver forskerne mulighed for at sammenligne fremskridt og skabe sund konkurrence i feltet. Benchmarks har spillet en nøglerolle i at drive større fremskridt i feltet. ImageNet-konkurrencen, for eksempel, spillede en afgørende rolle i den dybe lærings-revolution ved at vise betydelige forbedringer i nøjagtighed.

Men benchmarks forenkler ofte virkeligheden. Da AI-modeller typisk trænes til at forbedre en enkelt veldefineret opgave under faste betingelser, kan dette føre til over-optimisering. For at opnå høje score, kan modellerne afhænge af datasætmønstre, der ikke holder uden for benchmarket. Et berømt eksempel er en vision-model, der er trænet til at skelne mellem ulve og huskyer. I stedet for at lære at skelne mellem dyretræk, afhængede modellen af tilstedeværelsen af sne-dækkede baggrunde, der ofte er forbundet med ulve i træningsdataene. Som resultat, når modellen blev præsenteret for en husky i sneen, mislabelede den det som en ulv. Dette viser, hvordan over-tilpasning til en benchmark kan føre til fejlbehæftede modeller. Som Goodharts Lov siger, “Når en måling bliver et mål, ophører den med at være en god måling.” Derfor, når benchmark-score bliver målet, illustrerer AI-modellerne Goodharts Lov: de producerer imponerende score på leaderboard, men kæmper med at håndtere virkelige udfordringer.

Menneskelige forventninger vs. metriske score

En af de største begrænsninger af benchmarks er, at de ofte ikke fanger, hvad der virkelig betyder noget for mennesker. Overvej maskinoversættelse. En model kan score højt på BLEU-metric, der måler overlap mellem maskin-genereret og reference-tekst. Mens metric kan vurdere, hvor sandsynligt en oversættelse er på niveau med ord-overlappende, tager den ikke hensyn til flydende eller mening. En oversættelse kan score dårligt, selvom den er mere naturlig eller endda mere præcis, blot fordi den bruger forskellige ordvalg end reference-teksten. Menneskelige brugere område sig dog om mening og flydende oversættelser, ikke kun om den eksakte match med en reference. Det samme problem gælder for tekst-sammenfatning: en høj ROUGE-score garanterer ikke, at en sammenfatning er koherent eller fanger de vigtigste punkter, som en menneskelig læser ville forvente.

For generative AI-modeller bliver problemet endnu mere udfordrende. For eksempel er store sprogmodeller (LLM) typisk evaluerede på en benchmark MMLU for at teste deres evne til at besvare spørgsmål på tværs af multiple domæner. Mens benchmarket kan hjælpe med at teste LLM’ernes præstation for at besvare spørgsmål, garanterer det ikke pålidelighed. Disse modeller kan stadig “hallucinere“, præsentere falske, men sandsynlige klingende fakta. Denne lukke er ikke let at opdage ved benchmarks, der fokuserer på korrekte svar uden at vurdere sandhed, kontekst eller koherens. I et velkendt tilfælde blev en AI-assistent brugt til at udarbejde en retssag, der citerede helt falske retssager. AI’en kan se overbevisende ud på papir, men fejlede grundlæggende menneskelige forventninger til sandhed.

Udfordringerne ved statiske benchmarks i dynamiske kontekster

• Tilpasning til ændrende miljøer

Statiske benchmarks vurderer AI-præstation under kontrollerede betingelser, men virkelige scenarier er uforudsigelige. For eksempel kan en konversations-AI udføre godt på skriptede, enkelt-vendte spørgsmål i en benchmark, men kæmpe i en multi-trin dialog, der inkluderer opfølgnings-spørgsmål, slang eller stavefejl. Ligesom selv-kørende biler ofte udfører godt i objekt-genkendelsestests under ideelle betingelser, men fejler i usædvanlige omstændigheder, såsom dårligt lys, dårligt vejr eller uventede hindringer. For eksempel kan et stop-skilt, der er ændret med klistermærker, forvirre en bil’s visions-system, hvilket fører til misfortolkning. Disse eksempler viser, at statiske benchmarks ikke pålideligt måler virkelige kompleksiteter.

• Etiske og sociale overvejelser

Traditionelle benchmarks vurderer ofte ikke AI’ens etiske præstation. En billed-genkendelses-model kan opnå høj nøjagtighed, men misidentificere individer fra bestemte etniske grupper på grund af fordomsfulde træningsdata. Ligesom sprogmodeller kan score godt på grammatik og flydende, mens de producerer fordomsfulde eller skadelige indhold. Disse problemer, der ikke afspejles i benchmark-metric, har betydelige konsekvenser i virkelige anvendelser.

• Uevnen til at fange nuancerede aspekter

Benchmarks er gode til at kontrollere overfladiske færdigheder, som om en model kan generere grammatisk korrekt tekst eller et realistisk billede. Men de kæmper ofte med dybere kvaliteter, som fællessens fornuft eller kontekstuel passende. For eksempel kan en model udføre godt på en benchmark ved at producere en perfekt sætning, men hvis den sætning er faktisk forkert, er den værdiløs. AI skal forstå når og hvordan at sige noget, ikke kun hvad at sige. Benchmarks tester sjældent dette niveau af intelligens, der er kritisk for anvendelser som chatbots eller indholdsskabelse.

• Kontekstuelt tilpasning

AI-modeller kæmper ofte med at tilpasse sig nye kontekster, især når de står over for data uden for deres trænings-sæt. Benchmarks er typisk designet med data, der ligner det, modellen er trænet på. Dette betyder, at de ikke fuldt ud tester, hvor godt en model kan håndtere ny eller uventet input – en kritisk krav i virkelige anvendelser. For eksempel kan en chatbot udføre godt på benchmarkede spørgsmål, men kæmpe, når brugere stiller irrelevante spørgsmål, såsom slang eller niche-emner.

• Fornuft og slutning

Mens benchmarks kan måle mønster-genkendelse eller indholdsgenerering, mangler de ofte i højere niveau fornuft og slutning. AI skal gøre mere end at efterligne mønstre. Den skal forstå implikationer, lave logiske forbindelser og slutte nye oplysninger. For eksempel kan en model generere en faktisk korrekt besvarelse, men fejle i at logisk forbinde den med en bredere samtale. Nuværende benchmarks må ikke fuldt ud fange disse avancerede kognitive færdigheder, hvilket efterlader os med en ufuldstændig visning af AI-kapaciteter.

Ud over benchmarks: En ny tilgang til AI-evaluering

For at brokke gapet mellem benchmark-præstation og virkelig succes, er en ny tilgang til AI-evaluering under udvikling. Her er nogle strategier, der vinder frem:

• Menneske-i-løkken-tilbagekopling: I stedet for kun at afhænge af automatiserede metrikker, involver menneskelige evalueringer i processen. Dette kunne indebære, at eksperter eller slutbrugere vurderer AI’ens output for kvalitet, nyttighed og passende. Mennesker kan bedre vurdere aspekter som tone, relevans og etisk overvejelse i forhold til benchmarks.
• Virkelige anvendelses-test: AI-systemer skal testes i miljøer, der er så tæt på virkelige betingelser som muligt. For eksempel kan selv-kørende biler undergå tests på simulerede veje med uforudsigelige trafik-scenarier, mens chatbots kan deployes i live-miljøer for at håndtere diverse samtaler. Dette sikrer, at modellerne vurderes under de betingelser, de vil møde i virkeligheden.
• Robusthed og stress-test: Det er afgørende at teste AI-systemer under usædvanlige eller fjendtlige betingelser. Dette kunne indebære at teste en billed-genkendelses-model med forvrængede eller støjende billeder eller at evaluere en sprog-model med lange, komplicerede dialoger. Ved at forstå, hvordan AI opfører sig under stress, kan vi bedre forberede den på virkelige udfordringer.
• Flerdimensional evaluering-metrik: I stedet for at afhænge af en enkelt benchmark-score, skal AI vurderes på tværs af en række metrikker, herunder nøjagtighed, fairhed, robusthed og etiske overvejelser. Denne holistiske tilgang giver en mere komplet forståelse af en AI-models styrker og svagheder.
• Domæne-specifikke tests: Evaluering skal tilpasses det specifikke domæne, hvor AI skal implementeres. Medicinsk AI, for eksempel, skal testes på case-studier designet af medicinske fagfolk, mens en AI for finansielle markeder skal vurderes for stabilitet under økonomiske fluktuationer.

Det endelige punkt

Mens benchmarks har fremmet AI-forskning, mangler de i at fange virkelig præstation. Da AI bevæger sig fra laboratorier til praktiske anvendelser, skal AI-evaluering være menneske-centreret og holistisk. Test i virkelige betingelser, inkorporer menneskelig tilbagekopling og prioriter fairhed og robusthed er kritisk. Målet er ikke at toppe leaderboard, men at udvikle AI, der er pålidelig, tilpasningsdygtig og værdifuld i den dynamiske, komplekse verden.