Presisjon vs. recall vs. F1-skår: Hvilket mål bør du bruke?

Presisjon måler hvor mange av de positive prediksjonene som er riktige, recall måler hvor mange av de faktiske positive tilfellene som blir funnet, og F1 oppsummerer den harmoniske balansen mellom dem.

Presisjon, recall og F1-skår fortjener en presis forklaring, fordi betegnelsen viser til en bestemt informasjonsflyt, et valg av treningsmetode, en mekanisme som kjøres under drift eller en grense for styring og kontroll. Hvis man behandler den som et synonym for «avansert KI», blir påstandene umulige å teste. Denne veiledningen følger konseptet fra inndataene og forutsetningene til det observerbare resultatet, før den undersøker den forenklingen det er mest sannsynlig å forveksle det med.

Presisjon, recall og F1-skår: Definisjon, avgrensning og formål

Presisjon måler hvor mange av de positive prediksjonene som er riktige, recall måler hvor mange av de faktiske positive tilfellene som blir funnet, og F1 oppsummerer den harmoniske balansen mellom dem. Definisjonen innebærer tre praktiske forpliktelser: Det finnes en identifiserbar inndata, en transformasjon eller beslutning som kjennetegner presisjon, recall og F1-skår, og et resultat som kan vurderes opp mot et uttrykt mål. Hvis ett av disse elementene mangler, kan betegnelsen beskrive en ambisjon snarere enn en mekanisme som faktisk er tatt i bruk.

Statistisk læring omdanner begrensede utvalg til påstander om framtidige data. Datadeling, optimalisering, regularisering, målemetoder og overvåking er derfor deler av ett og samme generaliseringsproblem, ikke isolerte teknikker fra læreboka. For presisjon, recall og F1-skår er dette systemperspektivet viktig fordi ytelsen kan avgjøres av omkringliggende data, grensesnitt, maskinvare, tillatelser og mennesker, selv når selve modellen er uendret. En nyttig forklaring skiller derfor mellom modellens innlærte atferd og produktet som avgjør når, hvor og med hvilken myndighet denne atferden brukes.

Den nærmeste villedende forenklingen er nøyaktighet, som også teller de mange sanne negative tilfellene. Den kan ha en synlig egenskap til felles med presisjon, recall og F1-skår, men endrer likevel årsakssammenhengen: Andre bevis ville vist at man har lykkes, andre ressurser ville dominert kostnadene, og andre kontrolltiltak ville hindret skade. Avgrensningen er derfor operasjonell, ikke terminologisk.

En operativ oversikt over presisjon, recall og F1-skår i fem trinn

Diagrammet er et kompakt årsakskart for presisjon, recall og F1-skår, ikke en påstand om at alle implementeringer bruker fem programvarekomponenter. Noen systemer slår sammen trinn, mens andre gjentar dem i en løkke. Kartet er nyttig fordi det krever at hver endring i informasjon eller myndighet har en ansvarlig, en inndata, en utdata og en test.

1. Definer det positive utfallet og terskelen: Inndata og forutsetninger for presisjon, recall og F1-skår

På dette trinnet i arbeidet med presisjon, recall og F1-skår må systemet definere det positive utfallet og terskelen. Det nyttige spørsmålet er ikke bare om operasjonen finner sted, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En kontrollør bør kunne skille operasjonen fra nøyaktighet, som også teller de mange sanne negative tilfellene, og gjenskape resultatet under de samme oppgitte betingelsene.

Overleveringen til dette trinnet i arbeidet med presisjon, recall og F1-skår begynner med det uttrykte målet og bør ende med et resultat som gjør det mulig å telle sanne positive, falske positive og falske negative. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyrt kontroll ved overgangen. Det er i dette sporet teamene kan oppdage om én F1-skår skjuler terskler, klasseforekomst og ulike konsekvenser av feil, før den samme svakheten påvirker et resultat med store konsekvenser.

2. Tell sanne positive, falske positive og falske negative: Representasjon eller beslutning i presisjon, recall og F1-skår

På dette trinnet i arbeidet med presisjon, recall og F1-skår må systemet telle sanne positive, falske positive og falske negative. Det nyttige spørsmålet er ikke bare om operasjonen finner sted, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En kontrollør bør kunne skille operasjonen fra nøyaktighet, som også teller de mange sanne negative tilfellene, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i presisjon, gjenfinning og F1-score begynner med å definere det positive utfallet og terskelen, og bør ende med et resultat som kan brukes til å beregne presisjon og gjenfinning. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyrt kontroll ved overgangen. Dette sporingsgrunnlaget gjør det mulig for team å oppdage om én F1-score skjuler terskler, klassefordeling og ulike konsekvenser av feil, før den samme svakheten påvirker et viktig resultat.

3. Beregn presisjon og gjenfinning: En særskilt transformasjon i presisjon, gjenfinning og F1-score

På dette trinnet i presisjon, gjenfinning og F1-score må systemet beregne presisjon og gjenfinning. Det nyttige spørsmålet er ikke bare om denne operasjonen utføres, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En fagperson som vurderer resultatet, bør kunne skille operasjonen fra nøyaktighet, som også teller med mange sanne negative, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i presisjon, gjenfinning og F1-score begynner med å telle sanne positive, falske positive og falske negative, og bør ende med et resultat som kan brukes til å undersøke avveiingen på tvers av terskler. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyrt kontroll ved overgangen. Dette sporingsgrunnlaget gjør det mulig for team å oppdage om én F1-score skjuler terskler, klassefordeling og ulike konsekvenser av feil, før den samme svakheten påvirker et viktig resultat.

4. Undersøk avveiingen på tvers av terskler: Begrensninger og verifiseringsgrenser i presisjon, gjenfinning og F1-score

På dette trinnet i presisjon, gjenfinning og F1-score må systemet undersøke avveiingen på tvers av terskler. Det nyttige spørsmålet er ikke bare om denne operasjonen utføres, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En fagperson som vurderer resultatet, bør kunne skille operasjonen fra nøyaktighet, som også teller med mange sanne negative, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i presisjon, gjenfinning og F1-score begynner med å beregne presisjon og gjenfinning, og bør ende med et resultat som kan brukes til å avgjøre om F1 bør brukes, og bare når avveiingen samsvarer med kostnaden ved beslutningen. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyrt kontroll ved overgangen. Dette sporingsgrunnlaget gjør det mulig for team å oppdage om én F1-score skjuler terskler, klassefordeling og ulike konsekvenser av feil, før den samme svakheten påvirker et viktig resultat.

5. Bruk bare F1 når avveiingen samsvarer med kostnaden ved beslutningen: Resultat, tilbakemelding og stoppregel i presisjon, gjenfinning og F1-score

På dette trinnet i presisjon, gjenfinning og F1-score må systemet bare bruke F1 når avveiingen samsvarer med kostnaden ved beslutningen. Det nyttige spørsmålet er ikke bare om denne operasjonen utføres, men også hvilken informasjon den bruker, hvilken tilstand den endrer, og hvilke bevis som viser at endringen var gyldig. En fagperson som vurderer resultatet, bør kunne skille operasjonen fra nøyaktighet, som også teller med mange sanne negative, og gjenskape resultatet under de samme oppgitte betingelsene.

Overgangen til dette trinnet i presisjon, gjenfinning og F1-score begynner med å undersøke avveiingen på tvers av terskler, og bør ende med et resultat som kan brukes til overvåking eller en endelig beslutning. Registrer usikkerhet, alternativer som er forkastet, ressursbruk og eventuell menneskelig eller programvarestyrt kontroll ved overgangen. Dette sporingsgrunnlaget gjør det mulig for team å oppdage om én F1-score skjuler terskler, klassefordeling og ulike konsekvenser av feil, før den samme svakheten påvirker et viktig resultat.

Les oversikten over presisjon, gjenfinning og F1-score fremover for å forstå produksjonsforløpet, og bakover for å diagnostisere feil. En fremoverrettet analyse undersøker hvordan hvert trinn gir grunnlag for det neste. En bakoverrettet analyse tar utgangspunkt i et feilaktig, langsomt, kostbart eller utrygt resultat og sporer hvilken tidligere antakelse som førte til det. Det er ofte ved å følge den omvendte veien at et team oppdager at den avgjørende feilen oppsto før modellen produserte noe som helst.

Et gjennomarbeidet eksempel på presisjon, gjenfinning og F1-score

Et system for kreftscreening kan prioritere gjenfinning, mens en kostbar kø for manuell gjennomgang kan kreve høyere presisjon.

Dette eksemplet er nyttig fordi presisjon, gjenfinning og F1-score kan knyttes til observerbare inndata, mellomliggende tilstander og et resultat, i stedet for å bli vurdert ut fra en polert demonstrasjon. En grundig test bør bygge på vanlige, krevende og bevisst villedende tilfeller innenfor scenarioet, bevare et utgangspunkt uten teknikken og registrere både gjennomsnittlig ytelse og alvorlighetsgraden av enkeltfeil.

Endre én antakelse i eksemplet på presisjon, gjenfinning og F1-score, og gjenta analysen. Fjern en nødvendig inndata, innfør et motstridende signal, begrens datakraften, endre brukergruppen eller tving systemet til å avstå fra å svare. En mekanisme som bare lykkes i én nøye tilrettelagt demonstrasjon, har ikke vist at den kan generaliseres til driftsmiljøet.

Presisjon, gjenfinning og F1-score sammenlignet med den vanligste snarveien

Presisjon, recall og F1-score reduseres ofte til nøyaktighet, som også teller med et stort antall sanne negative. Denne forenklingen visker ut selve skillet som definerer begrepet. Det kan føre til at kjøpere sammenligner ulike produkter, at forskere overdriver hva et eksperiment viser, og at operatører følger med på feil signal etter utrulling.

Sammenligningen bør også angi analyseenheten. En artikkel om presisjon, recall og F1-score kan avgrense seg til en modell eller algoritme, mens en utrullet tjeneste i tillegg omfatter innhenting, ruting, mellomlagring, retningslinjer, identitet, brukergrensesnitt og overvåking. To produkter kan bruke det samme begrepet i overskriften, men likevel implementere ulike deler av denne stakken. Spør hvilken komponent som utfører den definerende transformasjonen, og hvilke andre komponenter som er nødvendige for det rapporterte resultatet.

Hvorfor presisjon, recall og F1-score er viktige i dagens KI-systemer

Presisjon, recall og F1-score er viktige nå fordi KI-systemer får større kontekstvinduer, flere modaliteter, mer kjøretidsberegning, bredere tilgang til verktøy og tettere koblinger til organisatoriske beslutninger. Under slike forhold kan det som tidligere virket som en forskningsdetalj, få betydning for ventetid, sikkerhet, tilgjengelighet, miljøkostnader, produktkvalitet eller juridisk ansvarlighet.

Det relevante målet er ikke om presisjon, recall og F1-score kan gi ett imponerende resultat. Spørsmålet er om teknikken forbedrer et viktig resultat under representative forhold og gjør det mer effektivt enn en enklere grunnlinje. Rapporter fordelinger, feilkategorier, latenstid i ytterkantene, ressursbruk og berørte undergrupper i stedet for å slå sammen alle resultatene til ett gjennomsnitt.

Velg framgangsmåter ut fra datastrukturen og kostnadene ved beslutningene. Bevar grupper og tidsrekkefølge, kvantifiser usikkerhet, undersøk delutvalg, lås de endelige testene og kontroller at forbedringer målt utenfor produksjon holder seg etter utrulling. Når denne framgangsmåten brukes spesifikt på presisjon, recall og F1-score, blir dokumentasjonen overførbar: Et annet team kan vurdere om den påståtte forbedringen sannsynligvis vil holde seg med en annen modell, et annet språk, en annen maskinvareplattform, et annet datasett, en annen brukergruppe eller en annen risikotoleranse.

Fordelene presisjon, recall og F1-score kan gi

Den sterkeste grunnen til å bruke presisjon, recall og F1-score er at metoden kan løse den tiltenkte flaskehalsen direkte. Avhengig av implementeringen kan gevinsten vise seg som bedre forankring, en mer trofast representasjon, bedre generalisering, lavere latenstid, mindre minneflytting, tydeligere ansvarlighet eller et tryggere skille mellom et modellforslag og en faktisk handling.

Fordeler bør uttrykkes som beslutninger og målinger. «Mer intelligent» er ikke et akseptkriterium for presisjon, recall og F1-score. Et nyttig mål kan for eksempel angi feilrate i vanskelige tilfeller, gjenoppretting etter motstridende bevis, kostnad ved en bestemt persentil av trafikken, tid brukt på menneskelig gjennomgang, kalibrering eller prosentandelen handlinger som holdes innenfor en fastsatt myndighetsgrense.

Feilmodusen som definerer presisjon, recall og F1-score

Den sentrale begrensningen er at én F1-score skjuler terskler, klasseforekomst og de ulike konsekvensene av feil. Denne feilen er ikke noe man først bør føre opp når utviklingen er ferdig. Den bør fra starten av prege datainnsamling, arkitektur, tillatelser, evaluering, lanseringskriterier og overvåking av presisjon, recall og F1-score.

En kontroll for presisjon, gjenfinningsgrad og F1-score er bare nyttig hvis den griper inn før en kostbar eller irreversibel konsekvens oppstår. Identifiser det tidligste observerbare tegnet på at noe kan gå galt, fastsett en terskel eller regel, utpek en ansvarlig person, og test hvordan man gjenoppretter normal drift. Avhengig av bruksområdet kan gjenoppretting innebære å avstå fra å svare, gå over til et enklere system, be om mer dokumentasjon, eskalere saken til en person, rulle tilbake en modell eller stanse en handling helt.

En evalueringsplan for presisjon, gjenfinningsgrad og F1-score

Begynn evalueringen av presisjon, gjenfinningsgrad og F1-score med å formulere hvilken beslutning dokumentasjonen skal underbygge. Definer populasjonen systemet skal brukes på, konsekvensen av et feilaktig resultat, hvilken informasjon som faktisk er tilgjengelig når beslutningen tas, og det enkleste troverdige alternativet. Slik unngår man at en referansetest blir målet bare fordi den er enkel å gjennomføre.

Bruk et uberørt testsett til kontrollerte sammenligninger, og valider deretter presisjon, gjenfinningsgrad og F1-score i et trinnvis driftsmiljø. Evaluering utenfor drift gjør variantene sammenlignbare, mens skyggemodus, canary-utplasseringer, hastighetsbegrensninger eller godkjenningsporter viser hvordan reell trafikk, tilbakemeldingssløyfer og mennesker påvirker atferden. Utrullingsfasen bør ha et tydelig stoppkriterium, i stedet for å gå ut fra at enhver forbedring fortjener full utrulling.

Versjoner inndataene som trengs for å gjenskape resultatene for presisjon, gjenfinningsgrad og F1-score: kildedata, forhåndsbehandling, tokeniserer eller koder, modellvekter, konfigurasjon, ledetekst eller policy, henteindeks, evalueringssett, maskinvareforutsetninger og kode for betjening, der det er relevant. Uten sporbarhet kan ikke et team avgjøre om et endret resultat skyldes metoden, miljøet eller en uoppdaget endring i datapipelinen.

Til slutt bør du spørre hvilket funn som ville motbevise påstanden om at presisjon, gjenfinningsgrad og F1-score er nyttig. Hvis ingen resultater kunne endre beslutningen om å ta det i bruk, er evalueringen markedsføring. Forhåndsfastsatte akseptterskler og et bevart bekreftelsessett gjør evalueringen til dokumentasjon.

Spørsmål du bør stille før du tar i bruk presisjon, gjenfinningsgrad og F1-score

• Mål: Hvilken målbar flaskehals skal presisjon, gjenfinningsgrad og F1-score bidra til å løse?
• Mekanisme: Hvilket av de fem trinnene inneholder den særegne transformasjonen?
• Referanse: Hvordan står metoden seg mot nøyaktighet, som også teller med de mange sanne negative resultatene, eller mot et annet enklere alternativ?
• Dokumentasjon: Hvilke vanlige, vanskelige, adversarielle og undergruppebaserte tilfeller ble testet?
• Drift: Hvilke kostnader knyttet til latenstid, minne, beregningskraft, energi, vedlikehold og gjennomgang oppstår i stor skala?
• Risiko: Hvordan vil teamet oppdage at én F1-score skjuler terskler, klasseprevalens og de ulike konsekvensene av feil?
• Gjenoppretting: Kan systemet avstå fra å svare, gå over til en reserve, rulle tilbake eller eskalere saken før skade oppstår?

Primærkilder for studier av presisjon, gjenfinningsgrad og F1-score

Autoritative utgangspunkter for den delen av AI-stakken som omfatter presisjon, gjenfinningsgrad og F1-score, er blant annet veiledningen for modellvalg i scikit-learn, Googles regler for maskinlæring og NIST AI RMF. Les dem sammen med dokumentasjonen for den aktuelle modellen, det aktuelle datasettet og den aktuelle maskinvaren og jurisdiksjonen. En generell kilde kan forklare mekanismen, men bare dokumentasjon fra den konkrete utrullingen kan fastslå om en bestemt implementering er egnet.

Dette bør du huske om presisjon, gjenfinningsgrad og F1-score

Presisjon, gjenfinningsgrad og F1-score utgjør en definert mekanisme i et større sosioteknisk system. Verdien ligger i å forbedre et bestemt resultat under tydelig angitte betingelser, ikke i selve betegnelsen. Oversikten over de fem trinnene synliggjør informasjonsflyten, sammenligningen viser hva metoden ikke er, og kontrollforløpet viser hvor en ansvarlig operatør kan gripe inn.

Den praktiske regelen for presisjon, gjenfinningsgrad og F1-score er å definere målet, sammenligne med en troverdig referanse, teste feilen som betyr mest, og ta vare på dokumentasjonen som trengs for å følge med på endringer. Når disse elementene er på plass, blir konseptet et valg innen ingeniørfag og styring som kan evalueres. Uten dem er det bare et lovende navn knyttet til en ukjent driftsrisiko.