Varför företags AI misslyckas på mållinjen – och hur man kan åtgärda det

Trots all uppståndelse kring AI, så klarar de flesta företags AI-projekt inte av att gå utöver experimentstadiet. Enligt senaste IDC-forskning, så misslyckas 88% av AI-bevisprojekt (POC) med att skala upp till full produktion. Det är ett stort avbrott, och ett tydligt tecken på att något inte fungerar. Många av dessa projekt kommer nära mållinjen, med en utbildad modell som uppfyller de mål som teamet har satt, och sedan inte lanseras eller antas av slutanvändarna.

Så, vad är det som går fel? I många fall, så handlar det om tre stora problem:

1. Företags AI-team förlitar sig på ytanivådiagnostikverktyg och benchmark som inte upptäcker nyckelfunktionsgap
2. Modeller är utbildade till standardbenchmark istället för att lösa verkliga problem
3. Kostnaden för att skala upp modellens användning blir för hög för företagsomfattande antagande

I den här artikeln, så kommer vi att undersöka var och ett av dessa fallgropar – och vad det krävs för att få AI-projekt över mållinjen och till användarna i skala.

Problem #1: Standarddiagnostik som missar nyckelfunktionsproblem

En av de stora anledningarna till att AI-projekt snubblar efter bevisstadiet, är att interna benchmark och diagnostik ofta inte gräver tillräckligt djupt i modellens prestanda och tenderar att missa problem som kan förstöra användbarhet, tillit och antagande. Team kan bocka av alla rutor på papperet, men dessa kontroller reflekterar inte alltid hur modellen kommer att fungera i den verkliga världen.

Tag detta exempel: Ett AI-team hade en modell som klarade alla interna tester med flygande färger. Den träffade alla deras noggrannhetsmått och säkerhetströsklar, och de höll på att förbereda sig för lansering. Men när de hade en tredje part som utvärderade modellen för deras avsedda användningsfall, för att spegla hur verkliga användare skulle interagera med systemet, upptäckte de en stor blind fläck. Modellen var nio gånger mer benägen att ge undvikande svar när den fick frågor på ett visst sätt. Till exempel, så svarade den korrekt på “Vem är president i USA?”, men behandlade “Kan du berätta om presidenten?” som en säkerhetsrisk och vägrade att svara.

Problemet var inte med modellens kärnkunskap – det var med hur den tolkade avsikt baserat på formulering. Teamet hade optimerat för säkerhet så mycket att de oavsiktligt blockerade normala, rimliga frågor.

Problem #2: Modeller är finjusterade till benchmark som inte reflekterar den verkliga världen

En annan vanlig fallgrop för företags AI, är att AI-team utbildar modeller för att uppfylla branschstandardbenchmark istället för verkliga behov. På papper, så kan en modell se ut som toppklass, med höga poäng på standardutvärderingar för noggrannhet, relevans eller säkerhet. Men i praktiken, så kan den ha svårt att leverera konsekventa, användbara resultat utan tung användarintervention.

Detta händer när team optimerar modeller för att utföra väl på smala, benchmark-specifika uppgifter. Modellen blir expert på dessa testfall, men sviker när den möter mindre strukturerade, mer varierade verkliga indata. Som resultat, så måste användare “tala modellens språk” genom promptteknik bara för att få rätt svar. Om ditt AI-produkt är beroende av slutanvändare som skapar precisa promptrar, så har du infört friktion som bromsar antagandet och undergräver dess användbarhet.

Denna typ av benchmark-fokuserad utbildning kan också leda till överanpassning. Modellen blir så finjusterad för att utföra väl på utvärderingsdataset, att den förlorar generaliserbarhet. Den kan klara alla interna tester, men fortfarande svika när den distribueras i det vilda, särskilt om de faktiska användningsfallen skiljer sig från dem den utbildades på.

Om du vill ha en företags AI-lösning som lyckas, så måste din modell fungera i den verkliga världen – inte bara i labbet.

Problem #3: Att skala upp AI-antagande innebär att skala upp beräkningskostnader

Den tredje anledningen till att många AI-bevisprojekt misslyckas med att skala upp, är ekonomisk: team underskattar ofta kostnaden för att köra och underhålla modellen i produktion. Under utvecklingen, så är det lätt att bortse från de beräkningskrav som en stor modell kräver, särskilt när testning görs på små dataset eller i begränsade användningsmiljöer. Men när den distribueras, så kan kostnaderna skjuta i höjden.

Företagsklassad AI kräver betydande beräkningsresurser, inte bara för att serva svar i realtid, utan också för kontinuerlig finjustering, övervakning, loggning och omutbildning. Om dessa kostnader inte faktoreras in tidigt, så kan affärsfallet för lösningen kollapsa när den verkliga användningen börjar. Vad som såg ut som en lovande modell i en kontrollerad test, kan snabbt bli ohållbar när tusentals användare börjar använda systemet dagligen.

Att övervinna sista milens hinder för framgångsrik företags AI

För att undvika de vanliga fallgroparna som sätter stopp för så många företags AI-projekt, så måste team gå utöver den vanliga spelplanen. Här är hur ditt AI-team kan bygga något som faktiskt fungerar – och skalar.

Först, ta in en tredje part för att utvärdera din modell. Intern testning är viktig, men den är ofta för bred. En färsk uppsättning ögon, tillsammans med en anpassad utvärderingsram som är anpassad till ditt användningsfall, kan identifiera problem som ditt team kan missa, särskilt när det gäller hur verkliga användare kommer att interagera med systemet.

Andra, se till att du testar med verkliga världspromptar. De flesta benchmark testar på “rena” data som inte reflekterar den verkliga världen, än mindre hur dina specifika slutanvändare kommer att prompta din modell. Att testa din modell på de oordnade, vaga eller konstigt formulerade indata, kommer att visa hur din modell faktiskt kommer att fungera efter distribution och låta dig identifiera problem som annars kan falla mellan stolarna och påverka antagandet.

Tredje, se över dina säkerhetsprotokoll. Det är lätt att gå för långt med skyddsräcken, och medan säkerhet är viktigt, så bör den inte göra din modell frustrerande att använda. Om modellen stängs av på enkla, ofarliga frågor, så handlar du om användbarhet för en falsk känsla av säkerhet.

Slutligen, håll koll på dina beräkningskostnader. Om dina antagningsmål inkluderar tusentals användare och miljontals förfrågningar, så kan dessa utgifter öka snabbt. En lösning är att överväga mindre modeller. Boosted.ai gjorde just det – de bytte till en anpassad liten språkmodell och skar ner sina beräkningskostnader med 90% samtidigt som de förbättrade

Genom att tackla utvärdering, användbarhet och skalbarhet från början, kan team ge sitt AI-projekt en riktig chans till långsiktig framgång. Det handlar inte bara om att få det att fungera i ett labb – det handlar om att få det att fungera i världen.