Färdiga lösningar mot anpassade maskinlärningsmodeller?

När är det bättre att bygga än att köpa en färdig lösning?

Företag kan engagera sig i olika tillvägagångssätt för modellutveckling. Från fullt hanterade ML-tjänster till anpassade modeller. Beroende på affärsbehov, tillgänglig expertis och planeringsbegränsningar, måste de fatta ett beslut: ska de utveckla anpassade lösningar från scratch? Eller ska de välja en färdig lösning?

För alla stadier av ML-arbete, måste ett beslut fattas om hur de olika pusselbitarna ska passa ihop. Från datainsamling, förberedelse och visualisering, till funktionell utveckling, modellträning och utvärdering, ställer sig maskinläringsingenjörer ständigt samma fråga: ska det vara en anpassad lösning, skriven och utvecklad från scratch? Eller ska det vara en färdig lösning?

Men när är det bättre att bygga än att köpa en färdig lösning? De viktigaste differentierande faktorerna mellan de två tillvägagångssätten är: förbearbetningsinsatser, utvecklingshastighet och den erforderliga expertisen.

Vad ska man tänka på när man bestämmer sig för att använda färdiga eller anpassade maskinlärningsmodeller?

Förbearbetningsinsatser

ML-projekt står inför alla slags utmaningar, men kanske den största utmaningen är tillgången på träningsdata. Bristen på träningsdata kan stoppa ett projekt innan det ens har börjat. Innan ett projekt ens har börjat, kan det stå inför betydande förbearbetningskostnader från datainsamling, datamärkning, rensning och förbearbetning. Detta är den välkända fällan som många ML-projekt fastnar i: förbearbetning tar 80% av de tilldelade resurserna, medan få resurser återstår för den faktiska modellträningen och utvärderingen.

Färdiga lösningar lindrar de påfrestningar och smärtor som förbearbetningsinsatser medför. De är byggda för att utföra de vanligaste operationerna med endast lite konfiguration som krävs. Det bästa med dem är: färdiga lösningar finns för alla stadier av ML-arbete.

Å andra sidan kräver anpassade implementationer vanligtvis mer förbearbetningsinsatser. Det betyder inte att de måste förkastas helt: de är fortfarande nödvändiga för att finjustera en viss ML-fas till problemets specifika behov. En särskilt smutsig datamängd kan kräva speciella rensningsregler. Samtidigt kan en specifik funktionssats kräva anpassad funktionell utveckling, precis som neurala arkitekturer kan kräva små justeringar. I detta fall är anpassade lösningar byggda från scratch sannolikt att täcka alla behov.

Utvecklingshastighet

Färdiga lösningar fokuserar på konfiguration snarare än implementation. Istället för att tilldela resurser till att figurera ut vad som ska göras, kommer ML-team att fokusera på hur de olika pusselbitarna ska passa ihop. Detta tillvägagångssätt gör det möjligt för företag, forskare och ingenjörer att snabbt implementera prototyper och bevis på koncept. Istället för att uppfinna hjulet, gör färdiga lösningar det möjligt att utnyttja befintlig kunskap, vilket sparar utvecklingstid.

Anpassade lösningar som implementeras från scratch är kända för att vara mycket långsammare när det gäller utvecklingshastighet. Detta beror på deras ökade underhållsbehov: ingenjörer måste figurera ut både vad och hur lösningen ska fungera. Likaså, ju mer komplex lösningen är, desto mer tid krävs för att säkerställa dess skalbarhet och tillgänglighet medan den är i produktion. Från detta perspektiv är anpassade lösningar och tidsinsatser direkt proportionella: ju mer komplex en lösning är, desto mer tid kommer den att kräva.

Vanligtvis dock är sanningen någonstans mitt emellan: en befintlig kodbas kommer att omstruktureras och anpassas till projektets behov. Så är fallet med den välkända transferinlärningsmetoden för modellträning.

Expertis

Liksom det finns flera lager där maskinlärning utförs, finns det flera nivåer av expertis där ML-modeller kan utvecklas, från kodfria gränssnitt till att bygga modeller från scratch.

Färdiga lösningar finns för vilka mycket liten maskinlärningsexpertis krävs. Genom att använda intuitiva gränssnitt och till och med dra-och-släpp-metoder, har det blivit extremt enkelt för vem som helst (från affärsanalytiker till programvaruutvecklare) att bygga och distribuera någon form av maskinlärningsmodell. Medan detta enkla tillvägagångssätt för modellutveckling kan fungera för prototyper, är det osannolikt att det uppfyller kraven för produktionssystem.

Expertis krävs fortfarande för att korrekt konfigurera, installera och underhålla färdiga lösningar i produktion. Lösningar, kod-patchar, anslutning till olika API-gränssnitt och hantering av distributionsproblem är vanliga uppgifter som krävs för att säkerställa modellernas prestanda i produktionssystem.

Anpassade lösningar är vanligtvis implementerade på en infrastrukturnivå och det finns ingen väg runt det: expertis krävs definitivt. Beroende på företagets storlek och projektets mål, kan multidisciplinära team krävas för att underhålla produktionssystem. Dataforskare, ML-ingenjörer och affärsanalytiker arbetar tillsammans för att ge mening åt inferensresultat och underhålla produktionsmodeller.

Vad ska du använda: en färdig eller anpassad maskinlärningsmodell?

En ML-lösning kommer att bestå av många enskilda komponenter och tjänster som måste komma samman som en sammanhängande lösning. Det handlar aldrig om att gå 100% anpassad eller 100% färdig, eftersom olika affärsproblem kräver olika lösningar. Mer ofta än inte, byggs ML-baserade lösningar av en blandning av de två: färdiga tjänster för att extrahera allmänna insikter, kombinerat med anpassade modeller för ökad noggrannhet och modellering av domänspecifik kunskap.

Knepet är att veta när man ska implementera anpassade lösningar från scratch och vilka delar av projektet som kan dra nytta av fördelarna med färdiga tjänster. Detta beror starkt på problemets typ, affärsbehoven, tillgängliga data och den övergripande utvecklingsmiljön.

För mer information om AI och tekniktrender, se Josh Miramant, VD för Blue Orange Digitals data-drivna lösningar för försörjningskedja, hälso- och sjukvårdsdokumentautomatisering och mer.

Du kanske också gillar:

Använd NLP för att klassificera kommentarer på sociala medier

Hur språkbehandling förbättras genom Googles öppna källkods-BERT-modell