Hyllevare kontra tilpassede maskinlæringsmodeller?

Når er det bedre å bygge enn å kjøpe en hylleløsning?

Bedrifter kan engasjere seg i ulike tilnærminger til modellutvikling. Fra fullt administrerte ML-tjenester, hele veien til tilpassede modeller. Avhengig av forretningskrav, tilgjengelig ekspertise og planleggingsbegrensninger, må de ta et valg: skal de utvikle tilpassede løsninger fra bunnen av? Eller bør de velge en hyllevare?

For alle stadier av ML-arbeidsbelastninger må det tas en beslutning om hvordan de forskjellige puslespillbrikkene vil passe sammen. Fra datainnsamling, forberedelse og visualisering, hele veien til funksjonsteknikk, modellopplæring og evaluering, stiller maskinlæringsingeniører seg selv det samme spørsmålet gjentatte ganger: Vil det være en tilpasset implementert løsning, skrevet og utviklet fra bunnen av? Eller vil det være en hyllevaretjeneste?

Men når er det bedre å bygge enn å kjøpe en hylleløsning? De viktigste differensierende faktorene mellom de to tilnærmingene: forbehandlingsinnsats, utviklingshastighet og nødvendig ekspertise.

Ting du bør vurdere når du bestemmer deg for å bruke hyllevare eller tilpassede maskinlæringsmodeller?

Forbehandlingsinnsats

ML-prosjekter står overfor alle slags utfordringer, men den største utfordringen er kanskje tilgjengeligheten av treningsdata. Mangelen på opplæringsdata kan stoppe et prosjekt før det i det hele tatt starter. Før et prosjekt i det hele tatt starter, kan det stå overfor betydelige forbehandlingskostnader fra innsamling av data, merking av data, rengjøring og forbehandling. Dette er den velkjente fellen der mange ML-prosjekter mislykkes: Forbehandling ender opp med å ta 80 % av ressursene som tildeles, mens det er få ressurser igjen til selve modellopplæringen og evalueringen.

Hylleløsninger lindrer belastningen og smertene ved forbehandlingsarbeid. De er bygget for å utføre de vanligste operasjonene med bare litt konfigurasjon som kreves. Det beste med dem er: hyllevareløsninger finnes for alle stadier av ML-arbeidsbelastninger.

På den annen side krever skreddersydde implementeringer vanligvis mer forhåndsinnsats. Det betyr ikke at de må avskjediges helt: de er fortsatt pålagt å finjustere et visst ML-stadium til spesifikasjonene til problemet som skal løses. Et spesielt skittent datasett kan kreve en spesiell type oppryddingsregler. Samtidig kan et spesifikt funksjonssett kreve tilpasset funksjonsteknikk, akkurat som nevrale arkitekturer kan kreve små justeringer. I dette tilfellet vil tilpassede løsninger bygget fra bunnen av sannsynligvis dekke alle behov.

Utviklingshastighet 

Hyllevareløsninger fokuserer på konfigurasjon i stedet for implementering. I stedet for å sette av ressurser til å finne ut hva bør gjøres, vil ML-team fokusere på hvordan de forskjellige puslespillbitene vil passe sammen. Denne tilnærmingen lar bedrifter, forskere og ingeniører raskt implementere prototyper og konseptbevis. I stedet for å finne opp hjulet på nytt, gjør hylleløsninger det mulig å utnytte eksisterende kunnskap, og dermed spare utviklingstid.

Skreddersydde løsninger implementert fra bunnen av er kjent for å være mye lavere i forhold til utviklingshastighet. Dette er på grunn av deres økte vedlikeholdsbehov: ingeniører må finne ut av både hva og hvordan av løsningen. Likeledes, jo mer kompleks løsningen er, desto mer tidsressurser kreves det for å sikre skalerbarhet og tilgjengelighet mens den er i produksjon. Fra dette perspektivet er skreddersydde løsninger og tidsinnsats direkte proporsjonale: jo mer kompleks en løsning, jo mer tid vil den kreve.

Vanligvis ligger imidlertid sannheten et sted midt imellom: en eksisterende kodebase vil bli omstrukturert og tilpasset det nåværende prosjektets behov. Slik er tilfellet med den velkjente transfer learning-tilnærmingen til modelltrening.

Kompetanse

Akkurat som det er flere lag der maskinlæring gjøres, er det flere nivåer av ekspertise der ML-modeller kan utvikles, alt fra kodefrie grensesnitt hele veien til å bygge modeller fra bunnen av.

Det finnes hylleløsninger der det kreves svært lite maskinlæringskompetanse. Ved å bruke intuitive grensesnitt og til og med dra og slipp-tilnærminger, har det blitt ekstremt enkelt for alle (fra forretningsanalytikere til programvareingeniører) å bygge og distribuere en slags maskinlæringsmodell. Selv om denne enkle tilnærmingen til modellutvikling kan fungere for prototypeformål, er det lite sannsynlig at den oppfyller kravene til produksjonssystemer.

Det kreves fortsatt ekspertise for å konfigurere, sette opp og vedlikeholde hylleløsninger i produksjon på riktig måte. Midlertidige løsninger, kodeoppdateringer, tilkobling til forskjellige API-grensesnitt og håndtering av distribusjonsproblemer er vanlige oppgaver som kreves for å sikre modellenes ytelse i produksjonsmiljøer.

Skreddersydde løsninger implementeres vanligvis på et infrastrukturnivå, og det er ingen vei utenom det: kompetanse er definitivt nødvendig. Avhengig av bedriftens størrelse og prosjektmål, kan det være nødvendig med tverrfaglige team for å vedlikeholde produksjonssystemer. Dataforskere, ML-ingeniører og forretningsanalytikere kommer sammen for å forstå slutningsresultater og vedlikeholde produksjonsmodeller.

Hva bør du bruke: en hyllevare eller tilpasset maskinlæringsmodell?

En ML-løsning skal bygges av mange individuelle komponenter og tjenester som må samles som en helhetlig løsning. Det handler aldri om å gå 100 % tilpasset eller gå 100 % hyllevare siden forskjellige forretningsproblemer krever forskjellige løsninger. Oftere enn ikke bygges ML-baserte løsninger av en blanding av de to: hylletjenester for å trekke ut generell innsikt, kombinert med tilpassede modeller for økt nøyaktighet og modellering av domenespesifikk kunnskap.

Trikset er å vite når man skal implementere tilpassede løsninger fra bunnen av og hvilke deler av prosjektet som kan utnytte fordelene med hylletjenester. Dette avhenger i stor grad av typen problem som håndteres, forretningskravene, tilgjengelige data og de generelle begrensningene i utviklingsmiljøet.

For mer om AI og teknologitrender, se Josh Miramant, administrerende direktør i Blue Orange Digital sine datadrevne løsninger for Forsyningskjede, Healthcare Document Automation og mer.

Du kan også like:

Bruk NLP til å klassifisere kommentarer på sosiale medier

Hvordan språkbehandlingen blir forbedret gjennom Googles BERT-modell med åpen kildekode