Op maat gemaakte versus kant-en-klare machine learning-modellen?

Wanneer is het beter om een op maat gemaakte oplossing te bouwen in plaats van een kant-en-klare oplossing te kopen?

Bedrijven kunnen verschillende benaderingen volgen bij de ontwikkeling van modellen. Van volledig beheerde ML-diensten tot op maat gemaakte modellen. Afhankelijk van de bedrijfsvereisten, de beschikbare expertise en de planningsbeperkingen, moeten ze een keuze maken: moeten ze op maat gemaakte oplossingen van scratch ontwikkelen? Of moeten ze een kant-en-klare dienst kiezen?

Voor alle fasen van ML-werkbelastingen moet een beslissing worden genomen over hoe de verschillende puzzelstukjes samen zullen passen. Van gegevensverzameling, -voorbereiding en -visualisatie tot feature-engineering, modeltraining en -evaluatie, vragen machine learning-engineers zichzelf telkens hetzelfde af: zal het een op maat gemaakte oplossing zijn, geschreven en ontwikkeld van scratch? Of zal het een kant-en-klare dienst zijn?

Maar wanneer is het beter om een op maat gemaakte oplossing te bouwen in plaats van een kant-en-klare oplossing te kopen? De belangrijkste differentiërende factoren tussen de twee benaderingen zijn: voorbewerkingsinspanningen, ontwikkelingsnelheid en de vereiste expertise.

Dingen om te overwegen bij het bepalen of u kant-en-klare of op maat gemaakte machine learning-modellen moet gebruiken?

Voorbewerkingsinspanningen

ML-projecten worden geconfronteerd met allerlei uitdagingen, maar misschien wel de grootste uitdaging is de beschikbaarheid van trainingsgegevens. Het gebrek aan trainingsgegevens kan een project stoppen voordat het zelfs maar is begonnen. Voordat een project zelfs maar is begonnen, kan het significante voorbewerkingskosten hebben van het verzamelen van gegevens, het labelen van gegevens, het schoonmaken en het voorbewerken. Dit is de bekende valkuil waarin veel ML-projecten falen: voorbewerking eindigt met het nemen van 80% van de toegewezen middelen, terwijl er weinig middelen overblijven voor de daadwerkelijke modeltraining en -evaluatie.

Kant-en-klare oplossingen verlichten de spanningen en pijn van voorbewerkingsinspanningen. Ze zijn ontworpen om de meest voorkomende bewerkingen uit te voeren met slechts een kleine configuratie vereist. Het beste aan hen is: kant-en-klare oplossingen bestaan voor alle fasen van ML-werkbelastingen.

Aan de andere kant vereisen op maat gemaakte implementaties meestal meer voorbewerkingsinspanningen. Dat betekent niet dat ze volledig moeten worden afgewezen: ze zijn nog steeds vereist om een bepaalde ML-fase aan te passen aan de specificaties van het probleem dat wordt opgelost. Een bijzonder vuile dataset kan speciale schoonmaakregels vereisen. Tegelijkertijd kan een specifieke set functies aangepaste functie-engineering vereisen, net zoals neurale architectuur kleine aanpassingen kan vereisen. In dit geval zijn op maat gemaakte oplossingen, gebouwd van scratch, waarschijnlijk in staat om alle behoeften te dekken.

Ontwikkelingsnelheid

Kant-en-klare oplossingen richten zich op configuratie in plaats van implementatie. In plaats van middelen toe te wijzen aan het uitvinden van wat moet worden gedaan, zullen ML-teams zich richten op hoe de verschillende puzzelstukjes samen zullen passen. Deze benadering stelt bedrijven, onderzoekers en ingenieurs in staat om snel prototypes en bewijzen van concepten te implementeren. In plaats van de wielen opnieuw uit te vinden, maken kant-en-klare oplossingen het mogelijk om bestaande kennis te benutten, waardoor ontwikkelingstijd wordt bespaard.

Op maat gemaakte oplossingen, geïmplementeerd van scratch, zijn bekend om veel langzamer te zijn in ontwikkelingsnelheid. Dit komt door hun verhoogde onderhoudsbehoeften: ingenieurs moeten zowel het wat als het hoe van de oplossing uitvinden. Bovendien is de complexiteit van de oplossing recht evenredig met de benodigde tijd: hoe complexer de oplossing, hoe meer tijd het zal kosten.

Meestal echter ligt de waarheid ergens in het midden: een bestaande codebasis zal worden herschreven en aangepast aan de behoeften van het huidige project. Zo is het geval met de bekende transfer learning-benadering van modeltraining.

Expertise

Net zoals er meerdere lagen zijn waarop Machine Learning wordt uitgevoerd, zijn er meerdere niveaus van expertise waarop ML-modellen kunnen worden ontwikkeld, variërend van code-vrije interfaces tot het bouwen van modellen van scratch.

Kant-en-klare oplossingen bestaan waarvoor heel weinig machine learning-expertise is vereist. Door gebruik te maken van intuïtieve interfaces en zelfs sleep-en-neerzet-benaderingen, is het extreem eenvoudig geworden voor iedereen (van businessanalisten tot software-ingenieurs) om een soort machine learning-model te bouwen en te implementeren. Hoewel deze eenvoudige benadering van modelontwikkeling kan werken voor prototyping-doelen, is het onwaarschijnlijk dat het de vereisten van productiesystemen zal vervullen.

Expertise is nog steeds vereist om kant-en-klare oplossingen correct te configureren, in te stellen en te onderhouden in productie. Workarounds, code-patches, aansluiting op verschillende API-interfaces en omgaan met implementatieproblemen zijn veelvoorkomende taken die nodig zijn om de prestaties van modellen in productieomgevingen te garanderen.

Op maat gemaakte oplossingen worden meestal geïmplementeerd op een infrastructuurniveau en er is geen manier om dit te vermijden: expertise is absoluut vereist. Afhankelijk van de bedrijfsgrootte en projectdoelen kunnen multidisciplinaire teams nodig zijn om productiesystemen te onderhouden. Datawetenschappers, ML-ingenieurs en businessanalisten komen samen om inferentieresultaten te begrijpen en productiemodellen te onderhouden.

Wat moet u gebruiken: een kant-en-klare of op maat gemaakte machine learning-model?

Een ML-oplossing zal bestaan uit veel individuele componenten en diensten die samen moeten komen als een samenhangende oplossing. Het gaat nooit om 100% op maat gemaakt of 100% kant-en-klare diensten, omdat verschillende bedrijfsproblemen verschillende oplossingen vereisen. Vaker wel dan niet worden ML-gebaseerde oplossingen gebouwd door een combinatie van beide: kant-en-klare diensten om algemene inzichten te verkrijgen, in combinatie met op maat gemaakte modellen voor verhoogde nauwkeurigheid en domeinspecifieke kennis.

Het trucje is om te weten wanneer u op maat gemaakte oplossingen van scratch moet implementeren en welke delen van het project de voordelen van kant-en-klare diensten kunnen benutten. Dit hangt sterk af van het type probleem dat wordt aangepakt, de bedrijfsvereisten, de beschikbare gegevens en de algehele beperkingen van de ontwikkelomgeving.

Meer over AI en technologie-trends, zie Josh Miramant, CEO van Blue Orange Digital’s data-gedreven oplossingen voor Supply Chain, Healthcare Document Automation en meer.

U kunt ook interesse hebben in:

Gebruik NLP om comments op social media te classificeren

Hoe taalverwerking wordt verbeterd door Google’s open-source BERT-model