Dlaczego wyrafinowanie zwycięży w sektorze Machine Learning Ops

Nie ma wątpliwości, że operacje machine learning (MLOps) to dynamicznie rozwijający się sektor. Rynek ma osiągnąć wartość 700 milionów dolarów do 2025 roku – prawie czterokrotnie więcej niż w 2020 roku.

Jednakże, pomimo technicznej jakości i mocy, te rozwiązania nie wygenerowały oczekiwanego dochodu, co wywołało obawy dotyczące przyszłego wzrostu.

Mogę zrozumieć pesymizm otaczający ten sektor, ponieważ spędziłem pierwsze 20 lat swojej kariery budując wewnętrzne narzędzia MLOps w renomowanej firmie zarządzającej inwestycjami. Ostatnio zainwestowałem w startupy MLOps, ale były one wolne w osiąganiu poziomu dochodu, jaki bym oczekiwał. Na podstawie moich pozytywnych i negatywnych doświadczeń z MLOps, rozumiem, dlaczego te startupy miały trudności i dlaczego są teraz przygotowane do wzrostu.

Narzędzia MLOps są kluczowe dla firm wdrażających modele i algorytmy oparte na danych. Jeśli rozwijasz oprogramowanie, potrzebujesz narzędzi, które pozwalają na diagnozowanie i przewidywanie problemów z oprogramowaniem, które mogą spowodować utratę znaczących dochodów z powodu awarii. To samo dotyczy firm, które budują rozwiązania oparte na danych. Jeśli nie masz odpowiednich narzędzi MLOps do oceny modeli, monitorowania danych, śledzenia dryfu parametrów modelu i wydajności, oraz śledzenia przewidywanej i rzeczywistej wydajności modeli, to prawdopodobnie nie powinieneś używać modeli w zadaniach krytycznych dla produkcji.

Jednakże, firmy wdrażające rozwiązania oparte na ML bez głębokiej wiedzy i doświadczenia nie rozpoznają potrzeby bardziej wyrafinowanych narzędzi i nie rozumieją wartości niskopoziomowej integracji technicznej. Są one bardziej komfortowe z narzędziami działającymi na zewnętrzności, nawet jeśli są mniej skuteczne, ponieważ są mniej inwazyjne i reprezentują niższy koszt przyjęcia i ryzyko, jeśli narzędzia nie sprawdzą się.

Z drugiej strony, firmy z zespołami ML, które posiadają głębszą wiedzę i doświadczenie, uważają, że mogą budować te narzędzia wewnętrznie i nie chcą przyjmować rozwiązań zewnętrznych. Dodatkowo, problemy wynikające z niedostatków narzędzi MLOps nie zawsze są łatwe do zidentyfikowania lub zdiagnozowania – pojawiają się jako błędy modelowania versus operacyjne. W efekcie, firmy wdrażające rozwiązania oparte na ML, niezależnie od ich technicznej wyrafinowania lub braku doświadczenia, były powolne w przyjęciu.

Jednak rzeczy zaczynają się zmieniać. Firmy zaczynają rozpoznawać wartość wyrafinowanych, głęboko zintegrowanych narzędzi MLOps. Albo doświadczyły one problemów wynikających z braku tych narzędzi, albo zobaczyły, jak ich konkurenci cierpią z powodu ich braku w wielu głośnych niepowodzeniach, i teraz są zmuszone uczyć się o bardziej złożonych rozwiązaniach MLOps.

Te firmy MLOps, które przetrwały dotąd “zimę dochodową”, powinny zobaczyć ocieplenie rynku i wzrost możliwości sprzedaży.

Firmy sprzedające powierzchowne rozwiązania zaczną tracić biznes na rzecz bardziej zintegrowanych rozwiązań, które są trudniejsze do zrozumienia i przyjęcia, ale zapewniają więcej usług monitorowania, debugowania i naprawy dla swoich klientów. Deweloperzy oprogramowania MLOps powinni zachować wiarę, że budowanie potężnego oprogramowania, które rozwiązuje problemy w głębszy i bardziej kompletny sposób, zwycięży w długiej perspektywie nad prostymi rozwiązaniami, które dają natychmiastowe korzyści, ale nie rozwiązują pełnego zakresu problemów, z którymi borykają się ich klienci.