기계 학습 개발의 성공을 위한 새로운 패러다임 – 사상가들

비ク터 Thu, Datatron 의 사장

기계 학습을 사용하는 이니셔티브는 전통적인 소프트웨어 프로젝트와 같은 방식으로 처리될 수 없습니다. 테스트를 위해 빠르게 이동하여 문제를 수정하고 다시 테스트해야 합니다. 즉, 빠르게 실패하고 초기에 실패해야 합니다. 프로세스의 후반부에서 문제를 발견하는 것은 매우 비용이 많이 들고 시간이 많이 걸릴 수 있습니다.

AI는 새로운 접근 방식이 필요하다

전통적인 방법으로 소프트웨어를 개발할 때, 결정 논리를 사용합니다. 소프트웨어가 올바르게 작동하도록 논리를 포함시킵니다. 응용 프로그램의 논리가 개발된 후에는 버그 수정을 제외하고 변경할 필요가 없습니다. 매우 체계적인 개발 프로세스이며, 각 단계를 정확하게 확인한 후에 다음 단계로 진행합니다. 이는 소프트웨어 개발에 효과를 입증한 검증된 전략입니다.

그러나 AI/ML 프로젝트에 동일한 전략을 사용할 수 없습니다. 대신, 빠르게 반복하여 ML 프로젝트에서 성공을 달성할 수 있는 능력이 필요합니다. ML은 초기 훈련이 필요하며 프로세스이므로 처음 배포될 때 정확하지 않을 수 있다는 것을 알고 접근해야 합니다.

이 프로세스는 여러 번의 반복을 필요로 합니다. 실제로 첫 번째 모델은 99%의 경우 예상치 못한 결과를 만날 것입니다. 실험실에서 모델을 몇 개월 동안 훈련시킨다고 해도 실제 데이터와 트래픽을 만났을 때 변경될 것입니다.

즉각적인 완전성을 목표하지 마라

따라서 모델을 테스트하고 수정이 필요한 부분을 결정하기 위해 모델을 신속하게 프로덕션에 배포할 수 있어야 합니다. 그런 다음 수정을 적용하고 다시 출시하여 모델을 개선할 수 있습니다. 이러한 이유로 모델을 프로덕션에 테스트하기 전에 완벽하게 만들기 위해 너무 많은 노력을 기울이지 않아야 합니다. 초기 시도는 완벽하지 않을 것이며, 누구도 완벽하다고 기대해서는 안 됩니다.

모델이 실험실에서 개발되는 동안 92%에서 95%의 정확도 향상은 일부 사용 사례에 대해 중요하지 않을 수 있습니다. 왜 vậy일까요? 모델을 훈련시키기 위해 사용된 훈련 데이터의 작은 부분만 사용했기 때문입니다. 모델이 제공할 수 있는 이점을 포기하면서 추가적인 정확도를 얻기 위해 많은 시간과 돈을 투자할 수 있습니다.

ML 배포의 효과적인 단계

모델이 실패하거나 잘못된 예측을 할 수 있으므로 ML 과학자들은 모델을 프로덕션에 배포하는 것을 주저할 수 있습니다. 어느 정도는 이해할 수 있습니다. 실시간으로 발생하는 이벤트를 볼 수 있는 시스템이 필요합니다. 이렇게 하면 모델을 즉시 끌어들이고 업데이트한 다음 신속하게 새로운 모델을 출시할 수 있습니다. “분석 마비”에 빠지지 않고 ML 모델을 프로덕션에 배포하는 가장 효율적인 방법입니다.

모델을 출시하고 실제 경험을积累하도록 하는 것이 더 좋습니다. 그러나 이는 모델을 처음부터 가능한 한 정확하게 만드는 데 필요한 데이터 과학자의 노력을 제거하지 않습니다. 그러나 초기 버전을 완료한 후 즉시 중요한 데이터를 수집하기 시작해야 합니다.

이 프로세스의 일부로 실제 데이터에 대해 A/B 테스트 모드 또는 섀도우 모드로 모델을 실행할 수 있습니다.这样하면 다양한 모델의 성능을 비교하고 모델을 승격 또는 降格하기 전에 많은 데이터와 증거를 확보할 수 있습니다.

전역 모델을 생성하는 대신 지역 모델을 생성하는 또 다른 모범 사례입니다. 지역 모델을 사용하면 특정 상황에서 모델이 올바르게 작동하도록 특정 상황의 데이터를 사용할 수 있습니다. 이렇게 하면 시간, 데이터 및 노력을 절약할 수 있습니다. 전역 모델은 작동하려면大量의 이러한 자원을 필요로 하기 때문입니다.

예를 들어, 맞춤형 운동화를 위한 수요를 결정하는 경우를 살펴보겠습니다. 뉴욕시 인구를 기반으로 하는 전역 모델은 북미의 나머지 지역에 적용될 수 있습니다. 그러나 다른 지역의 수요를 정확하게 나타내지 못할 것입니다. 지역 모델 전략을 사용하면 현재 손실하고 있는 더 높은 수익률을 달성할 수 있습니다.

모델은 정기적으로 업데이트해야 합니다. 전통적인 소프트웨어와 달리 모델은 한 번 설정하면 방치할 수 없습니다. 모델은 데이터가 항상 변경되기 때문에 정기적으로 업데이트해야 합니다. 모델이 업데이트되지 않으면 시간이 지남에 따라劣化됩니다. 모델의 수명 동안 이러한 업데이트가 발생해야 하며 주의 깊게 모니터링해야 합니다.

기계 학습의 새로운 패러다임

기계 학습 모델을 전통적인 소프트웨어와 비교하는 것은 현명하지 않습니다. 그러나 ML 전문가들은 DevOps와 마찬가지로 AI/ML 모델에 대한 신속한 배포 기술을 사용합니다. ML 프로젝트에 대해서는 모델을 신속하게 출시할 수 있는 시스템이 필요합니다. 라이브인 모델과 라이브가 아닌 모델을 비교할 수 있어야 합니다. 위에서 언급한 다른 모범 사례와 함께 이러한 내용은 분석 마비를 피하고 초기에 빠르게 실패하여 기계 학습을 확장하는 데 도움이 될 것입니다. 빠르게 모델을 출시할 수 있어야 합니다. 라이브인 모델과 라이브가 아닌 모델을 효과적으로 대조할 수 있어야 합니다. 위에서 언급한 다른 모범 사례와 함께 이러한 내용은 분석 마비를 피하고 초기에 빠르게 실패하여 기계 학습을 확장하는 데 도움이 될 것입니다.