Tính bền bỉ > Độ chính xác: Tại sao ‘tính bền bỉ của mô hình’ nên là chỉ số thực sự để vận hành các mô hình

By Ingo Mierswa, Founder, President & Chief Data Scientist tại RapidMiner.

Khoa học dữ liệu đã đạt được một số tiến bộ tuyệt vời trong những năm gần đây và nhiều tổ chức đang sử dụng phân tích nâng cao hoặc mô hình học máy để có được những hiểu biết sâu sắc hơn về các quy trình và, trong một số trường hợp, thậm chí dự đoán kết quả có thể xảy ra trong tương lai. Đối với các “khoa học” khác, thường không rõ liệu một dự án sẽ thành công hay không, và đã có những báo cáo rằng lên đến 87% dự án khoa học dữ liệu không bao giờ đi vào sản xuất. Trong khi tỷ lệ thành công 100% không thể được mong đợi, có một số mẫu trong các dự án khoa học dữ liệu dẫn đến tỷ lệ thành công cao hơn nên được coi là có thể chấp nhận được trong lĩnh vực này. Những mẫu vấn đề này dường như tồn tại độc lập với bất kỳ ngành hoặc trường hợp cụ thể nào, điều này cho thấy có một vấn đề phổ quát trong khoa học dữ liệu cần được giải quyết.

Đo lường sự thành công của học máy

Các nhà khoa học dữ liệu tạo ra các mô hình học máy dựa trên các tiêu chí toán học rõ ràng để đo lường hiệu suất của các mô hình. Tiêu chí nào được áp dụng chủ yếu phụ thuộc vào loại mô hình. Giả sử một mô hình nên dự đoán các lớp hoặc danh mục cho các tình huống mới – ví dụ, liệu một khách hàng sẽ hủy đăng ký hay không. Trong những trường hợp như vậy, các nhà khoa học dữ liệu sẽ sử dụng các phép đo như độ chính xác (mô hình chính xác bao nhiêu lần) hoặc độ chính xác (khách hàng thực sự hủy đăng ký bao nhiêu lần nếu chúng tôi dự đoán hủy đăng ký).

Các nhà khoa học dữ liệu cần các tiêu chí khách quan như vậy vì một phần công việc của họ là tối ưu hóa các tiêu chí đánh giá này để tạo ra mô hình tốt nhất. Trên thực tế, bên cạnh việc chuẩn bị dữ liệu để sẵn sàng cho việc xây dựng mô hình, việc xây dựng và tinh chỉnh các mô hình là nơi các nhà khoa học dữ liệu dành phần lớn thời gian của họ.

Nhược điểm của điều này là các nhà khoa học dữ liệu không tập trung nhiều vào việc đưa các mô hình vào sản xuất, điều này là một vấn đề cho hơn một lý do. Trước hết và quan trọng nhất, các mô hình không tạo ra kết quả thành công không thể được sử dụng để tạo ra tác động kinh doanh cho các tổ chức triển khai chúng. Thứ hai, vì các tổ chức đã dành thời gian và tiền bạc để phát triển, đào tạo và vận hành các mô hình không tạo ra kết quả thành công khi chạy trên “dữ liệu thế giới thực”, chúng có nhiều khả năng coi học máy và các công cụ khoa học dữ liệu khác là vô ích đối với tổ chức của họ và từ chối tiến hành các sáng kiến khoa học dữ liệu trong tương lai.

Sự thật là các nhà khoa học dữ liệu đơn giản là thích việc tinh chỉnh mô hình và dành rất nhiều thời gian cho việc này. Nhưng nếu không có tác động kinh doanh, thời gian này không được chi tiêu một cách khôn ngoan, điều này đặc biệt đau đớn khi xem xét sự khan hiếm của nguồn lực các nhà khoa học dữ liệu trong thế giới ngày nay.

Giải thưởng Netflix và thất bại sản xuất

Chúng ta đã thấy hiện tượng này của việc đầu tư quá nhiều vào việc xây dựng mô hình và không vào việc vận hành các mô hình được thể hiện trong những năm gần đây. Giải thưởng Netflix (NFLX ) là một cuộc thi mở cho thuật toán lọc cộng tác tốt nhất để dự đoán xếp hạng người dùng cho các bộ phim. Nếu bạn đưa ra xếp hạng cao cho một bộ phim mới, bạn có thể thích bộ phim đó – vì vậy bằng cách sử dụng hệ thống xếp hạng này, Netflix sẽ đề xuất một số tiêu đề cho bạn và nếu bạn thích nội dung được đề xuất, bạn có nhiều khả năng sẽ ở lại lâu hơn với tư cách là khách hàng của Netflix. Giải thưởng lớn là số tiền 1M USD, được trao cho đội ngũ có thể cải thiện thuật toán của Netflix ít nhất 10%.

Cuộc thi bắt đầu vào năm 2006 và trong ba năm tiếp theo, các đóng góp của hơn 40.000 đội ngũ khoa học dữ liệu trên toàn cầu đã dẫn đến sự cải thiện ấn tượng hơn 10% về thành công đề xuất tiêu đề. Tuy nhiên, các mô hình của đội ngũ chiến thắng không bao giờ được vận hành. Netflix cho biết rằng “sự tăng trưởng về độ chính xác không có vẻ như biện minh cho nỗ lực cần thiết để đưa những mô hình này vào sản xuất.”

Tại sao tối ưu không phải lúc nào cũng là tối ưu

Độ chính xác của mô hình và các tiêu chí khoa học dữ liệu khác đã được sử dụng trong một thời gian dài như một chỉ số để đo lường sự thành công của một mô hình trước khi đưa mô hình đó vào sản xuất. Như chúng ta đã thấy, nhiều mô hình không bao giờ đi vào giai đoạn này – điều này là một sự lãng phí tài nguyên, cả về năng lượng và thời gian dành cho việc này.

Nhưng có nhiều vấn đề hơn với văn hóa đầu tư quá nhiều vào việc tinh chỉnh mô hình. Đầu tiên là việc quá trình này vô tình dẫn đến việc mô hình bị quá khớp với dữ liệu kiểm tra, điều này sẽ dẫn đến các mô hình trông tốt đối với nhà khoa học dữ liệu quản lý, nhưng thực tế lại hoạt động kém khi đi vào sản xuất – đôi khi thậm chí gây ra tác hại. Điều này xảy ra vì hai lý do:

1. Có một sự không đồng nhất rõ ràng giữa lỗi kiểm tra và lỗi mà bạn sẽ thấy trong sản xuất
2. Tác động kinh doanh và các tiêu chí hiệu suất khoa học dữ liệu thường liên quan, nhưng các mô hình “tối ưu” không phải lúc nào cũng mang lại tác động lớn nhất

Điểm đầu tiên ở trên cũng được gọi là “quá khớp với tập kiểm tra.” Đây là một hiện tượng nổi tiếng, đặc biệt là trong số các thí sinh tham gia các cuộc thi khoa học dữ liệu như những cuộc thi từ Kaggle. Đối với những cuộc thi này, bạn có thể thấy một phiên bản mạnh mẽ hơn của hiện tượng này đã được thể hiện rõ ràng giữa bảng xếp hạng công khai và bảng xếp hạng riêng tư. Trên thực tế, một thí sinh có thể giành chiến thắng trong bảng xếp hạng công khai của một cuộc thi Kaggle mà không đọc dữ liệu. Tương tự, người chiến thắng trong bảng xếp hạng riêng tư và cuộc thi chung không nhất thiết phải tạo ra một mô hình có thể duy trì hiệu suất của nó trên bất kỳ tập dữ liệu nào khác ngoài tập dữ liệu mà nó đã được đánh giá.

Độ chính xác không bằng tác động kinh doanh

Trong một thời gian dài, chúng ta đã chấp nhận việc thực hành này, điều này dẫn đến việc các mô hình được thích nghi với các tập dữ liệu kiểm tra một cách chậm chạp. Kết quả là, những gì trông giống như mô hình tốt nhất lại trở nên tầm thường:

• Các phép đo như độ chính xác dự đoán thường không bằng tác động kinh doanh
• Sự cải thiện độ chính xác 1% không thể được dịch thành kết quả kinh doanh tốt hơn 1%
• Có những trường hợp mà một mô hình hoạt động kém có thể hoạt động tốt hơn các mô hình khác về tác động kinh doanh
• Các yếu tố khác như bảo trì, tốc độ chấm điểm, hoặc độ bền vững trước những thay đổi theo thời gian (gọi là “tính bền bỉ”) cũng phải được xem xét.

Điểm cuối cùng này đặc biệt quan trọng. Các mô hình tốt nhất sẽ không chỉ giành chiến thắng trong các cuộc thi hoặc trông tốt trong phòng thí nghiệm khoa học dữ liệu mà còn hoạt động tốt trong sản xuất và hoạt động tốt trên nhiều tập dữ liệu kiểm tra. Những mô hình này là những gì chúng ta gọi là mô hình bền bỉ.

Đrift và tầm quan trọng của tính bền bỉ

Tất cả các mô hình đều suy giảm theo thời gian. Câu hỏi duy nhất là tốc độ suy giảm này xảy ra như thế nào và mô hình vẫn hoạt động tốt trong những hoàn cảnh thay đổi. Lý do cho sự suy giảm này là thế giới không tĩnh. Do đó, dữ liệu mà mô hình được áp dụng cũng thay đổi theo thời gian. Nếu những thay đổi này xảy ra từ từ, chúng ta gọi đây là “drift khái niệm.” Nếu những thay đổi xảy ra đột ngột, chúng ta gọi đây là “đổi khái niệm.” Ví dụ, khách hàng có thể thay đổi hành vi tiêu dùng của họ từ từ theo thời gian, bị ảnh hưởng bởi xu hướng và/hoặc tiếp thị. Các mô hình khuynh hướng có thể không còn hoạt động tại một thời điểm nhất định. Những thay đổi này có thể được tăng tốc đáng kể trong một số tình huống. COVID-19, ví dụ, đã thúc đẩy việc bán các mặt hàng như giấy vệ sinh và chất khử trùng – một sự tăng đột ngột và không mong đợi trong các sản phẩm cụ thể có thể khiến mô hình như vậy hoàn toàn đi chệch hướng.

Một mô hình bền bỉ có thể không phải là mô hình tốt nhất dựa trên các phép đo như độ chính xác hoặc độ chính xác, nhưng sẽ hoạt động tốt trên nhiều tập dữ liệu hơn. Vì lý do này, nó cũng sẽ hoạt động tốt hơn trong một khoảng thời gian dài hơn và do đó có khả năng mang lại tác động kinh doanh bền vững.

Các mô hình tuyến tính và các loại mô hình đơn giản khác thường có tính bền bỉ cao hơn vì chúng khó bị quá khớp với một tập kiểm tra hoặc một thời điểm cụ thể. Các mô hình mạnh mẽ hơn có thể và nên được sử dụng như “những người thách thức” cho một mô hình đơn giản hơn, cho phép các nhà khoa học dữ liệu xem liệu nó có thể duy trì được theo thời gian hay không. Nhưng điều này nên được thực hiện ở điểm cuối, không phải ở điểm bắt đầu của hành trình xây dựng mô hình.

Mặc dù một KPI chính thức để đo lường tính bền bỉ chưa được giới thiệu vào lĩnh vực khoa học dữ liệu, có một số cách mà các nhà khoa học dữ liệu có thể đánh giá tính bền bỉ của mô hình:

• Độ lệch chuẩn nhỏ hơn trong một lần chạy kiểm tra chéo có nghĩa là hiệu suất mô hình phụ thuộc ít hơn vào các chi tiết cụ thể của các tập kiểm tra khác nhau
• Ngay cả khi các nhà khoa học dữ liệu không thực hiện các kiểm tra chéo đầy đủ, họ có thể sử dụng hai tập dữ liệu khác nhau cho các thử nghiệm và xác thực. Sự không đồng nhất ít hơn giữa tỷ lệ lỗi cho dữ liệu thử nghiệm và dữ liệu xác thực cho thấy tính bền bỉ cao hơn
• Nếu mô hình được theo dõi đúng cách trong sản xuất, tỷ lệ lỗi có thể được xem theo thời gian. Sự nhất quán của tỷ lệ lỗi theo thời gian là một dấu hiệu tốt cho tính bền bỉ của mô hình.
• Nếu giải pháp theo dõi mô hình lựa chọn của bạn tính đến drift, các nhà khoa học dữ liệu cũng nên chú ý đến việc mô hình bị ảnh hưởng bởi đầu vào drift như thế nào.

Thay đổi văn hóa của khoa học dữ liệu

Sau khi một mô hình đã được triển khai trong giai đoạn vận hành, vẫn còn những mối đe dọa đối với độ chính xác của mô hình. Hai điểm cuối cùng ở trên về tính bền bỉ của mô hình đã yêu cầu việc theo dõi mô hình đúng cách trong sản xuất. Là một điểm khởi đầu cho sự thay đổi văn hóa trong khoa học dữ liệu, các công ty được khuyên nên đầu tư vào việc theo dõi mô hình đúng cách và bắt đầu yêu cầu các nhà khoa học dữ liệu chịu trách nhiệm về việc thiếu hiệu suất sau khi mô hình được đưa vào sản xuất. Điều này sẽ ngay lập tức thay đổi văn hóa từ một văn hóa xây dựng mô hình sang một văn hóa tạo ra và duy trì giá trị cho lĩnh vực khoa học dữ liệu.

Como các sự kiện gần đây trên thế giới đã cho chúng ta thấy, thế giới thay đổi nhanh chóng. Giờ hơn bao giờ hết, chúng ta cần xây dựng các mô hình bền bỉ – không chỉ các mô hình chính xác – để nắm bắt được tác động kinh doanh có ý nghĩa theo thời gian. Ví dụ, Kaggle đang tổ chức một cuộc thi để huy động các nhà khoa học dữ liệu trên toàn thế giới giúp xây dựng các giải pháp mô hình để sử dụng trong cuộc chiến toàn cầu chống lại COVID-19. Tôi dự đoán rằng các mô hình thành công nhất được tạo ra từ cuộc thách thức này sẽ là những mô hình bền bỉ nhất, không phải là những mô hình chính xác nhất, vì chúng ta đã thấy dữ liệu COVID-19 có thể thay đổi trong một ngày.

Khoa học dữ liệu nên là về việc tìm kiếm sự thật, không phải là sản xuất “mô hình tốt nhất”. Bằng cách tự đặt ra một tiêu chuẩn cao hơn về tính bền bỉ so với độ chính xác, các nhà khoa học dữ liệu sẽ có thể mang lại nhiều tác động kinh doanh hơn cho các tổ chức của chúng ta và giúp định hình tương lai một cách tích cực.