Andrew Ng chỉ trích văn hóa quá trình học máy và dữ liệu

Andrew Ng, một trong những giọng nói có ảnh hưởng nhất trong lĩnh vực học máy trong thập kỷ qua, hiện đang lên tiếng về mức độ mà lĩnh vực này tập trung vào các đổi mới trong kiến trúc mô hình hơn là dữ liệu – và đặc biệt, mức độ mà nó cho phép các kết quả “quá trình học máy” được mô tả như các giải pháp tổng quát hoặc tiến bộ.

Đây là những chỉ trích rộng rãi về văn hóa học máy hiện tại, xuất phát từ một trong những chuyên gia hàng đầu của nó, và có ý nghĩa đối với niềm tin vào một lĩnh vực bị ảnh hưởng bởi nỗi sợ hãi về sự sụp đổ thứ ba của niềm tin kinh doanh trong phát triển trí tuệ nhân tạo trong không gian sáu mươi năm.

Ng, một giáo sư tại Đại học Stanford, cũng là một trong những người sáng lập deeplearning.ai, và vào tháng 3 đã xuất bản một thư trên trang web của tổ chức đó, trong đó cô đúc kết một phát biểu gần đây của mình thành một số khuyến nghị cốt lõi:

Thứ nhất, rằng cộng đồng nghiên cứu nên ngừng phàn nàn rằng việc làm sạch dữ liệu chiếm 80% thách thức trong học máy, và bắt đầu công việc phát triển các phương pháp và thực hành MLOps mạnh mẽ.

Thứ hai, rằng nó nên chuyển khỏi những “chiến thắng dễ dàng” có thể đạt được bằng cách quá trình học máy dữ liệu đến một mô hình học máy, để nó hoạt động tốt trên mô hình đó nhưng không tổng quát hóa hoặc sản xuất một mô hình có thể triển khai rộng rãi.

Chấp nhận Thử thách của Kiến trúc Dữ liệu và Curation

‘Quan điểm của tôi’, Ng viết, ‘là nếu 80 phần trăm công việc của chúng tôi là chuẩn bị dữ liệu, thì đảm bảo chất lượng dữ liệu là công việc quan trọng của một đội học máy.’

Ông tiếp tục:

‘Thay vì dựa vào các kỹ sư may mắn tìm ra cách cải thiện tốt nhất một tập dữ liệu, tôi hy vọng chúng ta có thể phát triển các công cụ MLOps giúp xây dựng các hệ thống trí tuệ nhân tạo, bao gồm cả xây dựng các tập dữ liệu chất lượng cao, trở nên có thể lặp lại và hệ thống hơn.

‘MLOps là một lĩnh vực mới, và mọi người định nghĩa nó khác nhau. Nhưng tôi nghĩ nguyên tắc tổ chức quan trọng nhất của các đội và công cụ MLOps nên là đảm bảo dòng chảy nhất quán và chất lượng cao của dữ liệu trong tất cả các giai đoạn của một dự án. Điều này sẽ giúp nhiều dự án trở nên suôn sẻ hơn.’

Khi nói trên Zoom tại một phiên hỏi đáp trực tuyến vào cuối tháng 4, Ng đã giải quyết sự thiếu hụt về khả năng áp dụng trong các hệ thống phân tích học máy cho lĩnh vực phóng xạ:

“Thật ra, khi chúng ta thu thập dữ liệu từ Bệnh viện Stanford, sau đó chúng ta đào tạo và kiểm tra trên dữ liệu từ cùng một bệnh viện, thực sự, chúng ta có thể xuất bản các bài báo cho thấy [các thuật toán] tương đương với các bác sĩ phóng xạ trong việc phát hiện các tình trạng nhất định.

“…[Khi] bạn lấy cùng mô hình đó, cùng hệ thống trí tuệ nhân tạo, đến một bệnh viện cũ hơn trên đường, với một máy cũ hơn, và kỹ thuật viên sử dụng một giao thức hình ảnh slightly khác, dữ liệu trôi dạt để gây ra hiệu suất của hệ thống trí tuệ nhân tạo suy giảm đáng kể. Ngược lại, bất kỳ bác sĩ phóng xạ nào cũng có thể đi bộ đến bệnh viện cũ hơn và làm tốt.”

Quá trình học máy không phải là Giải pháp

Quá trình học máy xảy ra khi một mô hình học máy được thiết kế cụ thể để phù hợp với các đặc điểm của một tập dữ liệu cụ thể (hoặc cách dữ liệu được định dạng). Điều này có thể liên quan, chẳng hạn, đến việc chỉ định các trọng số sẽ tạo ra kết quả tốt từ tập dữ liệu đó, nhưng sẽ không “tổng quát hóa” trên các dữ liệu khác.

Trong nhiều trường hợp, các tham số như vậy được định nghĩa trên các khía cạnh “không phải dữ liệu” của tập dữ liệu đào tạo, chẳng hạn như độ phân giải cụ thể của thông tin thu thập được, hoặc các đặc điểm khác không được đảm bảo sẽ tái diễn trên các tập dữ liệu tiếp theo.

Mặc dù điều đó sẽ rất tốt, quá trình học máy không phải là một vấn đề có thể được giải quyết bằng cách mù quáng mở rộng phạm vi hoặc tính linh hoạt của kiến trúc dữ liệu hoặc thiết kế mô hình, khi những gì thực sự cần là các tính năng có thể áp dụng rộng rãi và có ý nghĩa cao sẽ hoạt động tốt trên nhiều môi trường dữ liệu – một thách thức khó khăn hơn.

Thông thường, loại “quá trình học máy” này chỉ dẫn đến các vấn đề mà Ng đã phác thảo gần đây, nơi một mô hình học máy thất bại trên dữ liệu không nhìn thấy. Sự khác biệt trong trường hợp này là mô hình thất bại không phải vì dữ liệu hoặc định dạng dữ liệu khác với tập dữ liệu đào tạo ban đầu, mà vì mô hình quá linh hoạt chứ không quá giòn.

Cuối năm 2020, bài báo Quá trình học máy tạo ra thách thức cho độ tin cậy trong học máy hiện đại đã chỉ trích gay gắt việc thực hành này, và có tên của không dưới bốn mươi nhà nghiên cứu và nhà khoa học về học máy từ Google và MIT, trong số các tổ chức khác.

Bài báo chỉ trích ‘học máy nhanh’, và quan sát cách các mô hình không được chỉ định rõ ràng có thể đi theo các hướng điên rồ dựa trên điểm khởi đầu ngẫu nhiên mà quá trình đào tạo mô hình bắt đầu. Các tác giả nhận xét:

‘Chúng tôi đã thấy rằng quá trình học máy là phổ biến trong các đường ống học máy thực tế trên nhiều lĩnh vực. Thực tế, nhờ quá trình học máy, các khía cạnh quan trọng của quyết định được xác định bởi các lựa chọn tùy ý như hạt ngẫu nhiên được sử dụng để khởi tạo tham số.’

Tác động Kinh tế của Việc Thay đổi Văn hóa

Mặc dù có bằng cấp học thuật, Ng không phải là một học giả lý thuyết, mà có kinh nghiệm sâu sắc và cấp cao trong ngành công nghiệp với tư cách là đồng sáng lập của Google Brain và Coursera, cựu trưởng khoa khoa học dữ liệu và trí tuệ nhân tạo tại Baidu, và là người sáng lập của Landing AI, điều hành 175 triệu USD cho các startup mới trong lĩnh vực này.

Khi ông nói “Toàn bộ trí tuệ nhân tạo, không chỉ y tế, có một khoảng cách từ chứng minh khái niệm đến sản xuất”, điều đó được coi là một lời gọi醒 cho một lĩnh vực mà mức độ cường điệu và lịch sử lốm đốm của nó ngày càng mô tả nó như một khoản đầu tư kinh doanh không chắc chắn về lâu dài, bị ảnh hưởng bởi các vấn đề về định nghĩa và phạm vi.

Tuy nhiên, các hệ thống học máy độc quyền hoạt động tốt trong môi trường và thất bại trong các môi trường khác đại diện cho loại chiếm lĩnh thị trường có thể mang lại lợi nhuận cho đầu tư công nghiệp. Việc trình bày ‘vấn đề quá trình học máy’ trong bối cảnh của một nguy cơ nghề nghiệp cung cấp một cách thức không trung thực để tài trợ cho đầu tư công ty vào nghiên cứu mã nguồn mở, và để tạo ra (hiệu quả) các hệ thống độc quyền nơi việc sao chép của các đối thủ cạnh tranh là có thể, nhưng gặp vấn đề.

Liệu phương pháp này có hiệu quả trong dài hạn hay không phụ thuộc vào mức độ mà các đột phá thực sự trong học máy tiếp tục đòi hỏi các mức đầu tư ngày càng lớn, và liệu tất cả các sáng kiến sản xuất có phải sẽ di chuyển đến FAANG đến một mức độ nào đó, do các nguồn lực khổng lồ cần thiết cho việc lưu trữ và hoạt động.