Tại sao mô hình của bạn chỉ học những gì nhãn dạy cho nó

Một mô hình có giám sát không học về thế giới; nó học các nhãn mà một nhóm người gán nhãn đã chỉ định cho các pixel. Nếu các nhãn đó không đồng nhất, làm mờ ranh giới danh mục, hoặc bỏ qua các khung khó, mô hình sẽ hấp thụ sự nhầm lẫn đó như là thực tế. Đây là lý do tại sao gán nhãn dữ liệu tập trung vào chất lượng, chứ không phải số lượng hình ảnh đã gán nhãn, mới đặt giới hạn trên cho những gì một mô hình thị giác máy tính (CV) có thể đạt được. Việc huấn luyện lâu hơn và tăng tham số sẽ không vượt qua trần mà các nhãn đã định nghĩa.

Giới hạn được đặt trước khi bắt đầu huấn luyện

Hãy nghĩ bộ nhãn như chìa khóa đáp án. Một sinh viên được chấm dựa trên chìa khóa lỗi sẽ học được những sai sót. Nghiên cứu của MIT và Amazon đã chứng minh hiệu ứng này khi họ sửa lại nhãn trên ImageNet và CIFAR-10: thứ hạng các mô hình thay đổi đáng kể. NasNet rơi từ vị trí thứ nhất xuống thứ 29 trong số 34 kiến trúc ImageNet, trong khi ResNet‑18 nhỏ hơn nhiều lại leo lên vị trí đầu tiên. Các mô hình có khả năng cao hơn đã được thưởng cho việc ghi nhớ nhiễu, chứ không phải hiểu hình ảnh.

Sự đảo ngược này mang lại một cảnh báo thực tiễn. Các chuẩn mực hướng dẫn lựa chọn kiến trúc có thể dẫn lối sai khi nhãn nền tảng của chúng sai. Các nhóm ăn mừng mức tăng độ chính xác hai điểm mà sau khi ai đó làm sạch tập kiểm tra lại biến mất hoặc thậm chí đảo ngược. Đó không phải là lợi ích của mô hình; nó nằm trong quá trình gán nhãn.

Chất lượng nhãn tác động âm thầm tới mọi thứ phía sau. Nếu bạn cắt giảm ở đây, mọi quyết định sau này, từ kiến trúc tới tìm kiếm siêu tham số, sẽ kế thừa một tín hiệu bị lỗi. Thậm chí, sự lỗi này không hiện ra trên các bảng điều khiển thông thường, vì các chỉ số phơi bày lỗi được tính dựa trên cùng những nhãn sai.

Tại sao thêm dữ liệu hiếm khi giải quyết vấn đề

Khi độ chính xác bế tắc, bản năng thường là gán nhãn thêm nhiều hình ảnh. Điều này cảm giác như tiến bộ, nhưng thường không phải. Nhãn nhiễu không tự trung bình hoá khi quy mô tăng; chúng dạy một thiên kiến nhất quán. Một mô hình được huấn luyện trên 100.000 khung mà trong đó “xe tải” và “xe tải nhẹ” được phân chia không nhất quán sẽ học được sự không nhất quán đó, rồi tái tạo nó một cách tự tin trong môi trường thực tế.

Chế độ thất bại này dễ dự đoán. Điểm kiểm chứng trông khỏe mạnh vì tập kiểm chứng mang cùng lỗi nhãn như tập huấn luyện. Mô hình trông sẵn sàng. Sau đó, độ thu hồi trên các trường hợp “đuôi dài” sụp đổ, các dương tính giả tăng, và nhóm phải dành hàng tuần để tái huấn luyện mà không bao giờ xác định nguyên nhân thực sự. Thực tế, đa số các dự án AI sinh ra sẽ bị bỏ dở sau giai đoạn chứng minh khái niệm do chất lượng dữ liệu kém. Nguyên nhân gốc tương tự âm thầm làm chậm các dự án CV không bao giờ tới thông cáo báo chí.

Khối lượng dữ liệu cũng mang chi phí. Mỗi hình ảnh nhiễu bổ sung làm tăng chi phí gán nhãn, lưu trữ và thời gian huấn luyện mà không nâng độ chính xác. Gán nhãn ưu tiên chất lượng đảo ngược phép tính này. Một bộ dữ liệu nhỏ hơn, sạch hơn, được xét duyệt kỹ lưỡng thường thắng bộ dữ liệu lớn hơn nhưng lộn xộn, vì mô hình dùng khả năng của mình để học nhiệm vụ thay vì giải mã các chỉ dẫn mâu thuẫn.

Nhất quán là sản phẩm thực sự của dịch vụ gán nhãn ảnh

Những nhà cung cấp nghiêm túc bán sự nhất quán, không phải số lượng nhân sự. Sự khác biệt này quan trọng vì hai người gán nhãn nhìn cùng một ranh giới mơ hồ sẽ vẽ ra hai cách khác nhau nếu không có quy tắc viết rõ. Khi sự không đồng nhất này lan rộng trong một đội lớn, bộ dữ liệu sẽ chứa các mâu thuẫn nội bộ mà mô hình không bao giờ có thể giải quyết.

Nhất quán có thể đo lường, và các nhà cung cấp đáng trả tiền áp dụng các con số để kiểm soát. Thống kê đồng thuận giữa các annotator (IAA), thường được báo cáo dưới dạng hệ số alpha của Krippendorff hoặc kappa của Cohen, định lượng tần suất các annotator độc lập đưa ra cùng một quyết định cho cùng một mục. Các đội sản xuất thường đặt mục tiêu alpha trên 0,8, và công việc an toàn quan trọng còn yêu cầu cao hơn. Khi đồng thuận giảm, đó là tín hiệu các hướng dẫn còn mơ hồ, không phải annotator vô trách nhiệm.

Các dịch vụ gán nhãn ảnh tốt xây dựng nhiều kiểm soát vào quy trình:

• Hướng dẫn gán nhãn chi tiết: Tài liệu sống giải quyết các trường hợp biên bằng ví dụ, không chỉ là định nghĩa một dòng cho mỗi lớp.

• Nhiệm vụ chuẩn vàng: Các mục đã được gán nhãn trước được chèn vào hàng đợi để độ chính xác của mỗi annotator được theo dõi liên tục so với câu trả lời đã biết.

• Đánh giá đa vòng và xét duyệt: Một annotator thứ hai hoặc một reviewer cấp cao giải quyết các bất đồng, và kết quả này lại được đưa trở lại vào hướng dẫn.

• Phiên bản dữ liệu: Mọi thay đổi về nhãn hoặc quy tắc đều được ghi lại, vì vậy khi độ chính xác của mô hình giảm có thể truy nguyên tới phiên bản gây ra.

Không có kiểm soát nào trong số này là lộng lẫy. Tuy nhiên, chúng quyết định liệu bộ dữ liệu có dạy một khái niệm sạch sẽ hay một khái niệm lộn xộn. Một nhà cung cấp không thể trình bày số liệu IAA hoặc quy trình xét duyệt của mình đang bán “clicks”, chứ không phải “ground truth”.

Trường hợp biên là nơi các mô hình âm thầm thất bại

Độ chính xác trung bình là một lời nói dối an ủi. Một mô hình nhận dạng có thể đạt 95 % tổng thể nhưng vẫn bỏ lỡ người đi bộ vào lúc hoàng hôn, sản phẩm bị một phần che khuất trên kệ bừa bộn, hoặc khối u ở rìa ảnh quét. Những khung hiếm, khó chính là những khung mà annotator vội vàng hoặc bỏ qua, và cũng chính là những khung quan trọng nhất trong thực tiễn.

Trường hợp biên chống lại việc gán nhãn một cách thoải mái vì chúng yêu cầu phán đoán. Khi nào một bounding box kết thúc nếu một chiếc xe chỉ hiện ra một nửa phía sau một chiếc xe buýt? Phản chiếu có được tính là đối tượng không? Một vạch kẻ làn đường hầu như không nhìn thấy trong mưa to được gán nhãn như thế nào? Nếu không có quy tắc rõ ràng, mỗi annotator sẽ tự quyết định, và bộ dữ liệu sẽ đầy những mâu thuẫn âm thầm trên chính những đầu vào làm hỏng hệ thống đã triển khai.

Một khảo sát McKinsey State of AI cho thấy sự không chính xác là hậu quả tiêu cực được báo cáo nhiều nhất về AI, được khoảng 30 % tổ chức sử dụng AI nêu ra. Phần lớn sự không chính xác này sinh ra ở “đuôi” của phân phối, nơi dữ liệu huấn luyện thưa thớt và việc gán nhãn còn lỏng lẻo. Thực hành gán nhãn trưởng thành coi các trường hợp biên là công việc hạng nhất: chúng được định nghĩa, lấy mẫu vượt mức, chuyển cho các annotator cấp cao, và đo lường đồng thuận riêng biệt so với phần lớn dễ dàng. Giới hạn hiệu suất thực tế được quyết định bởi cách 5 % khó khăn được gán nhãn, chứ không phải 95 % dễ dàng.

Bài học về quy trình ẩn sau thống kê này. Trường hợp biên là giáo viên nhanh nhất cho những khoảng trống trong hướng dẫn, vì vậy các pipeline mạnh mẽ sẽ phát hiện chúng sớm thay vì chôn vùi trong một lô đã hoàn thành. Khi một annotator đánh dấu một khung là thực sự mơ hồ, dấu hiệu đó là tín hiệu, không phải ma sát. Nó hé lộ một quy tắc mà hướng dẫn chưa ghi lại. Các nhóm nắm bắt những khoảnh khắc này, giải quyết chúng ở cấp hướng dẫn và gán lại nhãn cho các khung liên quan sẽ xây dựng bộ dữ liệu không ngừng cải thiện. Các nhóm chỉ thưởng cho tốc độ sẽ dạy annotator đoán, và một đoán tự tin không thể phân biệt với “ground truth” cho đến khi mô hình thất bại trước khách hàng.

Điểm khác biệt giữa công ty gán nhãn ảnh nghiêm túc và công ty giá rẻ

Chi phí mỗi nhãn không phải là tiêu chí đúng. Giá rẻ thường báo hiệu một quy trình tối ưu cho tốc độ, nơi các khoản thưởng tốc độ khiến annotator nhanh chóng đóng các khung mơ hồ thay vì gán đúng. Hóa đơn sẽ đến sau, dưới dạng lỗi mô hình tốn kém để chẩn đoán và chậm trễ để sửa chữa.

Một công ty gán nhãn ảnh đáng tin cậy cạnh tranh dựa trên hệ thống chất lượng quanh công việc. Khi đánh giá đối tác, hãy cân nhắc các cơ chế thực sự nâng cao chất lượng nhãn:

• Đào tạo và hiệu chuẩn: Cách mà các annotator được huấn luyện theo phân loại riêng của bạn trước khi tiếp cận dữ liệu sản xuất.
• Chỉ số chất lượng minh bạch: IAA, độ chính xác bộ chuẩn vàng, và tỷ lệ tái làm được báo cáo theo lô, không chỉ tổng hợp một lần cuối.
• Phù hợp ngành: Các annotator hiểu về hình ảnh y tế, ảnh địa không gian cho kế hoạch thành phố thông minh, hoặc các tín hiệu lái xe tự động, vì ngữ cảnh thay đổi ý nghĩa của một nhãn đúng.
• Vòng phản hồi: Kênh mà các trường hợp mơ hồ được đưa trở lại cho đội của bạn, tinh chỉnh hướng dẫn và quay lại hàng đợi.
• Định hướng bảo mật và tuân thủ: Kiểm soát SOC 2, quản lý truy cập, và xử lý dữ liệu khu vực khi dữ liệu được quy định.

Điểm cuối cùng này cần được cân nhắc khi hình ảnh bao gồm khuôn mặt, ảnh y tế, hoặc bất kỳ dữ liệu cá nhân nào. Gán nhãn di chuyển dữ liệu nhạy cảm qua lực lượng nhân lực, vì vậy quản trị là một phần của sản phẩm, không phải chú thích phụ.

Quyết định khi nào nên thuê ngoài gán nhãn ảnh

Xây dựng một đội gán nhãn nội bộ mang lại kiểm soát chặt chẽ và kiến thức chuyên sâu về lĩnh vực, nhưng lại mở rộng chậm và chịu chi phí cố định trong thời kỳ yên ủ. Thuê ngoài gán nhãn ảnh đổi một số kiểm soát trực tiếp sang khả năng mở rộng linh hoạt, công cụ chất lượng đã được thiết lập, và lực lượng có thể tăng mạnh cho một phiên bản lớn rồi thu hẹp lại sau.

Quyết định này phụ thuộc vào lợi thế thực sự của đội. Hầu hết các nhóm CV được tuyển dụng để thiết kế mô hình và đưa sản phẩm ra thị trường, không phải để vận hành một hoạt động gán nhãn với chi phí tuyển dụng, đào tạo và kiểm soát chất lượng riêng. Đối với họ, việc thuê ngoài dịch vụ gán nhãn ảnh giúp các kỹ sư cấp cao không phải quản lý hàng đợi annotator và cho phép một chuyên gia chịu trách nhiệm các yếu tố quyết định chất lượng nhãn.

Tuy nhiên, thuê ngoài chỉ có lợi khi đối tác được chọn vì hệ thống chất lượng chứ không chỉ vì mức giá. Một nhà cung cấp coi hướng dẫn, xét duyệt và phiên bản dữ liệu là sản phẩm cốt lõi thực chất là một “bảo hiểm” cho sự sẵn sàng AI. Một nhà cung cấp coi chúng là tùy chọn thì là một rủi ro mang giá rẻ.

Yêu cầu một dự án thí điểm trả phí trên 500 khung khó nhất của bạn, không phải bản demo trên những khung dễ. Đo lường IAA, tự kiểm tra các trường hợp biên, và xem nhà cung cấp có đưa ra những câu hỏi sắc bén về phân loại của bạn không. Những nhà cung cấp tốt luôn làm như vậy.

Dự án thí điểm cũng sẽ tiết lộ điều mà bảng giá không bao giờ cho thấy: cách đối tác xử lý bất đồng. Gửi cùng 500 khung cho hai annotator độc lập và xem các xung đột. Khi bất đồng tập trung vào một lớp, đó là dấu hiệu định nghĩa trong hướng dẫn còn mơ hồ, mà nhà cung cấp nên phát hiện và đặt câu hỏi. Khi bất đồng rải rác, ngẫu nhiên, đó là dấu hiệu lực lượng làm việc quá nhanh hoặc chưa được đào tạo đầy đủ. Một đối tác trả lại thí điểm kèm bản dự thảo hướng dẫn đã chỉnh sửa và danh sách các trường hợp mơ hồ đang cho bạn thấy hệ thống sẽ bảo vệ mô hình của bạn sau này. Một đối tác chỉ trả lại nhãn đã hoàn thành và hoá đơn thì chỉ cho bạn thấy tốc độ. Hãy đọc kỹ sự khác biệt này, vì nó dự đoán mọi lô tiếp theo.

Giới hạn là một lựa chọn

Mô hình chỉ học những gì nhãn dạy cho nó, và câu đơn này nên thay đổi cách các đội CV dự trù ngân sách. Giới hạn trên của độ chính xác được cố định ở giai đoạn gán nhãn, lâu trước khi epoch đầu tiên chạy, dựa trên mức độ nhất quán khi gán nhãn các trường hợp khó và cách đo lường sự nhất quán đó. Các dịch vụ gán nhãn ảnh chất lượng cao giải mã dữ liệu hình ảnh phức tạp không phải là mục chi phí cần giảm thiểu; chúng là công cụ quyết định mức trần mà mọi thứ khác hoạt động dưới. Các nhà cung cấp chuyên nghiệp tiếp cận việc gán nhãn như một hệ thống chất lượng đo lường dựa trên hướng dẫn rõ ràng, theo dõi sự đồng thuận, và kỷ luật với các trường hợp biên thông qua dịch vụ gán nhãn ảnh của họ. Khi các mô hình trở nên khao khát hơn và bộ dữ liệu ngày càng lớn, những đội thắng cuộc sẽ là những đội đã quyết định, một cách có chủ đích, nâng cao trần của mình trước tiên.