Khuôn Mặt Tổng Hợp ‘Hư Hỏng’ Có Thể Giúp Cải Thiện Nhận Dạng Hình Ảnh Khuôn Mặt

Những nhà nghiên cứu từ Đại học Tiểu Bang Michigan đã nghĩ ra một cách để khuôn mặt tổng hợp có thể nghỉ ngơi khỏi cảnh deepfake và làm điều gì đó tốt cho thế giới – bằng cách giúp các hệ thống nhận dạng hình ảnh trở nên chính xác hơn.

Module tổng hợp khuôn mặt có thể điều khiển (CFSM) mà họ đã tạo ra có khả năng tái tạo khuôn mặt theo phong cách của cảnh quay giám sát video thực tế, thay vì dựa vào những hình ảnh chất lượng cao hơn được sử dụng trong các tập dữ liệu mã nguồn mở phổ biến của các ngôi sao điện ảnh, những tập dữ liệu này không phản ánh tất cả các khiếm khuyết và hạn chế của các hệ thống CCTV thực sự, chẳng hạn như mờ khuôn mặt, độ phân giải thấp và nhiễu cảm biến – các yếu tố có thể ảnh hưởng đến độ chính xác của nhận dạng.

Kiến trúc khái niệm cho Module Tổng hợp Khuôn Mặt Có thể Điều khiển (CFSM). Nguồn: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022.pdf

CFSM không được thiết kế cụ thể để mô phỏng các tư thế đầu, biểu cảm hoặc các đặc điểm khác thường là mục tiêu của các hệ thống deepfake, mà để tạo ra một loạt các góc nhìn thay thế theo phong cách của hệ thống nhận dạng mục tiêu, sử dụng chuyển đổi phong cách.

Hệ thống được thiết kế để bắt chước phong cách miền của hệ thống mục tiêu và thích nghi đầu ra của nó theo độ phân giải và phạm vi ‘đặc điểm’ trong đó. Trường hợp sử dụng bao gồm các hệ thống cũ không thể nâng cấp do chi phí, nhưng hiện tại có thể đóng góp rất ít cho thế hệ mới của công nghệ nhận dạng khuôn mặt, do chất lượng đầu ra kém có thể đã từng là công nghệ hàng đầu.

Khi thử nghiệm hệ thống, các nhà nghiên cứu đã tìm thấy rằng nó đã đạt được những lợi ích đáng kể về trạng thái của nghệ thuật trong các hệ thống nhận dạng hình ảnh phải đối phó với loại dữ liệu nhiễu và chất lượng thấp này.

Huấn luyện các mô hình nhận dạng khuôn mặt để thích nghi với các hạn chế của các hệ thống mục tiêu. Nguồn: http://cvlab.cse.msu.edu/pdfs/Liu_Kim_Jain_Liu_ECCV2022_supp.pdf

Họ cũng tìm thấy một sản phẩm phụ hữu ích của quá trình – rằng các tập dữ liệu mục tiêu hiện có thể được đặc trưng và so sánh với nhau, làm cho việc so sánh, tạo chuẩn và tạo tập dữ liệu tùy chỉnh cho các hệ thống CCTV khác nhau dễ dàng hơn trong tương lai.

Hơn nữa, phương pháp này có thể được áp dụng cho các tập dữ liệu hiện có, thực hiện điều chỉnh miền de facto và làm cho chúng phù hợp hơn với các hệ thống nhận dạng khuôn mặt.

Bài báo mới có tiêu đề Tổng hợp và Hướng dẫn Khuôn Mặt Có thể Điều khiển cho Nhận Dạng Khuôn Mặt Không Giới Hạn, được hỗ trợ một phần bởi Văn phòng Giám đốc Tình báo Quốc gia (ODNI, tại IARPA), và đến từ bốn nhà nghiên cứu tại Bộ phận Khoa học và Kỹ thuật Máy tính tại MSU.

Nội Dung Được Chọn Lọc

Nhận dạng khuôn mặt chất lượng thấp (LQFR) đã trở thành một lĩnh vực nghiên cứu đáng chú ý trong những năm gần đây. Bởi vì các cơ quan dân sự và đô thị xây dựng các hệ thống giám sát video để có khả năng chống chịu và lâu dài (không muốn phân bổ lại nguồn lực cho vấn đề này định kỳ), nhiều mạng giám sát ‘lỗi thời’ đã trở thành nạn nhân của nợ kỹ thuật, về khả năng thích nghi của chúng như nguồn dữ liệu cho học máy.

Các mức độ phân giải khuôn mặt khác nhau trên một loạt các hệ thống giám sát video lịch sử và gần đây. Nguồn: https://arxiv.org/pdf/1805.11519.pdf

May mắn thay, đây là một nhiệm vụ mà các mô hình khuếch tán và các mô hình dựa trên nhiễu khác được thích nghi đặc biệt để giải quyết. Nhiều hệ thống tổng hợp hình ảnh phổ biến và hiệu quả nhất trong những năm gần đây thực hiện làm sắc nét các hình ảnh độ phân giải thấp như một phần của đường ống của chúng, trong khi điều này cũng là tuyệt đối cần thiết cho các kỹ thuật nén thần kinh (phương pháp để lưu hình ảnh và phim dưới dạng dữ liệu thần kinh thay vì dữ liệu bitmap).

Phần của thách thức nhận dạng khuôn mặt là để có được độ chính xác tối đa có thể từ số lượng đặc điểm tối thiểu có thể được trích xuất từ các hình ảnh độ phân giải thấp và ít hứa hẹn nhất. Hạn chế này tồn tại không chỉ vì nó hữu ích để có thể xác định (hoặc tạo) một khuôn mặt ở độ phân giải thấp, mà còn vì các hạn chế kỹ thuật về kích thước hình ảnh có thể đi qua không gian潜 ẩn đang nổi lên của một mô hình được đào tạo trong bất kỳ VRAM nào có sẵn trên một GPU cục bộ.

Trong ý nghĩa này, thuật ngữ ‘đặc điểm’ là gây nhầm lẫn, vì các đặc điểm như vậy cũng có thể được lấy từ một tập dữ liệu của các băng ghế công viên. Trong lĩnh vực thị giác máy tính, ‘đặc điểm’ đề cập đến các đặc điểm phân biệt được lấy từ hình ảnh – bất kỳ hình ảnh, cho dù đó là các đường nét của một nhà thờ, một ngọn núi, hay sự sắp xếp của đặc điểm khuôn mặt trong một tập dữ liệu khuôn mặt.

Vì các thuật toán thị giác máy tính hiện nay đã thành thạo trong việc làm sắc nét hình ảnh và video, các phương pháp khác nhau đã được đề xuất để ‘cải thiện’ vật liệu giám sát cũ hoặc bị suy giảm, đến mức có thể sử dụng các bản tăng cường như vậy cho mục đích pháp lý, chẳng hạn như đặt một người cụ thể tại một hiện trường, liên quan đến một cuộc điều tra tội phạm.

Ngoài khả năng nhận dạng sai, điều đã thỉnh thoảng thu hút tiêu đề, về mặt lý thuyết, không nên cần thiết phải siêu phân giải hoặc biến đổi hình ảnh độ phân giải thấp để thực hiện nhận dạng tích cực của một cá nhân, vì một hệ thống nhận dạng khuôn mặt dựa trên các đặc điểm mức thấp nên không cần mức độ phân giải và độ rõ ràng đó. Hơn nữa, các biến đổi như vậy là tốn kém trong thực tế và đặt ra các câu hỏi bổ sung, lặp đi lặp lại về tính hợp lệ và tính hợp pháp tiềm năng của chúng.

Sự Cần Thiết Của Nhiều ‘Ngôi Sao’ ‘Đầu Gối’

Sẽ hữu ích hơn nếu một hệ thống nhận dạng khuôn mặt có thể suy dẫn đặc điểm (tức là đặc điểm học máy của đặc điểm con người) từ đầu ra của các hệ thống cũ như chúng đang có, bằng cách hiểu rõ hơn mối quan hệ giữa ‘độ phân giải cao’ danh tính và các hình ảnh bị suy giảm có sẵn trong các khuôn khổ giám sát video hiện có và không thể thay thế.

Vấn đề ở đây là một vấn đề về tiêu chuẩn: các tập dữ liệu thu thập trên web phổ biến như MS-Celeb-1M và WebFace260M (trong số nhiều tập dữ liệu khác), đã được nắm bắt bởi cộng đồng nghiên cứu vì chúng cung cấp các điểm chuẩn nhất quán mà các nhà nghiên cứu có thể đo lường tiến bộ tăng dần hoặc lớn của họ so với trạng thái hiện tại của nghệ thuật.

Ví dụ từ tập dữ liệu MS-Celeb1m phổ biến của Microsoft. Nguồn: https://www.microsoft.com/en-us/research/project/ms-celeb-1m-challenge-recognizing-one-million-celebrities-real-world/

Tuy nhiên, các tác giả cho rằng các thuật toán nhận dạng khuôn mặt (FR) được đào tạo trên các tập dữ liệu này không phù hợp với ‘miền’ trực quan của đầu ra từ nhiều hệ thống giám sát cũ.

Bài báo nêu:

‘[Trạng thái của nghệ thuật] (SoTA) mô hình FR không hoạt động tốt trên hình ảnh giám sát thực tế (không giới hạn) do vấn đề chuyển đổi miền, tức là các tập dữ liệu đào tạo lớn (bán giới hạn) thu được thông qua khuôn mặt của người nổi tiếng thu thập trên web thiếu sự thay đổi trong tự nhiên, chẳng hạn như nhiễu cảm biến, độ phân giải thấp, mờ chuyển động, hiệu ứng xoáy, v.v.

‘Ví dụ, độ chính xác xác minh 1: 1 được báo cáo bởi một trong các mô hình SoTA trên tập dữ liệu IJB-S không giới hạn là khoảng 30% thấp hơn so với trên tập dữ liệu LFW bán giới hạn.

‘Một biện pháp khắc phục tiềm năng cho khoảng cách hiệu suất như vậy là xây dựng một tập dữ liệu khuôn mặt không giới hạn lớn. Tuy nhiên, xây dựng một tập dữ liệu đào tạo như vậy với hàng chục nghìn đối tượng là cực kỳ khó khăn với chi phí ghi nhãn thủ công cao.’

Bài báo kể lại các phương pháp trước đó đã cố gắng ‘khớp’ các loại đầu ra khác nhau từ các hệ thống giám sát lịch sử hoặc thấp, nhưng lưu ý rằng những phương pháp này đã xử lý các ‘bổ sung mù’. Ngược lại, CFSM nhận được phản hồi trực tiếp từ đầu ra thực tế của hệ thống mục tiêu trong quá trình đào tạo và thích nghi với miền của nó thông qua chuyển đổi phong cách.

Diễn viên Natalie Portman, không xa lạ với số lượng tập dữ liệu thống trị cộng đồng thị giác máy tính, xuất hiện trong số các danh tính trong ví dụ này về CFSM thực hiện điều chỉnh miền theo phong cách dựa trên phản hồi từ miền của mô hình mục tiêu thực sự.

Kiến trúc được thiết kế bởi các tác giả sử dụng Phương pháp Ký hiệu Gradient Nhanh (FGSM) để cá nhân hóa và ‘nhập’ các phong cách và đặc điểm thu được từ đầu ra thực sự của hệ thống mục tiêu. Phần của đường ống dành cho việc tạo hình ảnh sẽ cải thiện và trở nên trung thực hơn với hệ thống mục tiêu với quá trình đào tạo. Phản hồi này từ không gian phong cách thấp chiều của hệ thống mục tiêu là thấp cấp và tương ứng với các mô tả trực quan rộng nhất được suy dẫn.

Các tác giả nhận xét:

‘Với phản hồi từ mô hình FR, các hình ảnh được tổng hợp có lợi hơn cho hiệu suất FR, dẫn đến khả năng tổng quát hóa đáng kể của các mô hình FR được đào tạo với chúng.’

Thử Nghiệm

Các nhà nghiên cứu đã sử dụng công việc trước của MSU như một mẫu cho việc thử nghiệm hệ thống của họ. Dựa trên cùng một giao thức thử nghiệm, họ đã sử dụng MS-Celeb-1m, bao gồm độc quyền các bức ảnh của người nổi tiếng thu thập trên web, như tập dữ liệu đào tạo có nhãn. Để công bằng, họ cũng bao gồm MS1M-V2, chứa 3,9 triệu hình ảnh với 85.700 lớp.

Dữ liệu mục tiêu là tập dữ liệu WiderFace, từ Đại học Hồng Kông. Đây là một tập hợp hình ảnh đa dạng được thiết kế cho các nhiệm vụ phát hiện khuôn mặt trong các tình huống thách thức. 70.000 hình ảnh từ tập dữ liệu này đã được sử dụng.

Để đánh giá, hệ thống đã được thử nghiệm chống lại bốn điểm chuẩn nhận dạng khuôn mặt: IJB-B, IJB-C, IJB-S và TinyFace.

CFSM đã được đào tạo với ∼10% dữ liệu đào tạo từ MS-Celeb-1m, khoảng 0,4 triệu hình ảnh, trong 125.000 lần lặp lại với kích thước batch 32 dưới bộ tối ưu hóa Adam với tốc độ học rất thấp là 1e-4.

Mô hình nhận dạng khuôn mặt mục tiêu sử dụng một sự điều chỉnh của ResNet-50 cho phần lõi, với hàm mất ArcFace được kích hoạt trong quá trình đào tạo. Ngoài ra, một mô hình đã được đào tạo với CFSM như một bài tập cắt bỏ và so sánh (được ghi chú là ‘ArcFace’ trong bảng kết quả dưới đây).

Kết quả từ các thử nghiệm chính cho CFSM. Các số cao hơn là tốt hơn.

Các tác giả nhận xét về kết quả chính:

‘Mô hình ArcFace vượt trội so với tất cả các mô hình cơ sở trong cả nhiệm vụ nhận dạng và xác minh khuôn mặt, và đạt được hiệu suất mới của trạng thái của nghệ thuật.’

Khả năng trích xuất miền từ các đặc điểm khác nhau của các hệ thống giám sát cũ hoặc không đủ tiêu chuẩn cũng cho phép các tác giả so sánh và đánh giá sự tương đồng phân phối giữa các khuôn khổ này và trình bày từng hệ thống theo phong cách trực quan có thể được tận dụng trong các công việc tiếp theo.

Ví dụ từ các tập dữ liệu khác nhau thể hiện sự khác biệt rõ ràng về phong cách.

Các tác giả lưu ý thêm rằng hệ thống của họ có thể tận dụng một số công nghệ mà đến nay đã được coi là những vấn đề cần được giải quyết bởi cộng đồng nghiên cứu và thị giác:

‘[CFSM] cho thấy rằng việc thao túng đối thủ có thể vượt ra ngoài việc trở thành một kẻ tấn công, và phục vụ để tăng độ chính xác nhận dạng trong các nhiệm vụ thị giác. Trong khi đó, chúng tôi định nghĩa một chỉ số tương tự của tập dữ liệu dựa trên các cơ sở phong cách được học, những thứ này nắm bắt sự khác biệt về phong cách theo cách không phụ thuộc vào nhãn hoặc dự đoán.’

‘Chúng tôi tin rằng nghiên cứu của chúng tôi đã trình bày sức mạnh của một mô hình tổng hợp khuôn mặt có thể điều khiển và hướng dẫn cho nhận dạng khuôn mặt không giới hạn và cung cấp sự hiểu biết về sự khác biệt của tập dữ liệu.’

* Tôi đã chuyển đổi các trích dẫn nội tuyến của tác giả thành liên kết.

Được xuất bản lần đầu vào ngày 1 tháng 8 năm 2022.