Xác thực khuôn mặt ‘Sáng tạo’ với Mạng đối kháng sinh

Một bài báo mới từ Đại học Stanford đã đề xuất một phương pháp mới để đánh lừa hệ thống xác thực khuôn mặt trên các nền tảng như ứng dụng hẹn hò, bằng cách sử dụng Mạng đối kháng sinh (GAN) để tạo ra các hình ảnh khuôn mặt thay thế chứa thông tin ID thiết yếu giống như một khuôn mặt thực.

Phương pháp này đã thành công trong việc vượt qua quá trình xác thực khuôn mặt trên các ứng dụng hẹn hò Tinder và Bumble, trong một trường hợp thậm chí còn vượt qua khuôn mặt được chuyển đổi giới tính (nam) như một khuôn mặt đích thực của danh tính nguồn (nữ).

Các bản sắc được tạo ra khác nhau có tính năng mã hóa cụ thể của tác giả bài báo (được giới thiệu trong hình ảnh đầu tiên trên). Nguồn: https://arxiv.org/pdf/2203.15068.pdf

Theo tác giả, công việc này đại diện cho nỗ lực đầu tiên để vượt qua xác thực khuôn mặt bằng cách sử dụng hình ảnh được tạo ra có tính năng mã hóa cụ thể, nhưng cố gắng thể hiện một bản sắc thay thế hoặc thay đổi đáng kể.

Phương pháp này đã được thử nghiệm trên một hệ thống xác thực khuôn mặt tùy chỉnh và sau đó thực hiện tốt trong các thử nghiệm hộp đen chống lại hai ứng dụng hẹn hò thực hiện xác thực khuôn mặt trên hình ảnh được người dùng tải lên.

Bài báo mới này có tiêu đề Xác thực khuôn mặt Bypass, và đến từ Sanjana Sarda, một nhà nghiên cứu tại Bộ phận Điện tử của Đại học Stanford.

Kiểm soát không gian khuôn mặt

Mặc dù ‘tiêm’ các tính năng cụ thể của ID (tức là từ khuôn mặt, biển báo đường, v.v.) vào hình ảnh được tạo ra là một phần quan trọng của các cuộc tấn công đối kháng, nhưng nghiên cứu mới này đề xuất một điều khác: rằng khả năng ngày càng tăng của lĩnh vực nghiên cứu để kiểm soát không gian tiềm ẩn của GAN sẽ cuối cùng cho phép phát triển các kiến trúc có thể tạo ra đồng nhất các bản sắc thay thế cho người dùng – và hiệu quả, cho phép trích xuất các tính năng của ID từ hình ảnh có sẵn trên web của người dùng không nghi ngờ để hợp nhất vào một ‘bản sắc bóng tối’ được tạo ra.

Đồng nhất và khả năng điều hướng đã là những thách thức chính liên quan đến không gian tiềm ẩn của GAN từ khi bắt đầu các Mạng đối kháng sinh. Một GAN đã thành công trong việc hấp thụ một tập hợp các hình ảnh đào tạo vào không gian tiềm ẩn của nó cung cấp không có bản đồ dễ dàng để ‘đẩy’ các tính năng từ một lớp này sang lớp khác.

Mặc dù các kỹ thuật và công cụ như Gradient-weighted Class Activation Mapping (Grad-CAM) có thể giúp thiết lập các hướng tiềm ẩn giữa các lớp đã được thiết lập, và cho phép các chuyển đổi (xem hình ảnh dưới đây), thách thức tiếp theo của sự tách biệt thường làm cho một ‘hành trình gần đúng’, với khả năng kiểm soát chuyển đổi hạn chế.

Một hành trình gần đúng giữa các vectơ được mã hóa trong không gian tiềm ẩn của GAN, đẩy một bản sắc nam được dẫn xuất từ dữ liệu vào các mã hóa ‘nữ’ trên phía bên kia của một trong nhiều siêu phẳng tuyến tính trong không gian tiềm ẩn phức tạp và huyền bí. Hình ảnh được dẫn xuất từ tài liệu tại https://www.youtube.com/watch?v=dCKbRCUyop8

Khả năng ‘đông lạnh’ và bảo vệ các tính năng cụ thể của ID trong khi di chuyển chúng vào các mã hóa chuyển đổi khác trong không gian tiềm ẩn có thể làm cho việc tạo ra một cá nhân nhất quán (và thậm chí là có thể hoạt hình) có bản sắc được đọc bởi hệ thống máy như một người khác.

Phương pháp

Tác giả sử dụng hai tập dữ liệu làm cơ sở cho các thí nghiệm: một tập dữ liệu Người dùng con người bao gồm 310 hình ảnh khuôn mặt của cô trong khoảng thời gian bốn năm, với ánh sáng, tuổi và góc nhìn khác nhau), với khuôn mặt được trích xuất qua Caffe; và tập dữ liệu FairFace cân bằng về chủng tộc với 108.501 hình ảnh, cũng được trích xuất và cắt xén.

Mô hình xác thực khuôn mặt cục bộ được dẫn xuất từ một triển khai cơ bản của FaceNet và DeepFace, được đào tạo trước trên ConvNet Inception, với mỗi hình ảnh được biểu diễn bằng một vectơ 128 chiều.

Phương pháp này sử dụng hình ảnh khuôn mặt từ một tập con được đào tạo từ FairFace. Để vượt qua xác thực khuôn mặt, khoảng cách được tính toán do chuẩn Frobenius của một hình ảnh được offset chống lại người dùng mục tiêu trong cơ sở dữ liệu. Bất kỳ hình ảnh nào dưới ngưỡng 0,7 được coi là cùng một bản sắc, nếu không quá trình xác thực được coi là thất bại.

Một mô hình StyleGAN được tinh chỉnh trên tập dữ liệu cá nhân của tác giả, tạo ra một mô hình sẽ tạo ra các biến thể nhận dạng của bản sắc cô, mặc dù không có hình ảnh nào được tạo ra là giống hệt với dữ liệu đào tạo. Điều này được thực hiện bằng cách đông lạnh bốn lớp đầu tiên trong bộ phân loại, để tránh quá trình đào tạo dữ liệu và tạo ra đầu ra đa dạng.

Mặc dù các hình ảnh đa dạng đã được thu được với mô hình StyleGAN cơ bản, nhưng độ phân giải thấp và độ trung thực đã thúc đẩy một nỗ lực thứ hai với StarGAN V2, cho phép đào tạo hình ảnh hạt giống hướng tới một khuôn mặt mục tiêu.

Mô hình StarGAN V2 được đào tạo trước trong khoảng 10 giờ bằng cách sử dụng tập hợp xác thực của FairFace, với kích thước lô là bốn và kích thước xác thực là tám. Trong phương pháp thành công nhất, tập dữ liệu cá nhân của tác giả được sử dụng làm nguồn với dữ liệu đào tạo làm tham chiếu.

Thử nghiệm Xác thực

Một mô hình xác thực khuôn mặt được xây dựng dựa trên một tập con 1000 hình ảnh, với mục đích xác thực một hình ảnh tùy ý từ tập hợp. Các hình ảnh đã vượt qua xác thực thành công sau đó được thử nghiệm chống lại ID của chính tác giả.

Bên trái, tác giả của bài báo, một bức ảnh thực; giữa, một hình ảnh tùy ý đã thất bại trong việc xác thực; bên phải, một hình ảnh không liên quan từ tập dữ liệu đã vượt qua xác thực như tác giả.

Mục tiêu của các thí nghiệm này là tạo ra một khoảng cách càng rộng càng tốt giữa bản sắc được nhận thức trong khi vẫn giữ các đặc điểm xác định của bản sắc mục tiêu. Điều này được đánh giá bằng cách sử dụng khoảng cách Mahalanobis, một thước đo được sử dụng trong xử lý hình ảnh để tìm kiếm mẫu và mẫu.

Đối với mô hình sinh tổng hợp cơ bản, kết quả độ phân giải thấp thu được hiển thị sự đa dạng hạn chế, mặc dù vượt qua xác thực khuôn mặt cục bộ. StarGAN V2 đã chứng minh khả năng tạo ra các hình ảnh đa dạng có thể xác thực.

Tất cả các hình ảnh được hiển thị đã vượt qua xác thực khuôn mặt cục bộ. Trên đây là các hình ảnh được tạo ra bằng StyleGAN cơ bản, dưới đây là các hình ảnh được tạo ra bằng StarGAN V2 có độ phân giải cao hơn và chất lượng cao hơn.

Các hình ảnh được tạo ra cuối cùng được hiển thị trên đã sử dụng tập dữ liệu cá nhân của tác giả làm nguồn và tham chiếu, trong khi các hình ảnh trước đó sử dụng dữ liệu đào tạo làm tham chiếu và tập dữ liệu cá nhân của tác giả làm nguồn.

Các hình ảnh được tạo ra đã được thử nghiệm chống lại các hệ thống xác thực khuôn mặt của các ứng dụng hẹn hò Bumble và Tinder, với bản sắc của tác giả làm bản sắc cơ bản, và đã vượt qua xác thực. Một ‘nam’ được tạo ra từ khuôn mặt của tác giả cũng đã vượt qua quá trình xác thực của Bumble, mặc dù ánh sáng đã phải được điều chỉnh trong hình ảnh được tạo ra trước khi nó được chấp nhận. Tinder không chấp nhận phiên bản nam.

Các phiên bản ‘nam’ của bản sắc (nữ) của tác giả.

Kết luận

Đây là những thí nghiệm then chốt trong việc dự đoán bản sắc, trong bối cảnh thao túng không gian tiềm ẩn của GAN, vẫn là một thách thức phi thường trong tổng hợp hình ảnh và nghiên cứu deepfake. Tuy nhiên, công việc này mở ra khái niệm về việc nhúng các tính năng cụ thể cao vào các bản sắc đa dạng, và tạo ra ‘bản sắc thay thế’ đọc như một người khác.

Được xuất bản lần đầu vào ngày 30 tháng 3 năm 2022.