Phân biệt ‘con người hợp nhất’ trong tầm nhìn máy tính

Một bài báo mới từ Trung tâm Đổi mới của Hyundai Motor Group tại Singapore cung cấp một phương pháp để phân biệt ‘con người hợp nhất’ trong tầm nhìn máy tính – những trường hợp mà khuôn khổ nhận dạng đối tượng đã tìm thấy một người nào đó ‘quá gần’ với một người khác (chẳng hạn như ‘hành động ôm’, hoặc ‘đứng sau’ tư thế), và không thể phân biệt hai người được đại diện, gây nhầm lẫn cho một người hoặc thực thể duy nhất.

Hai người trở thành một, nhưng đó không phải là một điều tốt trong phân đoạn ngữ nghĩa. Tại đây, chúng ta thấy hệ thống mới đạt được kết quả tốt nhất về việc phân biệt người trong các hình ảnh phức tạp và thách thức. Nguồn: https://arxiv.org/pdf/2210.03686.pdf

Đây là một vấn đề đáng chú ý đã nhận được sự quan tâm lớn trong cộng đồng nghiên cứu trong những năm gần đây. Giải quyết nó mà không có chi phí rõ ràng nhưng thường không thể chi trả được của việc gắn nhãn tùy chỉnh do con người có thể cuối cùng cho phép cải thiện việc phân biệt người trong các hệ thống văn bản-sang-hình ảnh như Stable Diffusion, thường ‘tan chảy’ người lại với nhau khi một tư thế được yêu cầu có nhiều người gần nhau.

Nhận lấy sự kinh hoàng – các mô hình hình ảnh-văn bản như DALL-E 2 và Stable Diffusion (cả hai đều được giới thiệu ở trên) gặp khó khăn trong việc đại diện cho người ở rất gần nhau.

Mặc dù các mô hình tạo sinh như DALL-E 2 và Stable Diffusion không (theo kiến thức tốt nhất của bất kỳ ai, trong trường hợp của DALL-E 2 đóng源) hiện đang sử dụng phân đoạn ngữ nghĩa hoặc nhận dạng đối tượng, những sự kết hợp kinh dị của con người này không thể được chữa khỏi bằng cách áp dụng các phương pháp thượng nguồn – vì trạng thái hiện tại của các thư viện và tài nguyên nhận dạng đối tượng không tốt hơn nhiều trong việc phân biệt người so với các quy trình dựa trên CLIP của các mô hình khuếch tán tiềm ẩn.

Để giải quyết vấn đề này, bài báo mới – có tiêu đề Con người không cần phải gắn nhãn nhiều hơn: Sao chép và Dán Occlusion cho Occluded Human Instance Segmentation – điều chỉnh và cải tiến một cách tiếp cận ‘cắt và dán’ gần đây để đạt được một vị trí dẫn đầu mới trong nhiệm vụ, ngay cả trước các nguồn vật liệu thách thức nhất:

Phương pháp Sao chép và Dán Occlusion mới hiện đang dẫn đầu trong lĩnh vực này, ngay cả trước các khuôn khổ và cách tiếp cận trước đây nhằm giải quyết thách thức này theo các cách phức tạp và chuyên dụng hơn, chẳng hạn như mô hình hóa cụ thể cho che khuất.

Cắt Đó Ra!

Phương pháp sửa đổi – có tên Occlusion Copy & Paste – được bắt nguồn từ Simple Copy-Paste năm 2021, do Google Research dẫn đầu, đã đề xuất rằng việc chồng lên các đối tượng và người được trích xuất lên các hình ảnh đào tạo đa dạng có thể cải thiện khả năng của hệ thống nhận dạng hình ảnh để rời rạc hóa từng thể hiện trong một hình ảnh:

Từ bài báo năm 2021 do Google Research dẫn đầu ‘Simple Copy-Paste là một Phương pháp Tăng cường Dữ liệu Mạnh cho Instance Segmentation’, chúng ta thấy các yếu tố từ một bức ảnh ‘di cư’ sang các bức ảnh khác, với mục tiêu đào tạo một mô hình nhận dạng hình ảnh tốt hơn và chính xác hơn. Nguồn: https://arxiv.org/pdf/2012.07177.pdf

Phiên bản mới thêm các hạn chế và tham số vào quá trình ‘dán’ tự động và thuật toán này, tương tự như một ‘giỏ’ hình ảnh đầy các ứng viên tiềm năng để ‘chuyển’ sang các hình ảnh khác, dựa trên một số yếu tố quan trọng.

Luồng công việc khái niệm cho OC&P.

Kiểm Soát Các Yếu Tố

Những yếu tố hạn chế bao gồm xác suất của một hành động cắt và dán xảy ra, đảm bảo rằng quá trình này không xảy ra mọi lúc, điều này sẽ đạt được một hiệu ứng ‘bão hòa’ sẽ làm suy yếu việc tăng cường dữ liệu; số lượng hình ảnh mà một ‘giỏ’ sẽ có tại bất kỳ thời điểm nào, nơi một số lượng lớn ‘phần’ có thể cải thiện sự đa dạng của các thể hiện, nhưng tăng thời gian tiền xử lý; và phạm vi, quyết định số lượng hình ảnh sẽ được dán vào một ‘hình ảnh chủ’.

Về vấn đề sau, bài báo lưu ý ‘Chúng tôi cần đủ che khuất để xảy ra, nhưng không quá nhiều vì chúng có thể làm lộn xộn hình ảnh, điều này có thể có hại cho việc học.’

Hai đổi mới khác cho OC&P là dán mục tiêu và dán thể hiện tăng cường.

Dán mục tiêu đảm bảo rằng một hình ảnh phù hợp sẽ được đặt gần một thể hiện hiện có trong hình ảnh mục tiêu. Trong cách tiếp cận trước đó, từ công việc trước, yếu tố mới chỉ bị giới hạn trong các ranh giới của hình ảnh, mà không có sự xem xét về ngữ cảnh.

Mặc dù ‘dán vào’ này, với dán mục tiêu, rõ ràng với mắt người, nhưng cả OC&P và tiền thân của nó đã phát hiện ra rằng sự tăng cường tính xác thực thị giác không nhất thiết quan trọng, và thậm chí có thể là một trách nhiệm (xem ‘Thực Tại Cắn’ dưới đây).

Dán thể hiện tăng cường, mặt khác, đảm bảo rằng các thể hiện được dán không thể hiện một ‘hình dạng đặc biệt’ có thể được phân loại bởi hệ thống theo một cách nào đó, điều này có thể dẫn đến việc loại trừ hoặc ‘xử lý đặc biệt’ có thể cản trở việc tổng quát hóa và áp dụng. Dán tăng cường điều chỉnh các yếu tố thị giác như độ sáng và độ sắc nét, tỷ lệ và quay, và độ bão hòa – trong số các yếu tố khác.

Từ tài liệu bổ sung cho bài báo mới: thêm OC&P vào các khuôn khổ nhận dạng hiện có là khá đơn giản, và dẫn đến việc phân biệt người trong các không gian rất gần nhau. Nguồn: https://arxiv.org/src/2210.03686v1/anc/OcclusionCopyPaste_Supplementary.pdf

Ngoài ra, OC&P quy định một kích thước tối thiểu cho bất kỳ thể hiện được dán nào. Ví dụ, có thể trích xuất một hình ảnh của một người từ một cảnh đông người, có thể được dán vào một hình ảnh khác – nhưng trong trường hợp đó, số lượng pixel liên quan sẽ không có khả năng giúp nhận dạng. Do đó, hệ thống áp dụng một tỷ lệ tối thiểu dựa trên tỷ lệ chiều dài cạnh bằng nhau cho hình ảnh mục tiêu.

Further, OC&P thiết lập dán có ý thức về quy mô, nơi, ngoài việc tìm kiếm các chủ đề tương tự như chủ đề dán, nó cũng xem xét kích thước của các hộp giới hạn trong hình ảnh mục tiêu. Tuy nhiên, điều này không dẫn đến các hình ảnh tổng hợp mà người ta coi là hợp lý hoặc thực tế (xem hình ảnh dưới đây), mà thay vào đó lắp ráp các yếu tố ngữ nghĩa phù hợp gần nhau theo các cách có ích trong quá trình đào tạo.

Thực Tại Cắn

Cả công việc trước mà OC&P dựa vào, và việc thực hiện hiện tại, đặt một mức giá trị thấp cho tính xác thực, hoặc ‘thực tế’ của bất kỳ hình ảnh ‘lồng ghép’ cuối cùng nào. Mặc dù nó quan trọng rằng hình ảnh lắp ráp cuối cùng không hoàn toàn đi xuống vào Dadaism (trừ khi các triển khai thực tế của các hệ thống được đào tạo có thể hy vọng gặp phải các yếu tố trong các cảnh như chúng được đào tạo), cả hai sáng kiến đã phát hiện ra rằng sự tăng cường đáng kể về ‘tính xác thực thị giác’ không chỉ thêm vào thời gian tiền xử lý, mà những ‘cải tiến về tính thực tế’ như vậy có khả năng thực sự phản tác dụng.

Từ tài liệu bổ sung của bài báo mới: ví dụ về hình ảnh tăng cường với ‘trộn ngẫu nhiên’. Mặc dù những cảnh này có thể trông như ảo giác đối với một người, chúng vẫn có các chủ đề tương tự được ghép lại với nhau; mặc dù che khuất là ảo giác đối với mắt người, bản chất của một che khuất tiềm năng không thể được biết trước, và không thể đào tạo – do đó, những ‘cắt xén’ hình dạng kỳ lạ này đủ để buộc hệ thống được đào tạo tìm kiếm và nhận ra các chủ thể mục tiêu một phần, mà không cần phát triển các phương pháp phức tạp như Photoshop để làm cho các cảnh trở nên hợp lý hơn.

Dữ Liệu và Kiểm Tra

Để giai đoạn kiểm tra, hệ thống được đào tạo trên lớp người của tập dữ liệu MS COCO, có 262.465 ví dụ về con người trên 64.115 hình ảnh. Tuy nhiên, để có được các mặt nạ chất lượng tốt hơn so với MS COCO, các hình ảnh cũng nhận được LVIS chú thích mặt nạ.

Được phát hành vào năm 2019, LVIS, từ nghiên cứu của Facebook, là một tập dữ liệu lớn cho Instance Segmentation từ vựng lớn. Nguồn: https://arxiv.org/pdf/1908.03195.pdf

Để đánh giá khả năng của hệ thống tăng cường trong việc cạnh tranh với một số lượng lớn hình ảnh người che khuất, các nhà nghiên cứu đã đặt OC&P chống lại OCHuman (Occluded Human) chuẩn mực.

Ví dụ từ tập dữ liệu OCHuman, được giới thiệu để hỗ trợ dự án phát hiện Pose2Seg vào năm 2018. Sáng kiến này nhằm mục đích tạo ra phân đoạn ngữ nghĩa tốt hơn cho người bằng cách sử dụng tư thế và dáng điệu của họ như một dấu phân cách ngữ nghĩa về nơi các pixel đại diện cho cơ thể của họ có khả năng kết thúc Source: https://github.com/liruilong940607/OCHumanApi

Kể từ khi chuẩn mực OCHuman không được chú thích đầy đủ, các nhà nghiên cứu của bài báo mới đã tạo một tập con chỉ gồm những ví dụ được chú thích đầy đủ, có tên OCHuman^FL. Điều này đã giảm số lượng thể hiện người xuống 2.240 trên 1.113 hình ảnh để xác thực, và 1.923 thể hiện trên 951 hình ảnh thực sự được sử dụng để kiểm tra. Cả hai tập ban đầu và tập con mới được kiểm tra, sử dụng Độ chính xác trung bình (mAP) làm chỉ số chính.

Để đảm bảo tính nhất quán, kiến trúc được hình thành từ Mask R-CNN với một xương sống ResNet-50 và một mạng lưới kim tự tháp tính năng, thứ sau cung cấp một sự thỏa hiệp chấp nhận được giữa độ chính xác và tốc độ đào tạo.

Với các nhà nghiên cứu đã lưu ý đến ảnh hưởng có hại của ImageNet thượng nguồn trong các tình huống tương tự, toàn bộ hệ thống được đào tạo từ đầu trên 4 GPU NVIDIA V100, trong 75 kỷ, sau các tham số khởi tạo của Facebook năm 2021 Detectron 2.

Kết Quả

Ngoài các kết quả đã đề cập ở trên, các kết quả cơ bản so với MMDetection (và ba mô hình liên quan của nó) cho các kiểm tra cho thấy một lợi thế rõ ràng cho OC&P trong khả năng chọn ra con người từ các tư thế phức tạp.

Bên cạnh việc vượt qua PoSeg và Pose2Seg, có lẽ một trong những thành tựu nổi bật nhất của bài báo là hệ thống có thể được áp dụng một cách chung chung cho các khuôn khổ hiện có, bao gồm cả những khuôn khổ đã được sử dụng trong các thử nghiệm (xem các so sánh có/không trong hộp kết quả đầu tiên, gần đầu của bài viết).

Bài báo kết luận:

‘Một lợi thế chính của phương pháp của chúng tôi là nó có thể được áp dụng dễ dàng với bất kỳ mô hình hoặc cải tiến mô hình nào. Với tốc độ mà lĩnh vực học sâu di chuyển, điều này là lợi thế cho mọi người khi có các phương pháp có thể tương tác cao với mọi khía cạnh của đào tạo. Chúng tôi để lại việc tích hợp này với các cải tiến mô hình để giải quyết hiệu quả việc phân biệt thể hiện người che khuất.’

T潜 năng Cải thiện Tổng hợp Hình ảnh-văn bản

Tác giả chính Evan Ling đã quan sát, trong một email gửi cho chúng tôi*, rằng lợi thế chính của OC&P là nó có thể giữ lại các nhãn mặt nạ ban đầu và thu được giá trị mới từ chúng ‘miễn phí’ trong một ngữ cảnh mới – tức là, các hình ảnh mà chúng đã được dán vào.

Mặc dù phân đoạn ngữ nghĩa của con người có vẻ liên quan chặt chẽ đến khó khăn mà các mô hình như Stable Diffusion gặp phải trong việc phân biệt người (thay vì ‘trộn chúng lại với nhau’, như nó thường làm), bất kỳ ảnh hưởng nào mà văn hóa gắn nhãn ngữ nghĩa có thể có đối với các bản render kinh dị của con người mà SD và DALL-E 2 thường xuất ra là rất, rất thượng nguồn.

Các hình ảnh con của LAION 5B chiếm ưu thế trong sức mạnh tạo sinh của Stable Diffusion không chứa các nhãn đối tượng cấp độ, chẳng hạn như hộp giới hạn và mặt nạ thể hiện, ngay cả khi kiến trúc CLIP tạo thành các bản render từ hình ảnh và nội dung cơ sở dữ liệu có thể đã được hưởng lợi từ sự hiện diện của chúng tại một thời điểm nào đó; thay vào đó, các hình ảnh LAION được gắn nhãn ‘miễn phí’, vì các nhãn của chúng được派 sinh từ siêu dữ liệu và chú thích môi trường, v.v., được liên kết với các hình ảnh khi chúng được thu thập từ web vào tập dữ liệu.

‘Nhưng điều đó sang một bên,’ Ling nói với chúng tôi. ‘một số dạng tăng cường tương tự như OC&P của chúng tôi có thể được sử dụng trong quá trình đào tạo mô hình tạo sinh hình ảnh-văn bản. Nhưng tôi nghĩ rằng tính thực tế của hình ảnh đào tạo tăng cường có thể trở thành một vấn đề.

‘Trong công việc của chúng tôi, chúng tôi chỉ ra rằng ‘thực tế hoàn hảo’ nói chung không cần thiết cho phân đoạn thể hiện được giám sát, nhưng tôi không chắc chắn liệu kết luận tương tự có thể được rút ra cho đào tạo mô hình tạo sinh hình ảnh-văn bản (đặc biệt là khi đầu ra của chúng được mong đợi là rất thực tế). Trong trường hợp này, có thể cần phải làm thêm việc về việc ‘hoàn thiện’ tính thực tế của các hình ảnh đào tạo tăng cường.’

CLIP đã được sử dụng như một công cụ đa phương tiện có thể cho phân đoạn hình ảnh tham chiếu, cho thấy rằng các hệ thống nhận dạng và phân biệt người cải tiến như OC&P cuối cùng có thể được phát triển thành các bộ lọc hoặc phân loại器 trong hệ thống có thể từ chối các bản render ‘hợp nhất’ và ‘biến dạng’ của con người một cách tùy ý – một nhiệm vụ hiện tại là khó khăn để đạt được với Stable Diffusion, vì nó có khả năng hạn chế để hiểu nơi nó đã sai lầm (nếu nó có khả năng đó, nó có thể không mắc sai lầm đầu tiên).

Chỉ là một trong số nhiều dự án hiện đang sử dụng khuôn khổ CLIP của OpenAI – trái tim của DALL-E 2 và Stable Diffusion – cho phân đoạn hình ảnh. Nguồn: https://openaccess.thecvf.com/content/CVPR2022/papers/Wang_CRIS_CLIP-Driven_Referring_Image_Segmentation_CVPR_2022_paper.pdf

‘Một câu hỏi khác sẽ là,’ Ling gợi ý. ‘liệu việc cho ăn các mô hình tạo sinh hình ảnh-văn bản các hình ảnh của người che khuất trong quá trình đào tạo có hiệu quả, mà không có thiết kế kiến trúc mô hình bổ sung để giảm thiểu vấn đề về ‘hợp nhất người’? Đó có lẽ là một câu hỏi khó trả lời ngay lập tức. Sẽ rất thú vị khi xem chúng ta có thể đưa ra một số hướng dẫn cấp độ thể hiện (qua các nhãn cấp độ thể hiện như mặt nạ thể hiện) trong quá trình đào tạo mô hình tạo sinh hình ảnh-văn bản.’

* 10 tháng 10 năm 2022

Được xuất bản lần đầu vào ngày 10 tháng 10 năm 2022.