Một trong những thách thức cốt lõi trong các mô hình dựa trên thị giác máy tính là tạo ra các mặt nạ phân khúc chất lượng cao. Những tiến bộ gần đây trong đào tạo giám sát quy mô lớn đã cho phép phân khúc zero-shot trên nhiều phong cách hình ảnh khác nhau. Ngoài ra, đào tạo không giám sát đã đơn giản hóa việc phân khúc mà không cần các chú thích rộng rãi. Mặc dù vậy, việc xây dựng một khuôn khổ thị giác máy tính có khả năng phân khúc mọi thứ trong một cài đặt zero-shot mà không cần chú thích vẫn là một nhiệm vụ phức tạp. Phân khúc ngữ nghĩa, một khái niệm cơ bản trong các mô hình thị giác máy tính, liên quan đến việc chia một hình ảnh thành các vùng nhỏ hơn với ngữ nghĩa đồng nhất. Kỹ thuật này tạo nền tảng cho nhiều nhiệm vụ hạ nguồn, chẳng hạn như hình ảnh y tế, chỉnh sửa hình ảnh, lái xe tự động và nhiều hơn nữa.

Để thúc đẩy sự phát triển của các mô hình thị giác máy tính, điều quan trọng là phân khúc hình ảnh không bị giới hạn trong một tập dữ liệu cố định với các danh mục hạn chế. Thay vào đó, nó nên hoạt động như một nhiệm vụ cơ bản đa năng cho nhiều ứng dụng khác. Tuy nhiên, chi phí cao của việc thu thập nhãn trên cơ sở mỗi pixel tạo ra một thách thức đáng kể, hạn chế sự tiến bộ của các phương pháp phân khúc zero-shot và giám sát không cần chú thích và thiếu truy cập trước vào mục tiêu. Bài viết này sẽ thảo luận về cách các lớp tự chú ý trong các mô hình khuếch tán ổn định có thể giúp tạo ra một mô hình có khả năng phân khúc mọi đầu vào trong một cài đặt zero-shot, ngay cả khi không có chú thích phù hợp. Các lớp tự chú ý này vốn hiểu các khái niệm đối tượng được học bởi một mô hình khuếch tán ổn định được đào tạo trước.

DiffSeg : Một Thuật toán Phân khúc Zero-Shot được Cải tiến

Phân khúc ngữ nghĩa là một quá trình chia một hình ảnh thành các phần khác nhau, với mỗi phần chia sẻ ngữ nghĩa tương tự. Kỹ thuật này tạo nền tảng cho nhiều nhiệm vụ hạ nguồn. Thông thường, các nhiệm vụ thị giác máy tính zero-shot đã phụ thuộc vào phân khúc ngữ nghĩa được giám sát, sử dụng các tập dữ liệu lớn với các danh mục được chú thích và dán nhãn. Tuy nhiên, việc thực hiện phân khúc ngữ nghĩa không giám sát trong một cài đặt zero-shot vẫn là một thách thức. Mặc dù các phương pháp giám sát truyền thống hiệu quả, nhưng chi phí dán nhãn mỗi pixel thường quá cao, làm nổi bật sự cần thiết của việc phát triển các phương pháp phân khúc không giám sát trong một cài đặt zero-shot ít hạn chế hơn, nơi mô hình không yêu cầu dữ liệu được chú thích hay kiến thức trước về dữ liệu.

Để giải quyết hạn chế này, DiffSeg giới thiệu một chiến lược hậu xử lý mới, tận dụng khả năng của khuôn khổ Khuếch tán Ổn định để xây dựng một mô hình phân khúc chung có thể thực hiện chuyển giao zero-shot trên bất kỳ hình ảnh nào. Các khuôn khổ Khuếch tán Ổn định đã chứng minh hiệu quả của chúng trong việc tạo ra hình ảnh độ phân giải cao dựa trên điều kiện lời nhắc. Đối với hình ảnh được tạo, các khuôn khổ này có thể tạo ra mặt nạ phân khúc bằng cách sử dụng lời nhắc văn bản tương ứng, thường chỉ bao gồm các đối tượng tiền cảnh nổi bật.

Ngược lại, DiffSeg là một phương pháp hậu xử lý sáng tạo tạo ra mặt nạ phân khúc bằng cách sử dụng các tensor chú ý từ các lớp tự chú ý trong một mô hình khuếch tán. Thuật toán DiffSeg bao gồm ba thành phần chính: hợp nhất chú ý lặp lại, hợp nhất chú ý và подав áp tối đa, như được minh họa trong hình ảnh sau.

DiffSeg bảo tồn thông tin trực quan trên nhiều độ phân giải bằng cách hợp nhất các tensor chú ý 4D với tính nhất quán không gian và sử dụng một quá trình hợp nhất lặp lại bằng cách lấy mẫu các điểm neo. Những điểm neo này đóng vai trò là điểm xuất phát cho việc hợp nhất mặt nạ chú ý với các neo đối tượng相同 được hấp thụ cuối cùng. Khung DiffSeg kiểm soát quá trình hợp nhất với sự giúp đỡ của phương pháp phân kỳ KL để đo lường sự tương tự giữa hai bản đồ chú ý.

Khi so sánh với các phương pháp phân khúc không giám sát dựa trên phân cụm, các nhà phát triển không cần chỉ định số lượng cụm trước trong thuật toán DiffSeg, và ngay cả khi không có kiến thức trước, thuật toán DiffSeg vẫn có thể tạo ra phân khúc mà không sử dụng thêm bất kỳ tài nguyên nào. Tổng thể, thuật toán DiffSeg là “một phương pháp phân khúc không giám sát và zero-shot mới, tận dụng mô hình khuếch tán ổn định được đào tạo trước và có thể phân khúc hình ảnh mà không cần thêm tài nguyên hoặc kiến thức trước.”

DiffSeg : Các Khái niệm Cơ bản

DiffSeg là một thuật toán mới xây dựng trên những hiểu biết từ các Mô hình Khuếch tán, Phân khúc không giám sát và Phân khúc Zero-Shot.

Mô hình Khuếch tán

Thuật toán DiffSeg xây dựng trên những hiểu biết từ các mô hình khuếch tán được đào tạo trước. Mô hình khuếch tán là một trong những khuôn khổ tạo sinh phổ biến nhất cho các mô hình thị giác máy tính, và nó học quá trình khuếch tán tiến và ngược từ một hình ảnh nhiễu Gauss đẳng hướng lấy mẫu đến tạo ra một hình ảnh. Khuếch tán Ổn định là biến thể phổ biến nhất của mô hình khuếch tán, và nó được sử dụng để thực hiện một loạt các nhiệm vụ bao gồm phân khúc được giám sát, phân loại zero-shot, khớp tương ứng ngữ nghĩa, phân khúc hiệu quả nhãn và phân khúc từ vựng mở. Tuy nhiên, vấn đề duy nhất với mô hình khuếch tán là chúng phụ thuộc vào các tính năng trực quan cao chiều để thực hiện các nhiệm vụ này, và chúng thường yêu cầu đào tạo thêm để tận dụng đầy đủ các tính năng này.

Phân khúc không giám sát

Thuật toán DiffSeg liên quan chặt chẽ đến phân khúc không giám sát, một phương pháp hiện đại của trí tuệ nhân tạo nhằm tạo ra các mặt nạ phân khúc dày đặc mà không cần sử dụng bất kỳ chú thích nào. Tuy nhiên, để cung cấp hiệu suất tốt, các mô hình phân khúc không giám sát thường cần một số đào tạo không giám sát trước trên tập dữ liệu mục tiêu. Các khuôn khổ phân khúc không giám sát dựa trên trí tuệ nhân tạo có thể được phân loại thành hai loại: phân cụm sử dụng mô hình được đào tạo trước và phân cụm dựa trên bất biến. Trong loại đầu tiên, các khuôn khổ sử dụng các tính năng phân biệt được học bởi các mô hình được đào tạo trước để tạo ra mặt nạ phân khúc, trong khi các khuôn khổ thuộc loại thứ hai sử dụng một thuật toán phân cụm chung để tối ưu hóa thông tin tương hỗ giữa hai hình ảnh để phân khúc hình ảnh thành các cụm ngữ nghĩa và tránh phân khúc suy giảm.

Phân khúc Zero-Shot

Thuật toán DiffSeg liên quan chặt chẽ đến các khuôn khổ phân khúc zero-shot, một phương pháp có khả năng phân khúc mọi thứ mà không cần đào tạo trước hoặc kiến thức về dữ liệu. Các mô hình phân khúc zero-shot đã chứng minh khả năng chuyển giao zero-shot vượt trội trong thời gian gần đây, mặc dù chúng yêu cầu một số đầu vào văn bản và lời nhắc. Ngược lại, thuật toán DiffSeg sử dụng một mô hình khuếch tán để tạo ra phân khúc mà không cần hỏi và tổng hợp nhiều hình ảnh và mà không biết nội dung của đối tượng.

DiffSeg : Phương pháp và Kiến trúc

Thuật toán DiffSeg sử dụng các lớp tự chú ý trong một mô hình khuếch tán ổn định được đào tạo trước để tạo ra các nhiệm vụ phân khúc chất lượng cao.

Mô hình Khuếch tán Ổn định

Khuếch tán Ổn định là một trong những khái niệm cơ bản trong khuôn khổ DiffSeg. Khuếch tán Ổn định là một khuôn khổ tạo sinh trí tuệ nhân tạo, và nó là một trong những mô hình khuếch tán phổ biến nhất. Một trong những đặc điểm chính của mô hình khuếch tán là một lượt tiến và một lượt ngược. Trong lượt tiến, một lượng nhỏ nhiễu Gauss được thêm vào hình ảnh một cách lặp lại tại mỗi bước thời gian cho đến khi hình ảnh trở thành một hình ảnh nhiễu Gauss đẳng hướng. Mặt khác, trong lượt ngược, mô hình khuếch tán loại bỏ lặp lại nhiễu trong hình ảnh nhiễu Gauss đẳng hướng để khôi phục hình ảnh gốc mà không có nhiễu Gauss.

Khuôn khổ Khuếch tán Ổn định sử dụng một kiến trúc mã hóa-giải mã, và một thiết kế U-Net với lớp chú ý, nơi nó sử dụng một mã hóa để nén hình ảnh vào một không gian潜 ẩn có kích thước không gian nhỏ hơn, và sử dụng giải mã để giải nén hình ảnh. Kiến trúc U-Net bao gồm một chồng các khối mô-đun, nơi mỗi khối được cấu thành từ một trong hai thành phần sau: một lớp Transformer, và một lớp ResNet.

Thành phần và Kiến trúc

Các lớp tự chú ý trong mô hình khuếch tán nhóm thông tin của các đối tượng vốn có trong hình thức của các bản đồ chú ý không gian, và DiffSeg là một phương pháp hậu xử lý mới để hợp nhất các tensor chú ý vào một mặt nạ phân khúc hợp lệ với đường ống bao gồm ba thành phần chính: hợp nhất chú ý, подав áp tối đa, và hợp nhất chú ý lặp lại.

Hợp nhất Chú ý

Đối với một hình ảnh đầu vào đi qua các lớp U-Net và mã hóa, mô hình Khuếch tán Ổn định tạo ra tổng cộng 16 tensor chú ý, với 5 tensor cho mỗi chiều. Mục tiêu chính của việc tạo ra 16 tensor là hợp nhất các tensor chú ý với các độ phân giải khác nhau vào một tensor có độ phân giải cao nhất có thể. Để đạt được điều này, thuật toán DiffSeg đối xử với 4 chiều khác nhau.

Trong số bốn chiều, hai chiều cuối cùng trong các tensor chú ý có độ phân giải khác nhau nhưng chúng nhất quán về không gian vì bản đồ không gian 2D của khuôn khổ DiffSeg tương ứng với mối quan hệ giữa các vị trí và vị trí không gian. Do đó, khuôn khổ DiffSeg lấy mẫu hai chiều của tất cả các bản đồ chú ý đến độ phân giải cao nhất của tất cả, 64 x 64. Mặt khác, hai chiều đầu tiên chỉ ra tham chiếu vị trí của các bản đồ chú ý như được minh họa trong hình ảnh sau.

Vì các chiều này đề cập đến vị trí của các bản đồ chú ý, các bản đồ chú ý cần được hợp nhất tương ứng. Ngoài ra, để đảm bảo rằng bản đồ chú ý hợp nhất có một phân phối hợp lệ, khuôn khổ chuẩn hóa phân phối sau khi hợp nhất với mỗi bản đồ chú ý được gán một trọng số tỷ lệ với độ phân giải của nó.

Hợp nhất Chú ý Lặp lại

Trong khi mục tiêu chính của hợp nhất chú ý là tính toán một tensor chú ý, mục tiêu chính là hợp nhất các bản đồ chú ý trong tensor vào một chồng các đề xuất đối tượng, nơi mỗi đề xuất riêng biệt chứa либо danh mục “stuff” либо hoạt động của một đối tượng đơn. Giải pháp được đề xuất để đạt được điều này là thực hiện một thuật toán K-Means trên phân phối hợp lệ của tensor để tìm các cụm của các đối tượng. Tuy nhiên, sử dụng K-Means không phải là giải pháp tối ưu vì K-Means yêu cầu người dùng chỉ định số lượng cụm trước. Hơn nữa, việc thực hiện một thuật toán K-Means có thể dẫn đến các kết quả khác nhau cho cùng một hình ảnh vì nó phụ thuộc vào khởi tạo một cách ngẫu nhiên. Để vượt qua chướng ngại vật này, khuôn khổ DiffSeg đề xuất tạo ra một lưới lấy mẫu để tạo ra các đề xuất bằng cách hợp nhất các bản đồ chú ý lặp lại.

Podav áp Tối đa

Bước trước của hợp nhất chú ý lặp lại tạo ra một danh sách các đề xuất đối tượng dưới dạng bản đồ chú ý xác suất, nơi mỗi đề xuất đối tượng chứa hoạt động của đối tượng. Khuôn khổ sử dụng подав áp tối đa để chuyển đổi danh sách các đề xuất đối tượng thành một mặt nạ phân khúc hợp lệ, và quá trình này là một cách tiếp cận hiệu quả vì mỗi phần tử trong danh sách đã là một bản đồ của phân phối xác suất. Đối với mỗi vị trí không gian trên tất cả các bản đồ, thuật toán lấy chỉ mục của xác suất lớn nhất và gán một thành viên dựa trên chỉ mục của bản đồ tương ứng.

DiffSeg : Thử nghiệm và Kết quả

Các khuôn khổ làm việc trên phân khúc không giám sát sử dụng hai chuẩn phân khúc chính là Cityscapes và COCO-stuff-27. Chuẩn Cityscapes là một tập dữ liệu lái xe tự động với 27 danh mục trung cấp, trong khi chuẩn COCO-stuff-27 là một phiên bản được chỉnh sửa của tập dữ liệu COCO-stuff ban đầu, kết hợp 80 “things” và 91 danh mục thành 27 danh mục. Hơn nữa, để phân tích hiệu suất phân khúc, khuôn khổ DiffSeg sử dụng giao diện trung bình trên hợp nhất hoặc mIoU và độ chính xác pixel hoặc ACC, và vì thuật toán DiffSeg không thể cung cấp một nhãn ngữ nghĩa, nó sử dụng thuật toán khớp Hungarian để gán một mặt nạ nền sự thật với mỗi mặt nạ dự đoán. Trong trường hợp số lượng mặt nạ dự đoán vượt quá số lượng mặt nạ nền sự thật, khuôn khổ sẽ coi các nhiệm vụ dự đoán không khớp là giả âm.

Ngoài ra, khuôn khổ DiffSeg cũng nhấn mạnh vào ba công việc sau để chạy inference: Sự phụ thuộc Ngôn ngữ hoặc LD, Điều chỉnh không giám sát hoặc UA, và Hình ảnh Phụ hoặc AX. Sự phụ thuộc Ngôn ngữ có nghĩa là phương pháp cần đầu vào văn bản mô tả để tạo điều kiện cho phân khúc hình ảnh, Điều chỉnh không giám sát đề cập đến yêu cầu phương pháp sử dụng đào tạo không giám sát trên tập dữ liệu mục tiêu, trong khi Hình ảnh Phụ đề cập đến phương pháp cần đầu vào bổ sung dưới dạng hình ảnh tổng hợp hoặc dưới dạng một nhóm hình ảnh tham chiếu.

Kết quả

Trên chuẩn COCO, khuôn khổ DiffSeg bao gồm hai chuẩn K-Means, K-Means-S và K-Means-C. Chuẩn K-Means-C bao gồm 6 cụm mà nó tính toán bằng cách lấy trung bình số lượng đối tượng trong các hình ảnh nó đánh giá, trong khi chuẩn K-Means-S sử dụng một số cụm cụ thể cho mỗi hình ảnh dựa trên số lượng đối tượng trong nền sự thật của hình ảnh, và kết quả trên cả hai chuẩn này được minh họa trong hình ảnh sau.

Như có thể thấy, chuẩn K-Means vượt trội so với các phương pháp hiện có, chứng tỏ lợi ích của việc sử dụng tensor chú ý tự. Điều thú vị là chuẩn K-Means-S vượt trội so với chuẩn K-Means-C, cho thấy rằng số lượng cụm là một siêu tham số cơ bản và việc điều chỉnh nó là quan trọng cho mỗi hình ảnh. Hơn nữa, ngay cả khi dựa trên cùng tensor chú ý, khuôn khổ DiffSeg vượt trội so với các chuẩn K-Means, chứng tỏ khả năng của khuôn khổ DiffSeg không chỉ cung cấp phân khúc tốt hơn mà còn tránh được những hạn chế do việc sử dụng chuẩn K-Means.

Trên tập dữ liệu Cityscapes, khuôn khổ DiffSeg cung cấp kết quả tương tự như các khuôn khổ sử dụng đầu vào với độ phân giải thấp hơn 320 trong khi vượt trội so với các khuôn khổ sử dụng đầu vào với độ phân giải cao hơn 512 trên cả độ chính xác và mIoU.

Như đã đề cập trước đó, khuôn khổ DiffSeg sử dụng một số siêu tham số như được minh họa trong hình ảnh sau.

Hợp nhất chú ý là một trong những khái niệm cơ bản được sử dụng trong khuôn khổ DiffSeg, và hiệu ứng của việc sử dụng các trọng số hợp nhất khác nhau được minh họa trong hình ảnh sau với độ phân giải của hình ảnh được giữ không đổi.

Như có thể quan sát được, các bản đồ có độ phân giải cao trong Hình (b) với 64 x 64 bản đồ tạo ra phân khúc chi tiết nhất, mặc dù phân khúc có một số vết nứt rõ ràng, trong khi các bản đồ có độ phân giải thấp hơn 32 x 32 có xu hướng phân khúc quá mức chi tiết, mặc dù nó dẫn đến phân khúc nhất quán hơn. Trong Hình (d), các bản đồ có độ phân giải thấp không thể tạo ra phân khúc vì toàn bộ hình ảnh được hợp nhất vào một đối tượng duy nhất với các thiết lập siêu tham số hiện có. Cuối cùng, Hình (a) sử dụng chiến lược hợp nhất tỷ lệ tạo ra phân khúc chi tiết hơn và nhất quán hơn.

Suy nghĩ Cuối cùng

Phân khúc không giám sát zero-shot vẫn là một trong những chướng ngại vật lớn nhất đối với các khuôn khổ thị giác máy tính, và các mô hình hiện có thường phụ thuộc vào điều chỉnh không giám sát không zero-shot hoặc vào các tài nguyên bên ngoài. Để vượt qua chướng ngại vật này, chúng ta đã thảo luận về cách các lớp tự chú ý trong các mô hình khuếch tán ổn định có thể cho phép xây dựng một mô hình có khả năng phân khúc mọi đầu vào trong một cài đặt zero-shot mà không cần chú thích phù hợp, vì các lớp tự chú ý này vốn hiểu các khái niệm đối tượng được học bởi một mô hình khuếch tán ổn định được đào tạo trước. Chúng ta cũng đã thảo luận về DiffSeg, một chiến lược hậu xử lý mới nhằm tận dụng tiềm năng của khuôn khổ Khuếch tán Ổn định để xây dựng một mô hình phân khúc chung có thể thực hiện chuyển giao zero-shot trên bất kỳ hình ảnh nào. Thuật toán này dựa vào Tương tự Chú ý Liên và Tương tự Chú ý Trong để hợp nhất các bản đồ chú ý lặp lại vào các mặt nạ phân khúc hợp lệ để đạt được hiệu suất hàng đầu trên các chuẩn mực phổ biến.