Mô hình và nền tảng AI

DiffSeg: Phân đoạn zero-shot không giám sát bằng Stable Diffusion

Kunal Kejriwal
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Điểm chínhDiffSeg tạo ra các mặt nạ phân đoạn từ các lớp tự chú ý của Stable Diffusion mà không…
Xem thêm
  • DiffSeg tạo ra các mặt nạ phân đoạn từ các lớp tự chú ý của Stable Diffusion mà không cần huấn luyện hay nhãn dữ liệu.
  • Quá trình hợp nhất mới lạ của nó tránh việc phải xác định số lượng cụm, khác với các phương pháp không giám sát truyền thống.
  • Thuật toán đạt được kết quả phân đoạn không giám sát hàng đầu trên các bộ dữ liệu chuẩn như Cityscapes và COCO-stuff.

Một trong những thách thức cốt lõi trong các mô hình dựa trên thị giác máy tính là tạo ra các mặt nạ phân đoạn chất lượng cao. Những tiến bộ gần đây trong huấn luyện giám sát quy mô lớn đã cho phép phân đoạn zero-shot trên nhiều phong cách hình ảnh khác nhau. Ngoài ra, huấn luyện không giám sát đã đơn giản hóa việc phân đoạn mà không cần các chú thích rộng rãi. Mặc dù vậy, việc xây dựng một khuôn khổ thị giác máy tính có khả năng phân đoạn mọi thứ trong một chế độ zero-shot mà không cần chú thích vẫn là một nhiệm vụ phức tạp. Phân đoạn ngữ nghĩa, một khái niệm cơ bản trong các mô hình thị giác máy tính, liên quan đến việc chia một hình ảnh thành các vùng nhỏ hơn với ngữ nghĩa đồng nhất. Kỹ thuật này tạo nền tảng cho nhiều nhiệm vụ hạ nguồn, chẳng hạn như hình ảnh y tế, chỉnh sửa hình ảnh, lái xe tự động và nhiều hơn nữa.

Để thúc đẩy sự phát triển của các mô hình thị giác máy tính, điều quan trọng là phân đoạn hình ảnh không bị giới hạn trong một tập dữ liệu cố định với các danh mục hạn chế. Thay vào đó, nó nên hoạt động như một nhiệm vụ cơ bản đa năng cho nhiều ứng dụng khác. Tuy nhiên, chi phí cao của việc thu thập nhãn trên cơ sở mỗi pixel tạo ra một thách thức đáng kể, hạn chế sự tiến bộ của các phương pháp phân đoạn zero-shot và giám sát không cần chú thích và thiếu truy cập trước vào mục tiêu. Bài viết này sẽ thảo luận về cách các lớp tự chú ý trong các mô hình Stable Diffusion có thể giúp tạo ra một mô hình có khả năng phân đoạn mọi đầu vào trong một chế độ zero-shot, ngay cả khi không có chú thích phù hợp. Các lớp tự chú ý này vốn hiểu các khái niệm đối tượng được học bởi một mô hình Stable Diffusion được huấn luyện trước.

DiffSeg : Một Thuật toán Phân đoạn Zero-Shot được Cải tiến

Phân đoạn ngữ nghĩa là một quá trình chia một hình ảnh thành các phần khác nhau, với mỗi phần chia sẻ ngữ nghĩa tương tự. Kỹ thuật này tạo nền tảng cho nhiều nhiệm vụ hạ nguồn. Thông thường, các nhiệm vụ thị giác máy tính zero-shot đã phụ thuộc vào phân đoạn ngữ nghĩa được giám sát, sử dụng các tập dữ liệu lớn với các danh mục được chú thích và dán nhãn. Tuy nhiên, việc thực hiện phân đoạn ngữ nghĩa không giám sát trong một chế độ zero-shot vẫn là một thách thức. Mặc dù các phương pháp giám sát truyền thống hiệu quả, nhưng chi phí dán nhãn mỗi pixel thường quá cao, làm nổi bật sự cần thiết của việc phát triển các phương pháp phân đoạn không giám sát trong một chế độ zero-shot ít hạn chế hơn, nơi mô hình không yêu cầu dữ liệu được chú thích hay kiến thức trước về dữ liệu.

Để giải quyết hạn chế này, DiffSeg giới thiệu một chiến lược hậu xử lý mới, tận dụng khả năng của khuôn khổ Stable Diffusion để xây dựng một mô hình phân đoạn chung có thể thực hiện chuyển giao zero-shot trên bất kỳ hình ảnh nào. Các khuôn khổ Stable Diffusion đã chứng minh hiệu quả của chúng trong việc tạo ra hình ảnh độ phân giải cao dựa trên điều kiện lời nhắc. Đối với hình ảnh được tạo, các khuôn khổ này có thể tạo ra mặt nạ phân đoạn bằng cách sử dụng lời nhắc văn bản tương ứng, thường chỉ bao gồm các đối tượng tiền cảnh nổi bật.

Ngược lại, DiffSeg là một phương pháp hậu xử lý sáng tạo tạo ra mặt nạ phân đoạn bằng cách sử dụng các tensor chú ý từ các lớp tự chú ý trong một mô hình khuếch tán. Thuật toán DiffSeg bao gồm ba thành phần chính: hợp nhất chú ý lặp lại, tổng hợp chú ý và ức chế không cực đại, như được minh họa trong hình ảnh sau.

DiffSeg bảo tồn thông tin trực quan trên nhiều độ phân giải bằng cách tổng hợp các tensor chú ý 4D với tính nhất quán không gian và sử dụng một quá trình hợp nhất lặp lại bằng cách lấy mẫu các điểm neo. Những điểm neo này đóng vai trò là điểm xuất phát cho việc hợp nhất mặt nạ chú ý với các neo đối tượng tương tự được hấp thụ cuối cùng. Khung DiffSeg kiểm soát quá trình hợp nhất với sự giúp đỡ của phương pháp phân kỳ KL để đo lường sự tương tự giữa hai bản đồ chú ý.

Khi so sánh với các phương pháp phân đoạn không giám sát dựa trên phân cụm, các nhà phát triển không cần chỉ định số lượng cụm trước trong thuật toán DiffSeg, và ngay cả khi không có kiến thức trước, thuật toán DiffSeg vẫn có thể tạo ra phân đoạn mà không sử dụng thêm bất kỳ tài nguyên nào. Tổng thể, thuật toán DiffSeg là “một phương pháp phân đoạn không giám sát và zero-shot mới, tận dụng mô hình Stable Diffusion được huấn luyện trước và có thể phân đoạn hình ảnh mà không cần thêm tài nguyên hoặc kiến thức trước.”

DiffSeg : Các Khái niệm Cơ bản

DiffSeg là một thuật toán mới xây dựng trên những hiểu biết từ các Mô hình Khuếch tán, Phân đoạn không giám sát và Phân đoạn Zero-Shot.

Mô hình Khuếch tán

Thuật toán DiffSeg xây dựng trên những hiểu biết từ các mô hình khuếch tán được huấn luyện trước. Mô hình khuếch tán là một trong những khuôn khổ tạo sinh phổ biến nhất cho các mô hình thị giác máy tính, và nó học quá trình khuếch tán tiến và ngược từ một hình ảnh nhiễu Gauss đẳng hướng lấy mẫu đến tạo ra một hình ảnh. Stable Diffusion là biến thể phổ biến nhất của mô hình khuếch tán, và nó được sử dụng để thực hiện một loạt các nhiệm vụ bao gồm phân đoạn được giám sát, phân loại zero-shot, khớp tương ứng ngữ nghĩa, phân đoạn hiệu quả nhãn và phân đoạn từ vựng mở. Tuy nhiên, vấn đề duy nhất với mô hình khuếch tán là chúng phụ thuộc vào các đặc trưng thị giác có số chiều cao để thực hiện các nhiệm vụ này, và chúng thường yêu cầu huấn luyện thêm để tận dụng đầy đủ các đặc trưng này.

Phân đoạn không giám sát

Thuật toán DiffSeg liên quan chặt chẽ đến phân đoạn không giám sát, một phương pháp hiện đại của trí tuệ nhân tạo nhằm tạo ra các mặt nạ phân đoạn dày đặc mà không cần sử dụng bất kỳ chú thích nào. Tuy nhiên, để cung cấp hiệu suất tốt, các mô hình phân đoạn không giám sát thường cần một số huấn luyện không giám sát trước trên tập dữ liệu mục tiêu. Các khuôn khổ phân đoạn không giám sát dựa trên trí tuệ nhân tạo có thể được phân loại thành hai loại: phân cụm sử dụng mô hình được huấn luyện trước và phân cụm dựa trên bất biến. Trong loại đầu tiên, các khuôn khổ sử dụng các đặc trưng phân biệt được học bởi các mô hình được huấn luyện trước để tạo ra mặt nạ phân đoạn, trong khi các khuôn khổ thuộc loại thứ hai sử dụng một thuật toán phân cụm chung để tối ưu hóa thông tin tương hỗ giữa hai hình ảnh để phân đoạn hình ảnh thành các cụm ngữ nghĩa và tránh phân đoạn suy giảm.

Phân đoạn Zero-Shot

Thuật toán DiffSeg liên quan chặt chẽ đến các khuôn khổ phân đoạn zero-shot, một phương pháp có khả năng phân đoạn mọi thứ mà không cần huấn luyện trước trên dữ liệu mục tiêu hoặc có kiến thức về dữ liệu đó. Các mô hình phân đoạn zero-shot đã chứng minh khả năng chuyển giao zero-shot vượt trội trong thời gian gần đây, mặc dù chúng yêu cầu một số đầu vào văn bản và lời nhắc. Ngược lại, thuật toán DiffSeg sử dụng một mô hình khuếch tán để tạo ra phân đoạn mà không cần hỏi và tổng hợp nhiều hình ảnh và mà không biết nội dung của đối tượng.

DiffSeg : Phương pháp và Kiến trúc

Thuật toán DiffSeg sử dụng các lớp tự chú ý trong một mô hình Stable Diffusion được huấn luyện trước để tạo ra các nhiệm vụ phân đoạn chất lượng cao.

Mô hình Stable Diffusion

Stable Diffusion là một trong những khái niệm cơ bản trong khuôn khổ DiffSeg. Stable Diffusion là một khuôn khổ tạo sinh trí tuệ nhân tạo, và nó là một trong những mô hình khuếch tán phổ biến nhất. Một trong những đặc điểm chính của mô hình khuếch tán là một lượt tiến và một lượt ngược. Trong lượt tiến, một lượng nhỏ nhiễu Gauss được thêm vào hình ảnh một cách lặp lại tại mỗi bước thời gian cho đến khi hình ảnh trở thành một hình ảnh nhiễu Gauss đẳng hướng. Mặt khác, trong lượt ngược, mô hình khuếch tán loại bỏ lặp lại nhiễu trong hình ảnh nhiễu Gauss đẳng hướng để khôi phục hình ảnh gốc mà không có nhiễu Gauss.

Khuôn khổ Stable Diffusion sử dụng một kiến trúc mã hóa-giải mã, và một thiết kế U-Net với lớp chú ý, nơi nó sử dụng bộ mã hóa để nén hình ảnh vào một không gian tiềm ẩn có kích thước không gian nhỏ hơn, và sử dụng bộ giải mã để giải nén hình ảnh. Kiến trúc U-Net bao gồm một chồng các khối mô-đun, nơi mỗi khối được cấu thành từ một trong hai thành phần sau: một lớp Transformer, và một lớp ResNet.

Thành phần và Kiến trúc

Các lớp tự chú ý trong mô hình khuếch tán nhóm thông tin của các đối tượng vốn có trong hình thức của các bản đồ chú ý không gian, và DiffSeg là một phương pháp hậu xử lý mới để hợp nhất các tensor chú ý vào một mặt nạ phân đoạn hợp lệ với đường ống bao gồm ba thành phần chính: tổng hợp chú ý, ức chế không cực đại, và hợp nhất chú ý lặp lại.

Tổng hợp chú ý

Đối với một hình ảnh đầu vào đi qua các lớp U-Net và mã hóa, mô hình Stable Diffusion tạo ra tổng cộng 16 tensor chú ý, với 5 tensor cho mỗi chiều. Mục tiêu chính của việc tạo ra 16 tensor là hợp nhất các tensor chú ý với các độ phân giải khác nhau vào một tensor có độ phân giải cao nhất có thể. Để đạt được điều này, thuật toán DiffSeg xử lý bốn chiều theo những cách khác nhau.

Trong số bốn chiều, hai chiều cuối cùng trong các tensor chú ý có độ phân giải khác nhau nhưng chúng nhất quán về không gian vì bản đồ không gian 2D của khuôn khổ DiffSeg tương ứng với mối quan hệ giữa các vị trí và vị trí không gian. Do đó, khuôn khổ DiffSeg lấy mẫu hai chiều của tất cả các bản đồ chú ý đến độ phân giải cao nhất của tất cả, 64 x 64. Mặt khác, hai chiều đầu tiên chỉ ra tham chiếu vị trí của các bản đồ chú ý như được minh họa trong hình ảnh sau.

Vì các chiều này đề cập đến vị trí của các bản đồ chú ý, các bản đồ chú ý cần được hợp nhất tương ứng. Ngoài ra, để đảm bảo rằng bản đồ chú ý hợp nhất có một phân phối hợp lệ, khuôn khổ chuẩn hóa phân phối sau khi hợp nhất với mỗi bản đồ chú ý được gán một trọng số tỷ lệ với độ phân giải của nó.

Hợp nhất Chú ý Lặp lại

Trong khi mục tiêu chính của tổng hợp chú ý là tính toán một tensor chú ý, mục tiêu chính là hợp nhất các bản đồ chú ý trong tensor vào một chồng các đề xuất đối tượng, nơi mỗi đề xuất riêng biệt chứa hoặc nhóm bề mặt hoặc vật liệu (stuff) hoặc hoạt động của một đối tượng đơn. Giải pháp được đề xuất để đạt được điều này là thực hiện một thuật toán K-Means trên phân phối hợp lệ của tensor để tìm các cụm của các đối tượng. Tuy nhiên, sử dụng K-Means không phải là giải pháp tối ưu vì K-Means yêu cầu người dùng chỉ định số lượng cụm trước. Hơn nữa, việc thực hiện một thuật toán K-Means có thể dẫn đến các kết quả khác nhau cho cùng một hình ảnh vì nó phụ thuộc vào khởi tạo một cách ngẫu nhiên. Để vượt qua chướng ngại vật này, khuôn khổ DiffSeg đề xuất tạo ra một lưới lấy mẫu để tạo ra các đề xuất bằng cách hợp nhất các bản đồ chú ý lặp lại.

Ức chế không cực đại

Bước trước của hợp nhất chú ý lặp lại tạo ra một danh sách các đề xuất đối tượng dưới dạng bản đồ chú ý xác suất, nơi mỗi đề xuất đối tượng chứa hoạt động của đối tượng. Khuôn khổ sử dụng ức chế không cực đại để chuyển đổi danh sách các đề xuất đối tượng thành một mặt nạ phân đoạn hợp lệ, và quá trình này là một cách tiếp cận hiệu quả vì mỗi phần tử trong danh sách đã là một bản đồ của phân phối xác suất. Đối với mỗi vị trí không gian trên tất cả các bản đồ, thuật toán lấy chỉ mục của xác suất lớn nhất và gán một thành viên dựa trên chỉ mục của bản đồ tương ứng.

DiffSeg : Thử nghiệm và Kết quả

Các khuôn khổ làm việc trên phân đoạn không giám sát sử dụng hai chuẩn phân đoạn chính là Cityscapes và COCO-stuff-27. Chuẩn Cityscapes là một tập dữ liệu lái xe tự động với 27 danh mục trung cấp, trong khi chuẩn COCO-stuff-27 là một phiên bản được chỉnh sửa của tập dữ liệu COCO-stuff ban đầu, kết hợp 80 nhóm vật thể (things) và 91 nhóm bề mặt hoặc vật liệu (stuff) thành 27 danh mục. Hơn nữa, để phân tích hiệu suất phân đoạn, khuôn khổ DiffSeg sử dụng trung bình tỷ số giữa phần giao và phần hợp hoặc mIoU và độ chính xác pixel hoặc ACC, và vì thuật toán DiffSeg không thể cung cấp một nhãn ngữ nghĩa, nó sử dụng thuật toán khớp Hungarian để gán một mặt nạ tham chiếu chuẩn với mỗi mặt nạ dự đoán. Trong trường hợp số lượng mặt nạ dự đoán vượt quá số lượng mặt nạ tham chiếu chuẩn, khuôn khổ sẽ coi các mặt nạ dự đoán không khớp là giả âm.

Ngoài ra, khuôn khổ DiffSeg cũng nhấn mạnh vào ba yêu cầu sau khi suy luận: Sự phụ thuộc Ngôn ngữ hoặc LD, Điều chỉnh không giám sát hoặc UA, và Hình ảnh Phụ hoặc AX. Sự phụ thuộc Ngôn ngữ có nghĩa là phương pháp cần đầu vào văn bản mô tả để tạo điều kiện cho phân đoạn hình ảnh, Điều chỉnh không giám sát đề cập đến yêu cầu phương pháp sử dụng huấn luyện không giám sát trên tập dữ liệu mục tiêu, trong khi Hình ảnh Phụ đề cập đến phương pháp cần đầu vào bổ sung dưới dạng hình ảnh tổng hợp hoặc dưới dạng một nhóm hình ảnh tham chiếu.

Kết quả

Trên chuẩn COCO, khuôn khổ DiffSeg bao gồm hai chuẩn K-Means, K-Means-S và K-Means-C. Chuẩn K-Means-C bao gồm 6 cụm mà nó tính toán bằng cách lấy trung bình số lượng đối tượng trong các hình ảnh nó đánh giá, trong khi chuẩn K-Means-S sử dụng một số cụm cụ thể cho mỗi hình ảnh dựa trên số lượng đối tượng trong dữ liệu tham chiếu chuẩn của hình ảnh, và kết quả trên cả hai chuẩn này được minh họa trong hình ảnh sau.

Như có thể thấy, chuẩn K-Means vượt trội so với các phương pháp hiện có, chứng tỏ lợi ích của việc sử dụng tensor tự chú ý. Điều thú vị là chuẩn K-Means-S vượt trội so với chuẩn K-Means-C, cho thấy rằng số lượng cụm là một siêu tham số cơ bản và việc điều chỉnh nó là quan trọng cho mỗi hình ảnh. Hơn nữa, ngay cả khi dựa trên cùng tensor chú ý, khuôn khổ DiffSeg vượt trội so với các chuẩn K-Means, chứng tỏ khả năng của khuôn khổ DiffSeg không chỉ cung cấp phân đoạn tốt hơn mà còn tránh được những hạn chế do việc sử dụng chuẩn K-Means.

Trên tập dữ liệu Cityscapes, khuôn khổ DiffSeg cung cấp kết quả tương tự như các khuôn khổ sử dụng đầu vào với độ phân giải thấp hơn 320 trong khi vượt trội so với các khuôn khổ sử dụng đầu vào với độ phân giải cao hơn 512 trên cả độ chính xác và mIoU.

Như đã đề cập trước đó, khuôn khổ DiffSeg sử dụng một số siêu tham số như được minh họa trong hình ảnh sau.

Tổng hợp chú ý là một trong những khái niệm cơ bản được sử dụng trong khuôn khổ DiffSeg, và hiệu ứng của việc sử dụng các trọng số hợp nhất khác nhau được minh họa trong hình ảnh sau với độ phân giải của hình ảnh được giữ không đổi.

Như có thể quan sát được, các bản đồ có độ phân giải cao trong Hình (b) với 64 x 64 bản đồ tạo ra phân đoạn chi tiết nhất, mặc dù phân đoạn có một số vết nứt rõ ràng, trong khi các bản đồ có độ phân giải thấp hơn 32 x 32 có xu hướng phân đoạn quá mức chi tiết, mặc dù nó dẫn đến phân đoạn nhất quán hơn. Trong Hình (d), các bản đồ có độ phân giải thấp không thể tạo ra phân đoạn vì toàn bộ hình ảnh được hợp nhất vào một đối tượng duy nhất với các thiết lập siêu tham số hiện có. Cuối cùng, Hình (a) sử dụng chiến lược hợp nhất tỷ lệ tạo ra phân đoạn chi tiết hơn và nhất quán hơn.

Suy nghĩ Cuối cùng

Phân đoạn không giám sát zero-shot vẫn là một trong những chướng ngại vật lớn nhất đối với các khuôn khổ thị giác máy tính, và các mô hình hiện có thường phụ thuộc vào điều chỉnh không giám sát không zero-shot hoặc vào các tài nguyên bên ngoài. Để vượt qua chướng ngại vật này, chúng ta đã thảo luận về cách các lớp tự chú ý trong các mô hình Stable Diffusion có thể cho phép xây dựng một mô hình có khả năng phân đoạn mọi đầu vào trong một chế độ zero-shot mà không cần chú thích phù hợp, vì các lớp tự chú ý này vốn hiểu các khái niệm đối tượng được học bởi một mô hình Stable Diffusion được huấn luyện trước. Chúng ta cũng đã thảo luận về DiffSeg, một chiến lược hậu xử lý mới nhằm tận dụng tiềm năng của khuôn khổ Stable Diffusion để xây dựng một mô hình phân đoạn chung có thể thực hiện chuyển giao zero-shot trên bất kỳ hình ảnh nào. Thuật toán này dựa vào độ tương đồng giữa các bản đồ chú ý và độ tương đồng bên trong từng bản đồ chú ý để hợp nhất các bản đồ chú ý lặp lại vào các mặt nạ phân đoạn hợp lệ để đạt được hiệu suất hàng đầu trên các chuẩn mực phổ biến.

Kunal Kejriwal là một kỹ sư backend chuyên về Python, PostgreSQL, Redis và hạ tầng đám mây trên GCP và AWS. Với ba năm kinh nghiệm trong việc xây dựng và mở rộng các hệ thống đang vận hành thực tế, anh viết về cơ sở hạ tầng AI, các hệ thống phân tán và kiến trúc triển khai các khối lượng công việc học máy.