Mô hình và nền tảng AI
Mô Hình Khuếch Tán Là Gì? Cách Hoạt Động Tạo Hình Ảnh AI
Thêm Unite.AI vào các nguồn ưu tiên của bạn trên Google
Mô hình khuếch tán là một mô hình sinh học học cách đảo ngược quá trình nhiễu dần dần. Trong quá trình huấn luyện, các ví dụ bị làm nhiễu ở các mức độ nhiễu khác nhau và một mạng nơ-ron học thông tin cần thiết để đưa mẫu nhiễu về phía phân phối dữ liệu.
Khi tạo ra, hệ thống bắt đầu từ nhiễu và áp dụng một chuỗi các bước khử nhiễu. Điều kiện văn bản, hướng dẫn, biểu diễn tiềm ẩn và bộ lấy mẫu quyết định cách mô hình liên kết lời nhắc với hình ảnh, đoạn âm thanh, video hoặc các đầu ra khác.
Những điểm chính
- Huấn luyện học một hàm khử nhiễu hoặc hàm điểm số qua nhiều mức độ nhiễu.
- Lấy mẫu là quá trình lặp lại, do đó chất lượng, tốc độ và khả năng tái tạo phụ thuộc vào bộ giải và lịch trình.
- Khuếch tán tiềm ẩn giảm chi phí bằng cách khử nhiễu một biểu diễn nén thay vì các pixel.
- Phương tiện được tạo ra thừa hưởng dữ liệu, sự đồng ý, nguồn gốc, thiên lệch và rủi ro lạm dụng mà kiến trúc đơn độc không thể giải quyết.
Nhiễu tiến và đảo ngược được học
Quá trình tiến dần dần thêm nhiễu Gaussian đã biết cho đến khi mẫu gần như không thể phân biệt được với nhiễu ngẫu nhiên. Trong quá trình huấn luyện, một thời điểm được chọn, một ví dụ thực tế bị làm nhiễu, và mạng nơ-ron được yêu cầu dự đoán nhiễu, một mẫu sạch hoặc một dạng tham số liên quan.
Vì quá trình làm nhiễu đã biết, các cặp có thể được tạo tự động từ dữ liệu huấn luyện. Động lực đảo ngược được học kết nối khuếch tán với AI sinh tạo mà không cần bộ phân biệt đối kháng như trong GAN.
Điều kiện và hướng dẫn
Bộ mã hoá văn bản chuyển lời nhắc thành các embedding dùng để điều kiện khử nhiễu, thường thông qua cross-attention. Các điều kiện hình ảnh, mặt nạ, độ sâu, tư thế hoặc âm thanh có thể hạn chế cách sắp xếp. Hướng dẫn không dựa trên bộ phân loại kết hợp dự đoán có điều kiện và không có điều kiện để điều chỉnh mức độ tuân thủ.
Mức hướng dẫn cao hơn không luôn tốt hơn: nó có thể làm giảm đa dạng hoặc tạo ra các hiện tượng lỗi. Các hạt giống (seed) chỉ tái tạo lại nhiễu ban đầu khi mô hình, bộ lấy mẫu, độ chính xác, phần mềm và các cài đặt cũng được kiểm soát. Kỹ thuật lời nhắc ảnh hưởng đến kết quả nhưng không tiết lộ mọi yếu tố đã học.
Không gian pixel, không gian tiềm ẩn và lấy mẫu
Các mô hình không gian pixel hoạt động trực tiếp trên mảng đầu ra. Khuếch tán tiềm ẩn đầu tiên nén một hình ảnh bằng autoencoder, thực hiện khuếch tán trong không gian chiều thấp hơn, sau đó giải mã lại. Việc nén làm cho việc tạo ra hình ảnh độ phân giải cao trở nên thực tế hơn nhưng có thể mất chi tiết.
Các bộ lấy mẫu kiểu DDPM có thể sử dụng nhiều bước ngẫu nhiên; DDIM và các bộ giải hiện đại có thể dùng ít hơn. Quá trình chưng cất (distillation) có thể nén việc tạo ra thành ít vòng hơn nữa. Mỗi cải thiện tốc độ cần được đánh giá về độ trung thực với lời nhắc, đa dạng, hiện tượng lỗi và chất lượng theo nhiệm vụ.
Đánh giá và triển khai có trách nhiệm
Các chỉ số phân phối như FID ước tính độ tương đồng tổng thể nhưng không đo lường tính thực tế, độ trung thực với lời nhắc, giải phẫu, kiểu chữ hoặc tác động xã hội. Đánh giá của con người cần tiêu chí rõ ràng và so sánh mù. Các bài kiểm tra an toàn nên bao gồm việc ghi nhớ, danh tính, nội dung gây hại và đại diện dân số.
Theo dõi quyền nguồn, sự đồng ý, nhãn và nguồn gốc. Các biện pháp kiểm soát phương tiện tổng hợp nên kết hợp bảo vệ mô hình, đánh giá, chứng nhận nội dung, phản hồi sự cố và một cách để những người bị ảnh hưởng tìm kiếm giải pháp.
Mục tiêu học sâu hơn
Lịch trình khuếch tán xác định mức độ nhiễu được thêm vào mỗi thời điểm. Thay vì mô phỏng mọi bước tiến trong quá trình huấn luyện, một mẫu sạch có thể được biến đổi trực tiếp thành mức nhiễu đã chọn bằng công thức đóng. Mạng nhận mẫu nhiễu, thời điểm và điều kiện tùy chọn, sau đó dự đoán một mục tiêu liên quan đến nhiễu hoặc dữ liệu sạch.
Hàm mất mát trong huấn luyện thường là lỗi bình phương trung bình có trọng số, nhưng việc gán trọng số cho các thời điểm thay đổi các vùng tín hiệu‑nhiễu được nhấn mạnh. Các dạng tham số như epsilon, x₀ và velocity có hành vi số học khác nhau. Giải thích biến thể kết nối quá trình với các giới hạn khả năng, trong khi khớp điểm số (score matching) xem mạng như đang ước tính gradient của log mật độ.
Kiến trúc phụ thuộc vào loại dữ liệu. Các hệ thống hình ảnh thường dùng U‑Net hoặc bộ khử nhiễu dựa trên transformer với các đặc trưng đa tầm; các mô hình âm thanh và video phải biểu diễn thời gian và tính nhất quán dài hạn. Điều kiện văn bản có thể được đóng băng hoặc huấn luyện chung. Một bộ mã hoá văn bản mạnh mẽ có thể cải thiện việc khớp lời nhắc đồng thời mang theo các thiên lệch và lỗi riêng.
Bộ lấy mẫu, chỉnh sửa và kiểm soát
Lấy mẫu chia rời quá trình đảo ngược. Các bộ lấy mẫu ngẫu nhiên kế thừa giữ lại tính ngẫu nhiên, các bộ giải quyết xác định hoặc một phần ngẫu nhiên có thể giảm số bước, và quá trình chưng cất đào tạo một mô hình học sinh để xấp xỉ nhiều cập nhật cùng lúc. So sánh các phương pháp với cùng mô hình, độ phân giải, tập lời nhắc và mức độ hướng dẫn.
Quá trình tạo hình ảnh‑từ‑hình ảnh bắt đầu từ một mã hoá đã bị nhiễu của đầu vào; mức độ nhiễu kiểm soát mức độ bảo tồn cấu trúc. Inpainting sử dụng mặt nạ để tái tạo các vùng đã chọn. Các bộ chuyển đổi cấu trúc có thể điều kiện dựa trên cạnh, độ sâu, tư thế hoặc phân đoạn. Những điều kiện này hướng dẫn mẫu nhưng không đảm bảo tính đúng đắn về hình học hay ngữ nghĩa.
Việc chỉnh sửa tạo ra rủi ro về danh tính và nguồn gốc. Hệ thống có thể giữ lại đủ cấu trúc khuôn mặt để mạo danh ai đó hoặc thay đổi ý nghĩa tài liệu. Giao diện nên phân biệt giữa biến đổi sáng tạo và tuyên bố về các sự kiện thực tế, đồng thời thêm rào cản hoặc đánh giá cho các danh tính và bối cảnh nhạy cảm.
Dữ liệu huấn luyện, đánh giá và triển khai
Các quy trình dữ liệu thu thập, lọc, loại bỏ trùng lặp, chú thích và cân nhắc trọng số cho phương tiện. Lỗi chú thích làm suy yếu việc căn chỉnh văn bản; các bản sao có thể làm tăng mức độ ghi nhớ; bộ lọc có thể loại bỏ các cộng đồng hợp pháp trong khi để lại các liên kết gây hại. Quyền và sự đồng ý phải được giải quyết độc lập với chất lượng kỹ thuật.
Đánh giá cần nhiều lớp: các chỉ số tái tạo hoặc liên quan tới khả năng, các chỉ số phân phối, sự căn chỉnh lời nhắc‑hình ảnh, sở thích của con người, đa dạng, kiểm tra ghi nhớ và các bài kiểm tra an toàn (red‑teaming). Đánh giá các loại lỗi như đếm, quan hệ không gian, hiển thị văn bản, danh tính và tính nhất quán video dài riêng biệt.
Chi phí triển khai bao gồm trọng số mô hình, bộ mã hoá văn bản, autoencoder, các bước bộ lấy mẫu, mô hình an toàn và nâng cấp độ phân giải. Kích thước batch và độ phân giải làm tăng độ trễ đáng kể. Ghi lại các hạt giống và cài đặt đầy đủ, đính kèm nguồn gốc khi có thể, và bảo tồn lời nhắc cùng các quyết định kiểm duyệt cần thiết để điều tra một sự cố.
Quy trình tạo hình ảnh bằng khuếch tán trong thực tế
Trong một hệ thống khuếch tán tiềm ẩn, bộ mã hoá ánh xạ một hình ảnh thành biểu diễn tiềm ẩn gọn gàng. Quá trình huấn luyện thêm nhiễu ở các thời điểm đã chọn và dạy một mạng khử nhiễu — thường là U‑Net hoặc transformer — dự đoán nhiễu, vận tốc hoặc mục tiêu khác dựa trên các embedding văn bản. Bộ lập lịch xác định quá trình nhiễu tiến và các bước lấy mẫu đảo ngược. Bộ giải mã chuyển biểu diễn tiềm ẩn cuối cùng trở lại thành pixel; mỗi thành phần có thể tạo ra các lỗi và thiên lệch riêng.
Khi suy luận, cùng một lời nhắc có thể cho ra các kết quả khác nhau tùy thuộc vào hạt giống, bộ lấy mẫu, số bước, mức độ hướng dẫn, độ phân giải, điều kiện tiêu cực và phiên bản mô hình. Nhiều bước không luôn cải thiện chất lượng, và hướng dẫn quá mức có thể làm giảm đa dạng hoặc làm biến dạng hình ảnh. Đánh giá mức độ tuân thủ lời nhắc, bố cục, giải phẫu, hiển thị văn bản, đa dạng, độ trễ và an toàn bằng cả đánh giá của con người và các chỉ số đặc thù cho nhiệm vụ. Giữ lại hạt giống và cấu hình để có thể tái tạo kết quả.
Triển khai đòi hỏi nguồn gốc, quyền và các biện pháp kiểm soát lạm dụng cùng với chất lượng mô hình. Ghi lại tài liệu mô hình và bộ dữ liệu, tôn trọng giấy phép, lọc nội dung bất hợp pháp, bảo vệ chống lại việc mạo danh không có sự đồng ý, và gắn nhãn hoặc ký các đầu ra khi cần. Việc chỉnh sửa hình ảnh, inpainting và các bộ chuyển đổi cá nhân hoá tạo ra các rủi ro danh tính bổ sung. Một hệ thống sản xuất nên bảo tồn siêu dữ liệu tạo ra, hỗ trợ quy trình báo cáo và xóa bỏ, và tránh ngụ ý rằng một hình ảnh là bằng chứng tài liệu chỉ vì nó trông thực tế.
Danh sách kiểm tra triển khai thực tiễn
Biến ý tưởng thành một quy trình làm việc có giới hạn, có thể kiểm thử: mẫu thực → thêm nhiễu → học bộ khử nhiễu → bắt đầu nhiễu → lặp lại → giải mã. Đặt tên cho người chịu trách nhiệm, ghi chép dữ liệu và các phụ thuộc, thiết lập một tiêu chuẩn cơ bản đơn giản, xác định tiêu chí chấp nhận và dừng, kiểm tra các lỗi đại diện, và định nghĩa giám sát, khôi phục và đánh giá trước khi mở rộng phạm vi. Ghi lại các phiên bản và giả định để đội khác có thể tái tạo kết quả và hiểu những gì đã thay đổi.
Trước khi ra mắt, thực hiện một cuộc đánh giá sẵn sàng được ghi chép với những người xây dựng, vận hành, bảo mật và bị ảnh hưởng bởi hệ thống. Kiểm tra các trường hợp bình thường, điều kiện biên, lỗi phụ thuộc và lạm dụng; bảo tồn bằng chứng và các rủi ro chưa giải quyết. Xác định người có thể phê duyệt phát hành, thay đổi ngưỡng, ghi đè đầu ra hoặc dừng hoạt động. Xem lại quyết định sau khi dữ liệu thực tế xuất hiện, vì một dự án thí nghiệm thành công về mặt kỹ thuật không đảm bảo hiệu suất đáng tin cậy ở quy mô lớn hơn.
- HUẤN LUYỆN: dự đoán thông tin khử nhiễu.
- ĐIỀU KIỆN: hướng dẫn bằng văn bản, hình ảnh hoặc cấu trúc.
- LẤY MẪU: cân bằng giữa số bước, tốc độ và chất lượng.
Câu hỏi thường gặp
Mô hình khuếch tán chỉ dành cho hình ảnh?
Không. Cùng một nhóm ý tưởng được áp dụng cho âm thanh, video, cấu trúc phân tử, hành động và các dữ liệu liên tục hoặc rời rạc khác.
Tại sao quá trình tạo ra cần nhiều bước?
Lấy mẫu theo số học theo một đường đi đã học từ nhiễu tới một mẫu. Các bộ giải ít bước và các mô hình chưng cất đổi chác tính toán với chất lượng và độ ổn định.
Tài liệu tham khảo chính
