Sử dụng Trí tuệ nhân tạo để Cải thiện Ảnh thật trước khi Chụp

Thay vì sử dụng Trí tuệ nhân tạo để sửa ảnh sau khi bạn chụp chúng, các nhà nghiên cứu đã đào tạo một hệ thống thông báo cho bạn cách di chuyển, tạo dáng và khung hình trước khi chụp, sử dụng kiến thức đã được nghiên cứu về những gì làm cho ảnh trở nên đáng nhớ.

Việc sửa ảnh sau khi chụp đã trở nên dễ dàng hơn trong một thời gian, vì các nhà sản xuất và nền tảng công nghệ ngày càng cung cấp khả năng chỉnh sửa trong máy ảnh cho phép người dùng thay đổi ảnh ngay sau khi chụp. Các hệ thống phổ biến của loại này bao gồm chỉnh sửa đối thoại của Google và chỉnh sửa tạo của Samsung, cùng với một số khác.

Tuy nhiên, một xu hướng mới nổi đang ưa chuộng ‘tính xác thực’ hơn là kết quả ‘cải thiện’ bởi Trí tuệ nhân tạo có thể có nghĩa là nhiều người tiêu dùng mà những hệ thống như vậy nhắm đến bắt đầu coi ảnh ‘đã chỉnh sửa’ là rác rưởi Trí tuệ nhân tạo.

Có lẽ đây là lý do tại sao Google tạo ra một ‘huấn luyện viên máy ảnh’ được đào tạo bởi Gemini, có khả năng đưa ra hướng dẫn trực tiếp để cải thiện ảnh trong quá trình chụp:

Huấn luyện viên máy ảnh của Google cho người dùng biết cách tạo khung hình lại ảnh, cùng với các lời khuyên cơ bản khác. Nguồn

Là một hệ thống độc quyền, và với hầu như không có thông tin trực tuyến về nó, Huấn luyện viên máy ảnh dường như tận dụng Gemini để giúp người dùng cải thiện khung hình (xem hình ảnh trên) hoặc thực hiện các thay đổi nhỏ về tư thế (chẳng hạn như di chuyển lại gần nhau hoặc nhìn trực tiếp vào máy ảnh).

Vì vậy, theo như bất kỳ ai có thể nói, sản phẩm này đẩy khung hình về hướng trung vị, có lẽ dựa trên hàng triệu điểm dữ liệu nội dung đã được tải lên có thể đã đóng góp vào dữ liệu đào tạo của Gemini. Theo cách này, người dùng tải lên đã tạo ra sự hiệu chỉnh của Trí tuệ nhân tạo bằng cách từ chối các ảnh không满意 và tải lên những ảnh họ thích – một hình thức hiệu chỉnh dữ liệu hiệu quả (và miễn phí)!

Tuy nhiên, ảnh được trung bình hóa về mặt khung hình không nhất thiết phải có cùng giá trị thẩm mỹ hoặc tác động đến người xem như ảnh đáng nhớ.

Vượt qua ‘Phô mai!’ và Quy tắc của thứ ba

Để đạt được điều này, và hướng tới một hệ thống có thể tiếp cận được trên nhiều nền tảng, nghiên cứu mới từ Ý cung cấp một hệ thống theo phong cách Huấn luyện viên, dựa trên kiến thức trước về những gì làm cho ảnh trở nên đáng nhớ:

Ví dụ về lời khuyên từ hệ thống mới của các tác giả. Nguồn

Trong các ví dụ trên, chúng ta thấy lời khuyên được đưa ra bởi hệ thống mới của các tác giả – được gọi là Huấn luyện viên bộ nhớ – mà khó có thể tưởng tượng một Trí tuệ nhân tạo tập trung vào khung hình như Huấn luyện viên máy ảnh có thể cung cấp. Trong trường hợp đầu tiên (trái nhất), lời khuyên để loại bỏ mũ là đặc biệt đáng ngờ; trong ảnh thứ hai, khó có thể tưởng tượng được bối cảnh chung mà một Trí tuệ nhân tạo tập trung vào khung hình có thể rút ra từ tình huống chung (tức là một bức ảnh ‘nghệ thuật’ của một cô gái trẻ nằm trên sàn với mắt closed).

Cốt lõi của hiểu biết về tính đáng nhớ trong nhiếp ảnh, được sử dụng để phát triển hệ thống ba phần của Ý, được rút ra từ các công việc trước đây, bao gồm bài báo năm 2015 Điều gì làm cho một đối tượng đáng nhớ? và bài báo năm 2013 Điều gì làm cho một bức ảnh đáng nhớ?.

Từ bài báo năm 2013 What makes a photograph memorable?, ví dụ đại diện về ảnh tốt, trung bình và kém, về mặt tính đáng nhớ. Nguồn

Bất kỳ ai, như tôi, với ngày sinh Unix âm, sẽ có thể nhận ra mẫu cho ‘ảnh ít đáng nhớ nhất’ (trên cùng, bên phải trong hình ảnh trên), từ những đêm trượt ảnh không ngừng nghỉ mà tuổi thơ chúng ta đã bị nguyền rủa. Như các tác giả tuyên bố*:

‘Những công việc này đã xác định các yếu tố nội tại quan trọng như sự hiện diện của người, cảnh trong nhà, hoặc biểu hiện cảm xúc, chứ không phải đối tượng và quan điểm toàn cảnh, cũng như các yếu tố bên ngoài, bao gồm bối cảnh và người quan sát. ‘

Dự án tập trung vào ‘phản hồi tính đáng nhớ’ (MemFeed), được thể hiện trong ứng dụng hướng dẫn MemCoach và một điểm chuẩn (được gọi là MemBench) dựa trên PPR10K dataset.

Từ bài báo PPR10K: A Large-Scale Portrait Photo Retouching Dataset with Human-Region Mask and Group-Level Consistency, mẫu đa dạng từ tập dữ liệu. Hàng trên cùng hiển thị ảnh gốc, hàng dưới cùng hiển thị phiên bản chỉnh sửa chuyên nghiệp cùng với mặt nạ vùng người tương ứng. Ảnh gốc thay đổi rộng rãi về điểm nhìn, nền, ánh sáng và cài đặt máy ảnh, trong khi kết quả chỉnh sửa hiển thị chất lượng hình ảnh được cải thiện và sự nhất quán mạnh mẽ hơn trong mỗi nhóm. Nguồn

Bài báo lưu ý rằng tính đáng nhớ là có thể đo lường được trong ảnh, chứ không phải là một đăng ký của các phán đoán chủ quan, và các tác giả lưu ý thêm rằng thuộc tính này đã được xác định cả cho ảnh (trong các công việc) và video (trong các khác).

Bài báo mới được gọi là Làm thế nào để chụp một bức ảnh đáng nhớ? Cung cấp cho người dùng phản hồi có thể hành động, và đến từ bốn nhà nghiên cứu trên Đại học Trento, Đại học Pisa và Fondazione Bruno Kessler. Trang dự án đồng hành gợi ý rằng mã GitHub và dữ liệu được lưu trữ trên Hugging Face sẽ có sẵn vào tháng tới (tháng 3 năm 2026).

Phương pháp

Để tạo ra tập dữ liệu MemBench từ tập dữ liệu ảnh chân dung PPR10K, các nhà nghiên cứu đã nhóm ảnh từ cùng một cảnh và đánh giá mỗi ảnh về tính đáng nhớ bằng cách sử dụng một bộ dự đoán được đào tạo dựa trên CLIP tính năng. Sau đó, họ đã xếp hạng ảnh trong mỗi cảnh từ ít đáng nhớ đến đáng nhớ hơn và ghép chúng lại:

Tổng quan về việc xây dựng và đánh giá MemBench. Hàng trên cùng mô tả đường ống dữ liệu, từ việc nhóm ảnh theo cảnh và dự đoán tính đáng nhớ, đến việc xếp hạng ảnh và tạo phản hồi hành động nhận thức về tính đáng nhớ. Hàng dưới cùng minh họa việc đánh giá, đo lường chất lượng phản hồi thông qua lợi ích đáng nhớ dựa trên chỉnh sửa và đánh giá độ phức tạp.

Đối với mỗi cặp, các mô tả ngôn ngữ tự nhiên đã được tạo ra bằng cách sử dụng mô hình InternVL3.5 để giải thích sự khác biệt có thể nhìn thấy giữa phiên bản ít đáng nhớ và phiên bản đáng nhớ hơn; và những mô tả này sẽ tạo thành tín hiệu đào tạo cho hệ thống phản hồi về tính đáng nhớ.

Trái ngược với loại logic mà dướipins Huấn luyện viên máy ảnh của Google, các nhà nghiên cứu tìm kiếm một tập hợp các diễn giải tinh tế hơn^†:

‘Trái ngược với các điều chỉnh nhiếp ảnh tính toán tập trung vào sửa chữa hậu kỳ (ví dụ: “làm cho ảnh sáng hơn”), chúng tôi tập trung vào các hành động ngữ nghĩa mà người dùng có thể thực hiện trực tiếp để có một bức ảnh tốt hơn, ví dụ: “Hướng mặt về phía nhau”.’

Tập hợp MemBench cuối cùng bao gồm khoảng 10.000 ảnh được nhóm thành 1.570 cảnh, với trung bình 6,5 ảnh cho mỗi cảnh. Đám mây từ được các tác giả tạo ra (xem hình ảnh dưới), gợi ý một loạt các danh mục ngữ nghĩa trong tập dữ liệu:

Đám mây từ của các thuật ngữ thường xuyên nhất trong MemBench.

Ảnh nguồn có điểm đáng nhớ trung bình là 0,63, trong khi ảnh đáng nhớ nhất từ cùng một cảnh dao động từ 0,51 đến 1,0, với sự chồng chéo đáng chú ý giữa hai nhóm:

Phân phối điểm đáng nhớ so sánh ảnh ít đáng nhớ và đáng nhớ nhất trong mỗi cảnh.

Phản hồi bản thân dao động từ các ghi chú ngắn 7 từ đến các hướng dẫn đáng chú ý dài hơn (bên trái, trong hình ảnh dưới). Mỗi đoạn lời khuyên sau đó được chia thành các loại hành động nhỏ bằng cách sử dụng GPT-5 Mini (bên phải, trong hình ảnh dưới):

Phân phối độ dài phản hồi đo bằng từ nội dung, và phân loại các hành động con nguyên tử với độ rộng của dây chỉ tần suất đồng hiện trong các danh mục.

Các tác giả lưu ý rằng hầu hết các đề xuất tập trung vào cách chủ thể được tạo dáng, tiếp theo là các thay đổi về ý nghĩa hoặc nội dung cảnh, với khung hình thường liên quan đến tạo dáng, và điều chỉnh ánh sáng thường gắn liền với các thay đổi ngữ nghĩa.

Flux Capacitor

Để đánh giá xem tính đáng nhớ có được tăng lên bởi phản hồi hay không, sự tuân thủ của người dùng đã được mô phỏng thông qua việc sử dụng mô hình FLUX.1 Kontext tạo sinh, như một đại diện cho nhiếp ảnh gia. Cho một ảnh nguồn và một đoạn phản hồi văn bản, một phiên bản chỉnh sửa đã được tạo ra bởi Flux mô phỏng các thay đổi được đề xuất:

Ảnh ở bên trái là ảnh thực, từ tập dữ liệu, và ảnh ở bên phải (trong mỗi trường hợp) được tạo ra bởi Flux, dựa trên lời nhắc (màu vàng, dưới). Theo cách này, hiệu quả của lời nhắc có thể được đánh giá mà không cần sự tham gia của con người rộng rãi. Kiến thức này sẽ được đưa trở lại vào khuôn khổ MemCoach, và thực tế, nó đại diện cho một quy trình làm việc có thể cải thiện lặp lại một hệ thống như vậy (tức là cuối cùng với các ví dụ thế giới thực thay vì các ví dụ của Flux).

Cả ảnh gốc và ảnh chỉnh sửa sau đó đều được truyền qua một bộ dự đoán tính đáng nhớ, cho phép đo lường xem phiên bản chỉnh sửa đạt được điểm số cao hơn bao nhiêu lần – được gọi là Tỷ lệ cải thiện – và mức độ lợi ích là bao nhiêu so với ảnh ban đầu, được gọi là Tính đáng nhớ tương đối.

Tương tự như lời khuyên tập trung vào tính đáng nhớ, sự giống nhau cũng được đo lường bằng cách tính toán độ phức tạp so với các mô tả thực, và một phân chia 80–20 được áp dụng ở cấp độ cảnh để đảm bảo rằng việc kiểm tra chỉ được thực hiện trên các cảnh không được sử dụng trong quá trình đào tạo.

Trạng thái hiện tại

Sự nhận thức về tính đáng nhớ của các mô hình ngôn ngữ lớn đa phương thức hiện tại đã được kiểm tra. Ảnh từ tập dữ liệu LaMem đã được hiển thị cho một số mô hình hàng đầu, những mô hình này được yêu cầu cho biết liệu ảnh có đáng nhớ hay không. Ước tính độ tin cậy của mô hình sau đó được so sánh với các điểm số được gán bởi người xem trong nghiên cứu ban đầu:

Các thử nghiệm chỉ ra rằng các mô hình đa phương thức cơ bản không nắm bắt được tính đáng nhớ. Bên trái, hệ số tương quan hạng Spearman giữa dự đoán của mô hình và điểm thực của LaMem, với sự đồng ý giữa các nhà chú giải từ LaMem được hiển thị để tham khảo. Bên phải, tỷ lệ cải thiện đạt được bởi phản hồi zero-shot so với baseline chỉnh sửa, chỉ hiển thị lợi ích biên giới.

Không có mối tương quan có ý nghĩa nào với các phán đoán của con người được tìm thấy, và mặc dù được đào tạo trước quy mô lớn, các tác giả khẳng định rằng các mô hình không theo dõi những gì người dân nhớ một cách nhất quán.

Ví dụ từ tập dữ liệu LaMem. Ở góc trên cùng bên trái, chúng ta cũng thấy một bản đồ nhiệt được hiển thị cho ảnh đó. Nguồn

MemCoach

MemCoach tập trung vào các hướng dẫn ngữ nghĩa, trực tiếp có thể được thực hiện trước khi nhấn nút chụp – ví dụ: điều chỉnh tư thế, thay đổi tương tác giữa các đối tượng hoặc sửa đổi các yếu tố cảnh. Phản hồi được cung cấp bởi MemCoach thay đổi từ 7 đến 102 từ nội dung. Tính đáng nhớ, bài báo cho rằng, dường như được thúc đẩy nhiều hơn bởi cấu hình đối tượng và tín hiệu tường thuật hơn là các điều chỉnh bố cục đơn giản:

Tổng quan về đường ống MemCoach, trong đó hướng dẫn nhận thức về tính đáng nhớ từ một MLLM giáo viên được kết hợp với phản hồi trung lập của học sinh để tạo thành dữ liệu tương phản; sự khác biệt về hoạt động giữa các lớp được tính trung bình để suy ra một vector điều khiển tính đáng nhớ; và vector đó được tiêm vào thời gian suy luận để thay đổi hoạt động của học sinh theo hướng tạo ra phản hồi có định hướng tính đáng nhớ, mà không cần đào tạo thêm.

Thử nghiệm

Bảy Mô hình ngôn ngữ lớn đa phương thức (MLLMs) đã được sử dụng trong giai đoạn thử nghiệm cho hệ thống mới:

InternVL3.5 được sử dụng cho cả mô hình giáo viên và mô hình học sinh, với phân chia đào tạo MemBench được sử dụng để tạo ra các ví dụ tương phản:

Hiệu suất của MemCoach so với các MLLM hiện tại hàng đầu trên các mô hình giáo viên, mô hình chuyên về thẩm mỹ và baseline zero-shot, cho thấy tỷ lệ cải thiện cao hơn và tính đáng nhớ tương đối cạnh tranh cùng với độ phức tạp thấp nhất, cho thấy phản hồi nhất quán và có định hướng tính đáng nhớ hơn.

Trong bảng cho thử nghiệm đầu tiên (hiển thị ở trên), chúng ta thấy rằng MemCoach dường như cung cấp lời khuyên về tính đáng nhớ hiệu quả hơn bất kỳ mô hình nào trong số các mô hình so sánh – và mô hình InternVL3.5 được điều khiển tăng tính đáng nhớ thường xuyên hơn, và với một lượng lớn hơn, với lợi ích tỷ lệ cải thiện 5% so với GPT-5 Mini, và một bước nhảy 31,81% trong tính đáng nhớ tương đối so với phiên bản không được điều khiển của nó.

Nó cũng vượt trội so với các hệ thống tập trung vào thẩm mỹ, mặc dù không cần đào tạo thêm. Độ phức tạp thấp hơn, bài báo cho rằng, còn cho thấy rằng phản hồi của nó tuân theo cùng các mẫu ngôn ngữ mà các đánh giá tính đáng nhớ của con người có xu hướng thưởng:

Kết quả tổng quát hóa cho thấy rằng MemCoach cải thiện phản hồi có định hướng tính đáng nhớ trên nhiều xương sống đa phương thức, đồng thời tăng tỷ lệ cải thiện và tính đáng nhớ tương đối một cách nhất quán, đồng thời giảm độ phức tạp cho hầu hết các mô hình.

Một thử nghiệm khác (xem bảng ở trên) cho thấy rằng việc thêm MemCoach đã tăng cường phản hồi có định hướng tính đáng nhớ trên mọi xương sống đa phương thức được thử nghiệm, với lợi ích nhất quán trong tỷ lệ cải thiện và những bước nhảy lớn nhất xuất hiện cho Qwen2.5VL và LLaVA-OV.

Một đánh giá định tính sau đó đã được thực hiện, phân tích các ví dụ về phản hồi MemCoach trong đó ảnh nguồn, gợi ý ngôn ngữ tự nhiên và kết quả chỉnh sửa được xem xét cạnh nhau:

Ví dụ định tính về phản hồi có định hướng tính đáng nhớ được tạo ra bởi MemCoach. Mỗi bộ ba hiển thị ảnh nguồn, hướng dẫn ngôn ngữ tự nhiên và ảnh chỉnh sửa kết quả, với Tính đáng nhớ tương đối (RM) cho thấy sự thay đổi được đo lường. Hướng dẫn này dao động từ điều chỉnh tư thế và hướng nhìn đến can thiệp ngữ nghĩa như xóa đối tượng, minh họa cả lợi ích thành công và trường hợp xóa các yếu tố không thường xuyên làm giảm tính đáng nhớ.

Về những kết quả này, các tác giả tuyên bố:

‘Các ví dụ này làm nổi bật sự đa dạng của các gợi ý mà mô hình đề xuất, từ điều chỉnh bố cục tinh tế, chẳng hạn như thay đổi hướng nhìn, tư thế, vị trí tay, đến can thiệp ngữ nghĩa liên quan đến việc xóa đối tượng hoặc thay đổi biểu cảm khuôn mặt. ‘

‘Phản hồi là tự nhiên có thể hiểu được và có thể hành động, được thể hiện trong các hướng dẫn văn bản ngắn gọn (chủ yếu liên quan đến động từ “Đưa”, “Đứng”, “Xóa”) có thể được thực hiện trực tiếp, hiệu quả chuyển đổi cách chụp một bức ảnh đáng nhớ.’

Kết luận

Điều này sẽ rất thú vị khi so sánh phương pháp tiếp cận của phương pháp tiếp cận hộp đóng của Google với dự án MemBench – không chỉ để biết các tiêu chuẩn, tham chiếu và cơ sở dữ liệu trung tâm mà Google đã sử dụng để định nghĩa các tiêu chuẩn thẩm mỹ của hệ thống:

Khía cạnh tiêu cực của các hệ thống như thế này, nguồn mở hoặc nguồn đóng, là chúng có nguy cơ thực thi các tiêu chuẩn thống nhất ở quy mô lớn, những tiêu chuẩn này có khả năng kết thúc như các meme và các cụm từ sáo rỗng – một loại tương đương trực quan của các tranh cãi về dấu gạch chéo của Trí tuệ nhân tạo, trong đó thủ tục ‘đúng’ đã trở nên đáng nguyền rủa trong sử dụng thông thường.

* Sự chuyển đổi của tôi từ các trích dẫn nội tuyến của tác giả sang các liên kết siêu văn bản, nếu liên kết không được trình bày ở nơi khác trong bài viết.

^† Bài báo này đề cập đến ‘tài liệu bổ sung’ mà tôi không thể tìm thấy, từ bài báo, danh sách Arxiv cốt lõi hoặc trang web dự án.

Được xuất bản lần đầu vào thứ Năm, ngày 26 tháng 2 năm 2026