AI może tajnie klasyfikować obrazy według marki urządzenia, a nie zawartości

Nowe badania wykazały, że popularne systemy AI zorientowane na obrazy nie tylko patrzą na to, co jest na zdjęciu, ale także zwracają uwagę na sposób, w jaki zdjęcie zostało wykonane. Ukryte szczegóły, takie jak typ aparatu lub jakość obrazu, mogą cicho wpływać na to, co AI uważa, że widzi, prowadząc do błędnych wyników – po prostu dlatego, że zdjęcie pochodzi z innego urządzenia.

W 2012 roku ujawniono, że strona internetowa z podróżami regularnie wyświetlała wyższe ceny użytkownikom, których można było zidentyfikować jako korzystających z urządzeń Apple, łącząc markę Apple (AAPL ) z większą siłą nabywczą. Późniejsze dochodzenie wykazało, że ten rodzaj “węszania portfela” stał się prawie rutyną dla stron e-commerce.

Podobnie, określenie, który smartphone lub urządzenie wykonujące zdjęcie wykonało konkretną fotografię, można ustalić za pomocą środków forensycznych, na podstawie znanych cech ograniczonej liczby obiektywów w modelach. W takich przypadkach model urządzenia wykonującego zdjęcie jest zwykle szacowany przez ślady wizualne; i, podobnie jak w przypadku z 2012 roku, wiedza o tym, jaki aparat wykonał zdjęcie, jest potencjalnie wykorzystywalną cechą

Chociaż urządzenia wykonujące zdjęcia zwykle osadzają znaczące metadane w obrazie, ta funkcja może być często wyłączona przez użytkowników; nawet w przypadku, gdy jest włączona, platformy dystrybucyjne, takie jak sieci społecznościowe, mogą usunąć część lub wszystkie metadane, zarówno z powodów logistycznych, jak i prywatności, lub obu.

Jednak metadane w obrazach przesyłanych przez użytkowników są często albo przepisywane / interpretowane (zamiast usunięte), albo pozostawione nietknięte, jako źródło informacji nie o tym, co jest na zdjęciu, ale o tym, jak zdjęcie zostało wykonane. Jak ujawnił przypadek z 2012 roku, informacje tego rodzaju mogą być wartościowe – nie tylko dla platform komercyjnych, ale także potencjalnie dla hakkerów i osób o złych intencjach.

Dwa punkty widzenia

Nowa współpraca badawcza między Japonią a Czechami wykazała, że ślady pozostawione przez sprzęt aparatu i przetwarzanie obrazu (takie jak jakość JPEG lub wyrazistość) nie tylko są wykrywalne przez narzędzia forensyczne, ale także są cicho zakodowane w “globalnym zrozumieniu” wiodących modeli AI widzenia.

To obejmuje CLIP i inne duże kodery wizualne, które są powszechnie używane we wszystkim, od wyszukiwarek po moderację treści. Nowa praca dowodzi, że te modele nie tylko interpretują to, co jest na zdjęciu, ale także mogą nauczyć się, jak zdjęcie zostało wykonane; i ten ukryty sygnał może czasem przeważyć widoczną treść.

Przykładowe pary zdjęć z zestawu danych PairCams, stworzonego w celu przetestowania, jak typ aparatu wpływa na modele AI obrazu. Każda para pokazuje ten sam obiekt lub scenę sfotografowaną w tym samym momencie przy użyciu aparatu niebędącego smartfonem (po lewej) i smartfonem (po prawej). Źródło: https://arxiv.org/pdf/2508.10637

Badanie twierdzi, że nawet gdy modele AI są podawane silnie zamaskowanymi lub obciętymi wersjami obrazu, mogą one nadal zgadnąć markę i model aparatu z zaskakującą dokładnością. Oznacza to, że przestrzeń reprezentacji, którą te systemy używają do oceny podobieństwa obrazu, może stać się splątana z nieistotnymi czynnikami, takimi jak urządzenie użytkownika, z nieprzewidywalnymi konsekwencjami.

Na przykład, w zadaniach downstream, takich jak klasyfikacja lub pobieranie obrazu, ten niepożądany “wzorzec” może spowodować, że system faworyzuje określone typy aparatów, niezależnie od tego, co obraz faktycznie pokazuje.

Artykuł stwierdza:

‘Etykiety metadanych pozostawiające ślady w kodowaniach wizualnych do punktu przewyższania informacji semantycznych mogą prowadzić do nieprzewidywalnych wyników, kompromitując ogólność, wytrzymałość i potencjalnie podważając wiarygodność modeli.

‘Co więcej, ten efekt może być wykorzystany w sposób malicyjny; na przykład atak przeciwny może manipulować metadanymi, aby celowo wprowadzić w błąd lub oszukać model, narażając na ryzyko wrażliwe dziedziny, takie jak opieka zdrowotna, nadzór lub systemy autonomiczne.’

Badanie wykazuje, że systemy CVL, takie jak CLIP, są szczególnie podatne na takie wnioski z danych:

Wyniki wyszukiwania dla obrazu zapytania, pokazujące, jak modele podstawowe klasyfikują podobne obrazy nie tylko na podstawie zawartości wizualnej, ale także ukrytych metadanych, takich jak kompresja JPEG lub model aparatu.

Nowy artykuł jest zatytułowany Ślady przetwarzania i pozyskiwania w kodowaniach wizualnych: Co wie CLIP o Twoim aparacie? i pochodzi od sześciu badaczy z Uniwersytetu w Osace i Czechosłowackiego Uniwersytetu Technicznego w Pradze.

Metoda i dane*

Aby przetestować wpływ ukrytych metadanych na kodery wizualne, takie jak CLIP, autorzy pracowali z dwiema kategoriach metadanych: parametry przetwarzania obrazu (takie jak kompresja JPEG lub wyrazistość) i parametry pozyskiwania (takie jak model aparatu lub ustawienia ekspozycji).

Zamiast trenować nowe modele, badacze oceniali 47 powszechnie używanych koderców wizualnych w ich zamrożonym, wstępnie wytrenowanym stanie, w tym modele kontrastowe wizja-język, takie jak CLIP, samouczące się modele, takie jak DINO, i konwencjonalne sieci nadzorowane.

Dla parametrów przetwarzania, badacze zastosowali kontrolowane transformacje do zbiorów danych ImageNet i iNaturalist 2018, w tym sześć poziomów kompresji JPEG, trzy ustawienia wyrazistości, trzy skale przeskalowania i cztery metody interpolacji.

Przykłady obrazów i powiązanych adnotacji z zestawu danych iNaturalist. Źródło: https://arxiv.org/pdf/1707.06642

Modele były testowane na ich zdolność do odzyskania każdej transformacji ustawień przy użyciu tylko zawartości obrazu, z powodzeniem wskazując, że kodery retują informacje o tych wyborach przetwarzania w ich wewnętrznej reprezentacji.

Aby zbadać parametry pozyskiwania, badacze skompilowali zestaw danych o nazwie FlickrExif, zawierający zachowane metadane Exif, i utworzyli drugi zestaw danych o nazwie PairCams, składający się z 730 par obrazów sfotografowanych jednocześnie za pomocą smartfona i aparatu niebędącego smartfonem.

Zestaw danych FlickrExif został zbudowany przy użyciu interfejsu API Flickr do pobierania obrazów z towarzyszącymi metadanymi Exif. Między 2 000 a 4 000 bezpiecznych obrazów było pobieranych co miesiąc, datowanych od wczesnego 2000 do połowy 2024, i filtrowanych, aby zawierały tylko te z licencjami permissive. Aby uniknąć nadreprezentacji przez użytkowników, każdy indywidualny współtworca był ograniczony do dziesięciu obrazów na miesiąc dla każdego roku.

Dla zestawu danych PairCams, każde zdjęcie zostało wykonane przy użyciu ustawień automatycznych i bez lampy błyskowej, co pozwoliło na porównanie sposobu, w jaki kodery wizualne reagują na różnice w sprzęcie aparatu, niezależnie od zawartości obrazu:

Kolejne przykłady z zestawu danych PairCams opracowanych przez autorów.

Badacze testowali dwa zestawy parametrów: parametry przetwarzania obrazu, takie jak kompresja i transformacje koloru; i parametry pozyskiwania, takie jak marka aparatu lub ustawienia ekspozycji:

Parametry przetwarzania i pozyskiwania analizowane, z liczbą klas dla każdego.

Testy

Aby określić, czy informacje o przetwarzaniu i typie aparatu są zakodowane w reprezentacjach modelu, autorzy wytrenowali klasyfikator do przewidywania etykiet metadanych bezpośrednio z tych reprezentacji. Jeśli klasyfikator nie działał lepiej niż losowe zgadywanie, sugerowałoby to, że szczegóły dotyczące przetwarzania lub urządzenia nie są przechwytywane przez model.

Jednakże, każdy wynik powyżej losowego zgadywania wskazywałby, że te techniczne ślady są rzeczywiście zakodowane i mogą wpływać na zadania downstream.

Aby przetestować ślady przetwarzania, autorzy przypisali każdemu obrazowi szkoleniowemu losowy ustawienie przetwarzania, takie jak określony poziom kompresji JPEG, podczas gdy wszystkie obrazy testowe w partii dzieliły to samo ustawienie.

Średnia dokładność klasyfikacji we wszystkich ustawieniach była następnie połączona z powtarzanymi próbami pod różnymi losowymi nasionami, aby można było określić, czy techniczne szczegóły przetwarzania są konsekwentnie przechwytywane w wewnętrznej reprezentacji modelu:

Dokładność klasyfikacji dla przewidywania parametrów przetwarzania z kodowania modelu, przy użyciu liniowego klasyfikatora zastosowanego do zamrożonych modeli. Wyniki są przedstawione dla kompresji JPEG, wyrazistości, przeskalowania i interpolacji, z trzema kategorią modeli, kontrastowymi wizją-językiem (pomarańczowy), nadzorowanymi (zielony) i samouczącymi się (niebieski), ocenianymi na ImageNet (górny rząd) i iNaturalist 2018 (dolny rząd). Linie przerywane oznaczają losowe zgadywanie.

Na wszystkich czterech parametrach przetwarzania, modele kontrastowe wizja-język wykazały największą zdolność do rozpoznawania ukrytych manipulacji obrazu. Niektóre z tych modeli osiągnęły ponad 80% dokładności podczas przewidywania ustawień kompresji JPEG, wyrazistości i przeskalowania z kodowań ImageNet.

Modele nadzorowane, szczególnie te oparte na ConvNeXt, również wykazały się silną wydajnością, podczas gdy modele samouczące się były konsekwentnie słabsze.

Interpolacja była najtrudniejszym parametrem do wykrycia, jednak najlepsze modele CVL i nadzorowane nadal osiągnęły wyniki znacznie lepsze niż losowe zgadywanie na obu zestawach danych.

Następnie, aby przetestować, czy informacje o aparacie są zakodowane w reprezentacjach modelu, autorzy utworzyli oddzielne zestawy szkoleniowe i testowe dla każdego parametru pozyskiwania (takiego jak marka aparatu, model aparatu, ekspozycja, przysłona, ISO i ogniskowa).

Dla większości parametrów, użyto tylko klas z co najmniej 5 000 przykładów; 500 obrazów zostało losowo odłożonych do testów, a pozostałe przykłady zostały podpróbkowane tak, aby każda klasa miała 200 przykładów szkoleniowych. Dla parametrów “model (wszystkie)” i “model (smart)”, które miały mniej danych na klasę, autorzy użyli klas z co najmniej 500 obrazami i podzielili każdą klasę na podzbiory szkoleniowe i testowe w stosunku 4:1.

Fotografowie byli trzymani oddzielnie w zestawach szkoleniowych, walidacyjnych i testowych, a prosty klasyfikator został wytrenowany do przewidywania informacji o aparacie na podstawie cech obrazu.

Aby upewnić się, że klasyfikator nie był wpływany przez zawartość semantyczną obrazów, 90% każdego obrazu zostało zamaskowane (zobacz poniżej przykłady). Autorzy twierdzą, że na tym poziomie maskowania wszystkie kodery wizualne wykonują blisko losowo na ImageNet, co wskazuje, że sygnał semantyczny został skutecznie stłumiony:

Dokładność walidacji ImageNet w funkcji współczynnika maskowania. Przy 90% maskowania wszystkie modele spadają do poziomu losowego wykonania na predykcji etykiet semantycznych, co wskazuje, że sygnały semantyczne zostały skutecznie usunięte. Przykładowe obrazy na dole ilustrują poziomy maskowania.

Nawet przy 90% maskowania, większość modeli kontrastowych wizja-język i nadzorowanych koderców ConvNeXt nadal przewidywały etykiety aparatu na poziomie znacznie wyższym niż losowe zgadywanie. Wiele modeli CVL przekroczyło 70% dokładności w rozróżnianiu obrazów sfotografowanych aparatem smartfonem i nie-smartfonem.

Pozostałe nadzorowane kodery, SigLIP, i wszystkie samouczące się modele wykazały znacznie gorszą wydajność. Gdy nie zastosowano maskowania, modele CVL ponownie wykazały się największą tendencją do grupowania według typu aparatu, potwierdzając, że te modele zakodowują informacje o pozyskiwaniu głębiej niż inne:

Wizualizacje t-SNE dla dwóch koderców wizualnych, z kolorami wskazującymi, czy każdy obraz został sfotografowany aparatem smartfonem czy nie-smartfonem.

Znaczenie dalsze

Ustalenie, że metadane wpływają na modele w ten sposób, skłoniło autorów do oceny skłonności ukrytych śladów przetwarzania do interferencji z interpretacją obrazu.

Gdy dwie wersje tego samego obrazu były przetwarzane inaczej, kodowania były często organizowane według stylu przetwarzania, a nie zawartości. W kilku przypadkach, silnie skompresowane zdjęcie psa było traktowane jako bardziej podobne do niezwiązanego obrazu z tym samym ustawieniem kompresji niż do swojej własnej nieprzetworzonej wersji:

Wpływ parametrów przetwarzania na predykcję semantyczną, z dokładnością klasyfikacji semantycznej dla ImageNet (góra) i iNaturalist (dół) pod pięcioma ustawieniami przetwarzania. W ustawieniu podstawowym wszystkie obrazy szkoleniowe i testowe dzielą to samo ustawienie przetwarzania; w ustawieniu all-diff, obraz testowy używa ustawienia przetwarzania nieobecnej w zestawie szkoleniowym; w pos-same i neg-same, etykieta przetwarzania jest wyrównana albo z semantycznie podobnymi, albo niepodobnymi obrazami; w ustawieniu uniform, etykiety przetwarzania są losowo przydzielane w całym zestawie szkoleniowym. Wyniki są raportowane przy użyciu k = 10 dla ImageNet i k = 1 dla iNaturalist.

Największe zniekształcenia były spowodowane kompresją JPEG, po której następowała wyrazistość i przeskalowanie, podczas gdy interpolacja wywarła tylko niewielki wpływ. Autorzy twierdzą, że te wyniki dowodzą, że ślady przetwarzania mogą przeważyć informacje semantyczne i dyktować, jak obraz jest rozumiany.

W podsumowaniu, ostrzegają:

‘Chociaż zidentyfikowaliśmy, że etykiety metadanych są zakodowane w podstawowych kodowaniach wizualnych i dostarczyliśmy wskazówek dotyczących potencjalnych przyczyn, nie możemy definitywnie wskazać źródła problemu. Dalsze badanie tego jest trudne z powodu kosztu ponownego trenowania takich modeli i częstego użycia prywatnych zestawów danych i nieujawnionych szczegółów implementacji.

‘Chociaż nie proponujemy konkretnych technik łagodzących, podkreślamy ten problem jako ważny obszar do dalszych badań.’

Podsumowanie

W literaturze istnieje rosnące zainteresowanie forensyczne w odniesieniu do śladów i znaków “metody ponad zawartością”; im łatwiej jest zidentyfikować domenę ramy lub konkretny zestaw danych, tym łatwiej jest wykorzystać tę informację w postaci – na przykład – wykrywaczy głębokich fałszerstw lub systemów zaprojektowanych do klasyfikacji pochodzenia lub wieku danych i modeli.

To wszystko jest sprzeczne z podstawowym zamiarem szkolenia modeli AI, którym jest to, że centralne pojęcia destylowane powinny być kuratorowane niezależnie od środków produkcji i nie powinny nosić żadnych śladów tych środków. W rzeczywistości, zestawy danych i urządzenia mają charakterystyki i cechy domeny, które są skutecznie niemożliwe do oddzielenia od zawartości, ponieważ same w sobie reprezentują “historyczną perspektywę”.

* Artykuł jest układany w niekonwencjonalny sposób, i będziemy się do niego dostosowywać jak najlepiej. Dużo materiału, które powinno znaleźć się w (nieistniejącym) ‘Metodzie’, zostało przeniesione do różnych części załącznika, prawdopodobnie w celu ograniczenia głównego artykułu do ośmiu stron – choć przy znacznych kosztach klarowności. Jeśli przeoczyliśmy jakąkolwiek okazję do poprawy tego, z powodu braku czasu, przepraszamy.

Pierwotnie opublikowane w środę, 20 sierpnia 2025