Trudności sztucznej inteligencji w odczytywaniu zegarów analogowych mogą mieć głębsze znaczenie

Naukowcy z Chin i Hiszpanii odkryli, że nawet zaawansowane modele wielomodalne sztucznej inteligencji, takie jak GPT-4.1, mają trudności z odczytywaniem godziny z obrazów zegarów analogowych. Niewielkie zmiany wizualne w zegarach mogą powodować duże błędy interpretacyjne, a dostrajanie pomaga tylko w przypadku znanych przykładów. Wyniki budzą obawy co do niezawodności tych modeli w przypadku nieznanych obrazów w zadaniach świata rzeczywistego.

Ludzie, gdy rozwijają wystarczająco głębokie zrozumienie danego obszaru, takiego jak grawitacja lub inne podstawowe prawa fizyczne, przechodzą poza konkretnymi przykładami i chwytają ogólne abstrakcje. To pozwala im stosować tę wiedzę twórczo w różnych kontekstach i rozpoznawać nowe przypadki, nawet te, które nigdy wcześniej nie widzieli, poprzez identyfikację zasady w działaniu.

Gdy dany obszar ma wystarczającą wagę, możemy nawet zacząć postrzegać go tam, gdzie nie istnieje, jak w przypadku pareidolii, napędzanej przez wysoką cenę nie rozpoznania prawdziwego przypadku. Tak silny jest ten mechanizm rozpoznawania wzorców, że nawet skłania nas do znajdowania szerszego zakresu wzorców tam, gdzie ich nie ma.

Im wcześniej i częściej dany obszar jest w nas wykształcony, tym głębiej jest zakorzeniony i trwa dłużej przez całe życie; a jednym z najwcześniejszych zestawów danych wizualnych, którym jesteśmy narażeni jako dzieci, jest nauczanie zegarów, gdzie drukowane materiały lub interaktywne zegary analogowe są używane do nauczania nas, jak odczytywać godzinę:

Pomocne materiały do nauki odczytywania godziny. Źródło: https://www.youtube.com/watch?v=IBBQXBhSNUs

Mimo że zmieniające się mody w projektowaniu zegarków mogą czasem nas wyzwalać, wytrzymałość tego wczesnego opanowania obszaru jest dość imponująca, pozwalając nam odróżniać twarze zegarów analogowych nawet w obliczu skomplikowanych lub “ekskentricznych” wyborów projektowych:

Niektóre wyzwania w projektowaniu zegarków. Źródło: https://www.ablogtowatch.com/wait-a-minute-legibility-is-the-most-important-part-of-watch-design/

Ludzie nie potrzebują tysięcy przykładów, aby nauczyć się, jak działają zegary; raz gdy pojęcie jest zrozumiane, możemy je rozpoznać w prawie każdej formie, nawet gdy jest zniekształcone lub abstrakcyjne.

Trudności, z którymi borykają się modele sztucznej inteligencji w tym zadaniu, podkreślają głębszy problem: ich pozorna siła może zależeć bardziej od wysokiej objętości narażenia niż od zrozumienia.

Poza grą naśladownictwa?

Napięcie między powierzchniową wydajnością a prawdziwym “zrozumieniem” pojawiło się wielokrotnie w ostatnich badaniach dużych modeli. W zeszłym miesiącu Zhejiang University i Westlake University ponownie sformułowały pytanie w artykule zatytułowanym Czy modele LLM na poziomie PhD naprawdę rozumieją elementarną addycję? (nie jest to przedmiot tego artykułu), dochodząc do wniosku:

‘Pomimo imponujących benchmarków, modele pokazują krytyczną zależność od dopasowywania wzorców, a nie prawdziwego zrozumienia, co jest dowodzone przez niepowodzenia w symbolicznych reprezentacjach i naruszenia podstawowych właściwości.

‘Uwzględnienie reguł wyraźnych pogarsza wyniki, co sugeruje wewnętrzne ograniczenia architektoniczne. Te spostrzeżenia ujawniają luki w ocenach i podkreślają potrzebę architektur zdolnych do prawdziwego matematycznego rozumowania poza rozpoznawaniem wzorców.’

To pytanie pojawia się ponownie, tym razem we współpracy między Nanjing University of Aeronautics and Astronautics a Universidad Politécnica de Madrid w Hiszpanii. Artykuł zatytułowany Czy wielomodalne duże modele językowe (MLLM) naprawdę nauczyły się odczytywać godzinę na zegarach analogowych? bada, jak dobrze modele wielomodalne rozumieją odczytywanie godziny.

Mimo że postępy badań są przedstawione tylko w ogólnych szczegółach w artykule, wstępne testy ustaliły, że model wielomodalny GPT-4.1 miał trudności z poprawnym odczytywaniem godziny z różnorodnego zestawu obrazów zegarów, często podając błędne odpowiedzi, nawet w przypadku prostych przypadków.

To wskazuje na możliwą lukę w danych szkoleniowych modelu, co podnosi potrzebę bardziej zbalansowanego zestawu danych, aby przetestować, czy model może naprawdę nauczyć się ogólnego pojęcia. Dlatego autorzy stworzyli syntetyczny zestaw danych zegarów analogowych, równomiernie pokrywający każdą możliwą godzinę, unikając typowych uprzedzeń znalezionych w obrazach internetowych:

Przykład z syntetycznego zestawu danych zegarów analogowych, użytego do dostrajania modelu GPT w nowej pracy. Źródło: https://huggingface.co/datasets/migonsa/analog_watches_finetune

Przed dostrajaniem na nowym zestawie danych, GPT-4.1 konsekwentnie nie mógł odczytać tych zegarów. Po narażeniu na nowy zestaw danych jego wydajność poprawiła się – ale tylko wtedy, gdy nowe obrazy wyglądały jak te, które już widział.

Gdy kształt zegara lub styl wskazówek się zmienił, dokładność spadła gwałtownie; nawet niewielkie zmiany, takie jak cienkie wskazówki lub strzałki (najbardziej na prawo na poniższym obrazie), były wystarczające, aby go zmylić; a GPT-4.1 miał trudności z interpretacją zegarów w stylu Dalí:

Obrazy zegarów z standardowym projektem (po lewej), zniekształconym kształtem (w środku) i zmodyfikowanymi wskazówkami (po prawej), wraz z godzinami zwróconymi przez GPT-4.1 przed i po dostrajaniu. Źródło: https://arxiv.org/pdf/2505.10862

Autorzy wnioskują, że bieżące modele, takie jak GPT-4.1, mogą więc uczyć się odczytywania zegarów głównie przez rozpoznawanie wzorców wizualnych, a nie przez jakieś głębsze pojęcie czasu, twierdząc:

‘[GPT 4.1] nie powiedzie się, gdy zegar jest zdeformowany lub gdy wskazówki są zmienione na cienkie i posiadają strzałkę. Średni błąd bezwzględny (MAE) w szacowaniu czasu na 150 losowych czasach wyniósł 232,48s dla początkowych zegarów, 1380,69s, gdy kształt jest zdeformowany i 3726,93s, gdy wskazówki są zmienione.

‘Te wyniki sugerują, że MLLM nie nauczył się odczytywać godziny, ale raczej zapamiętał wzorce.’

Czasu wystarczająco

Większość zestawów danych szkoleniowych opiera się na pobranych obrazach z sieci, które mają tendencję do powtarzania pewnych godzin – szczególnie 10:10, popularnego ustawienia w reklamach zegarków:

Z nowego artykułu, przykład rozpowszechnienia godziny ‘dziesięć po dziesięć’ w obrazach zegarów analogowych.

W wyniku tego ograniczonego zakresu godzin przedstawionych, model może zobaczyć tylko wąski zakres możliwych konfiguracji zegarów, ograniczając jego zdolność do uogólnienia poza te powtarzające się wzorce.

Co do powodu, dla którego modele nie radzą sobie z poprawnym interpretowaniem zniekształconych zegarów, artykuł stwierdza:

‘Chociaż GPT-4.1 wykonuje wyjątkowo dobrze z standardowymi obrazami zegarów, jest zaskakujące, że modyfikowanie wskazówek zegara, czyniąc je cienkimi i dodając strzałki, prowadzi do znacznego spadku jego dokładności.

‘Intuicyjnie można by oczekiwać, że bardziej złożona zmiana wizualna – zniekształcony dial – miałaby większy wpływ na wyniki, jednak ta modyfikacja wydaje się mieć relatywnie mniejszy efekt.

‘To podnosi pytanie: jak MLLM interpretują zegary, i dlaczego nie powiedzie się? Jedną z możliwości jest to, że cienkie wskazówki utrudniają modelowi percepcję kierunku, osłabiając jego zrozumienie orientacji przestrzennej.

‘Alternatywnie, mogą być inne czynniki, które powodują zamieszanie, gdy model próbuje połączyć godzinę, minutę i sekundę w celu uzyskania dokładnego odczytu czasu.’

Autorzy twierdzą, że identyfikacja przyczyny tych niepowodzeń jest kluczem do rozwoju modeli wielomodalnych: jeśli problem leży w percepcji kierunku przestrzennego, dostrajanie może zapewnić proste rozwiązanie; ale jeśli problem wynika z szerszych trudności w integrowaniu wielu wskazówek wizualnych, wskazuje to na bardziej fundamentalną słabość w tym, jak te systemy przetwarzają informacje.

Testy dostrajania

Aby przetestować, czy niepowodzenia modelu mogą być przezwyciężone dzięki narażeniu, GPT-4.1 został dostrajany na wspomnianym wcześniej i kompleksowym syntetycznym zestawie danych. Przed dostrajaniem jego przewidywania były szeroko rozproszone, z znacznymi błędami we wszystkich typach zegarów. Po dostrajaniu na tym zestawie danych dokładność znacznie poprawiła się na standardowych twarzach zegarów, a w mniejszym stopniu na zniekształconych.

Jednak zegary z modyfikowanymi wskazówkami, takimi jak cienkie kształty lub strzałki, nadal powodowały duże błędy.

Dwa odrębne tryby niepowodzeń pojawiły się: na normalnych i zniekształconych zegarach model zwykle źle oceniał kierunek wskazówek; ale na zegarach ze zmodyfikowanymi stylami wskazówek często mylił funkcję każdej wskazówki, biorąc godzinę za minutę lub minutę za sekundę.

Porównanie ilustrujące wstępną słabość modelu i częściowe korzyści osiągnięte dzięki dostrajaniu, pokazujące przewidywane wobec rzeczywistych czasów, w sekundach, dla 150 losowo wybranych zegarów. Po lewej, przed dostrajaniem, przewidywania GPT-4.1 są rozproszone i często oddalone od prawidłowych wartości, wskazanych przez czerwoną linię przekątną. Po prawej, po dostrajaniu na zbalansowanym syntetycznym zestawie danych, przewidywania są znacznie bardziej zgodne z wartościami podstawowymi, chociaż pozostają pewne błędy.

To sugeruje, że model nauczył się kojarzyć cechy wizualne, takie jak grubość wskazówek, z określonymi rolami, i miał trudności, gdy te wskazówki się zmieniły.

Znaki rąk

Chociaż dostrajanie poprawiło wydajność GPT-4.1 na standardowych zegarach analogowych, miało znacznie mniejszy wpływ na zegary z cienkimi wskazówkami lub strzałkami, co podnosi możliwość, że niepowodzenia modelu wynikają bardziej z zamieszania co do tego, która ręka jest która.

Aby przetestować, czy dokładność mogłaby się poprawić, gdyby to zamieszanie zostało usunięte, przeprowadzono nową analizę przewidywań modelu dla zestawu danych z modyfikowanymi wskazówkami. Wyniki zostały podzielone na dwie grupy: przypadki, w których GPT-4.1 poprawnie rozpoznał godzinę, minutę i sekundę; i przypadki, w których nie.

Przewidywania zostały ocenione pod kątem średniego błędu bezwzględnego (MAE) przed i po dostrajaniu, a wyniki porównano z tymi z standardowych zegarów; błąd kątowy został również zmierzony dla każdej ręki przy użyciu położenia tarczy jako odniesienia:

Porównanie błędów dla zegarów z i bez zamieszania wskazówek w zestawie danych z modyfikowanymi wskazówkami przed i po dostrajaniu.

Zamieszanie w rolach wskazówek powodowało największe błędy. Gdy GPT-4.1 mylił godzinę z minutą lub odwrotnie, wynikające szacowania czasu były często bardzo oddalone. W przeciwieństwie do tego, błędy spowodowane błędną oceną kierunku prawidłowo zidentyfikowanej ręki były mniejsze. Wśród trzech rąk godzina wykazała największy błąd kątowy przed dostrajaniem, podczas gdy sekunda wykazała najmniejszy.

Błąd kątowy według typu ręki dla przewidywań z i bez zamieszania wskazówek przed i po dostrajaniu w zestawie danych z modyfikowanymi wskazówkami.

Aby skupić się wyłącznie na błędach kierunkowych, analiza została ograniczona do przypadków, w których model poprawnie zidentyfikował funkcję każdej ręki. Jeśli model wewnętrznie zrozumiał ogólne pojęcie odczytywania godziny, jego wydajność w tych przypadkach powinna odpowiadać jego dokładności na standardowych zegarach. Nie było tak, a dokładność pozostała zauważalbie gorsza.

Aby zbadać, czy kształt ręki przeszkadzał w percepcji kierunku modelu, przeprowadzono drugi eksperyment: stworzono dwa nowe zestawy danych, każdy zawierający sześćdziesiąt syntetycznych zegarów z tylko jedną godzinną ręką, wskazującą na różne znaczniki minutowe. Jeden zestaw używał oryginalnego projektu ręki, a drugi zmodyfikowanego. Model został poproszony o podanie znacznika, na który wskazywała ręka.

Wyniki pokazały niewielki spadek dokładności z modyfikowanymi rękami, ale nie wystarczający, aby wyjaśnić szersze niepowodzenia modelu. Jedna nieznana cecha wizualna wydawała się w stanie zakłócić ogólną interpretację modelu, nawet w zadaniach, które wcześniej wykonywał dobrze.

Przegląd wydajności GPT-4.1 przed i po dostrajaniu na standardowych, zniekształconych i z modyfikowanymi wskazówkami zegarach, podkreślający nierównomierne korzyści i trwałe słabości.

Wnioski

Chociaż focus artykułu może wydawać się trywialny na pierwszy rzut oka, nie ma szczególnego znaczenia, czy modele sztucznej inteligencji kiedykolwiek nauczą się odczytywać godzinę na zegarach analogowych z 100% dokładnością. To, co nadaje tej pracy wagę, jest jej focus na głębszym, powtarzającym się pytaniu: czy nasycenie modeli większą (i bardziej zróżnicowaną) ilością danych może prowadzić do rodzaju zrozumienia obszaru, jaki ludzie nabywają przez abstrakcję i uogólnienie; czy jedyną słuszną ścieżką jest zalewanie obszaru wystarczającą ilością przykładów, aby przewidzieć każdą prawdopodobną wariację podczas inferencji. Każda z tych ścieżek budzi wątpliwości co do tego, czego są obecne architektury naprawdę w stanie nauczyć się.

Obie ścieżki podnoszą wątpliwości co do tego, czego są obecne architektury naprawdę w stanie nauczyć się.

Opublikowane po raz pierwszy w poniedziałek, 19 maja 2025