Co czego AI może nas nauczyć o ukrytych agendach w wiadomościach

Modele w stylu ChatGPT są szkolone, aby wykrywać, co artykuł prasowy naprawdę myśli o danym problemie – nawet jeśli ten punkt widzenia jest ukryty pod cytatem, ramowaniem lub (czasem nieuczciwą) „obiektywnością”. Dzięki podziałowi artykułów na segmenty, takie jak nagłówki, wstępy i cytaty, nowy system uczy się rozpoznawać stronniczość nawet w długich, profesjonalnych artykułach.

Umiejętność zrozumienia prawdziwej perspektywy pisarza lub mówcy – co znane jest w literaturze jako wykrywanie postawy – rozwiązuje jeden z najtrudniejszych problemów interpretacyjnych w języku: poznanie intencji z treści, które mogą być zaprojektowane, aby ją ukryć lub zaciemnić.

Od Skromnej propozycji Jonathana Swifta do niedawnych występów politycznych pożyczających polemikę swoich ideologicznych oponentów, powierzchnia oświadczenia nie jest już wiarygodnym wskaźnikiem jego intencji; wzrost ironii, trollowania, dezinformacji i strategicznego niejasności sprawił, że jest trudniej niż kiedykolwiek ustalić, po której stronie tekst rzeczywiście stoi, czy czy w ogóle.

Często to, co nie jest powiedziane, ma taką samą wagę jak to, co jest powiedziane, a po prostu wybranie tematu może sygnalizować stanowisko autora.

To sprawia, że zadanie automatycznego wykrywania postawy jest niezwykle wyzwaniem, ponieważ skuteczny system wykrywania musi robić więcej niż oznaczać izolowane zdania jako „wspierające” lub „opozycyjne”: musi iterować przez warstwy znaczenia, ważąc małe sygnały przeciwko kształtowi i tendencji całego artykułu; i jest to trudniejsze w długich artykułach, gdzie ton może się zmieniać, a opinia rzadko jest wyraźnie stwierdzona.

Agenci zmian

Aby rozwiązać niektóre z tych problemów, badacze z Korei Południowej opracowali nowy system o nazwie JOA-ICL (Journalism-guided Agentic In-Context Learning) do wykrywania postawy długich artykułów prasowych.

Podstawowa idea za JOA-ICL polega na tym, że postawa na poziomie artykułu jest inferowana przez agregowanie segmentowych predykcji wytworzonych przez oddzielny agent językowy. Źródło: https://arxiv.org/pdf/2507.11049

Zamiast oceniać artykuł jako całość, JOA-ICL dzieli go na strukturalne części (nagłówek, wstęp, cytaty i wnioski) i przypisuje każdą z nich do mniejszego modelu, który oznacza segment jako wspierający, opozycyjny lub neutralny.

Te lokalne predykcje są następnie przekazywane do większego modelu, który używa ich do określenia ogólnej postawy artykułu.

Metoda ta została przetestowana na nowo skompilowanym koreańskim zbiorze danych zawierającym 2 000 artykułów prasowych, które zostały oznaczone zarówno na poziomie artykułu, jak i segmentu.

Zgodnie z artykułem JOA-ICL przewyższa obie metody oparte na podpowiadaniu i dostosowaniu, demonstrując szczególną siłę w wykrywaniu wspierających postaw (które modele o podobnym zakresie tendencji do pomijania).

Autorzy stwierdzają:

‘Eksperymenty pokazują, że JOA-ICL przewyższa istniejące metody wykrywania postawy, podkreślając korzyści z segmentowej agencji w uchwyceniu ogólnej pozycji długich artykułów prasowych.”

Nowy artykuł pt. Journalism-Guided Agentic In-Context Learning for News Stance Detection pochodzi z różnych wydziałów Uniwersytetu Soongsil w Seulu oraz Szkoły Podyplomowej Strategii Przyszłości KAIST.

Metoda

Część wyzwania detekcji postawy wspomaganej przez AI jest logistyczna i związana z tym, jak wiele sygnału system machine learning może zachować i skolacować w jednym czasie, w obecnym stanie sztuki.

Artykuły prasowe mają tendencję do unikania bezpośrednich oświadczeń opinii, polegając zamiast tego na implikowanej lub założonej postawie, sygnalizowanej przez wybór źródeł, ramowanie narracji i pominięcie szczegółów, wśród wielu innych rozważań.

Nawet gdy artykuł zajmuje wyraźne stanowisko, sygnał jest często rozproszony w tekście, z różnymi segmentami wskazującymi w różne kierunki.

The paper states:

‘Aby rozwiązać te wyzwania, proponujemy hierarchiczne podejście modelowe, które najpierw inferuje postawę na poziomie mniejszych jednostek dyskursu (np. akapitów lub sekcji), a następnie integruje te lokalne predykcje, aby określić ogólną postawę artykułu.

‘To podejście jest zaprojektowane, aby zachować lokalny kontekst i uchwycić rozproszone sygnały postawy w ocenie, w jaki sposób różne części artykułu przyczyniają się do jego ogólnej pozycji na dany temat.’

Aby to osiągnąć, autorzy skompilowali nowy zbiór danych pt. K-NEWS-STANCE, pochodzący z koreańskich artykułów prasowych z lat 2022-2024.

JoA-ICL

Zamiast traktować artykuł jako jeden blok tekstu, proponowany system autorów dzieli go na kluczowe części strukturalne: nagłówek, wstęp, cytaty i wnioski, przypisując każdą z nich do agenta językowego, który oznacza segment jako wspierający, opozycyjny lub neutralny.

Te lokalne predykcje są następnie przekazywane do drugiego agenta, który decyduje o ogólnej postawie artykułu, z dwoma agentami koordynowanymi przez kontrolera, który przygotowuje podpowiedzi i gromadzi wyniki.

W ten sposób JOA-ICL adaptuje uczenie w kontekście (gdzie model uczy się z przykładów w podpowiedzi) do sposobu, w jaki profesjonalne artykuły prasowe są pisane, używając segmentowych podpowiedzi zamiast jednej generycznej wejściowej.

(Proszę zauważyć, że większość przykładów i ilustracji w artykule jest długa i trudna do odtworzenia w czytelny sposób w artykule online. Dlatego prosimy czytelnika, aby zapoznał się z oryginalnym PDF)

Dane i testy

W testach badacze użyli makro F1 i dokładności, aby ocenić wyniki, średnio wyniki z dziesięciu przebiegów z losowymi nasionami od 42 do 51 i raportując standardowy błąd.

Testy zostały przeprowadzone na trzech kartach graficznych RTX A6000 (każda z 48 GB pamięci VRAM), przy użyciu Pythona 3.9.19, PyTorch 2.5.1, Transformers 4.52.0 i vLLM 0.8.5.

GPT-4o-mini, Claude 3 Haiku i Gemini 2 Flash zostały wykorzystane za pośrednictwem API, przy temperaturze 1,0 i z maksymalną liczbą tokenów ustawioną na 1000 dla łańcuchowych podpowiedzi, i 100 dla innych.

JOA-ICL osiągnął najlepsze wyniki ogólne zarówno w dokładności, jak i makro F1, przewyższając wszystkie inne podejścia.

Metoda oparta na segmentach konsekwentnie przewyższała wszystkie inne podejścia, z, jak zauważają autorzy, znaczną przewagą w wykrywaniu wspierających postaw, słabością w podobnych modelach.

Modele bazowe osiągnęły gorsze wyniki ogólne.

JOA-ICL radził sobie lepiej ogólnie niż model bazowy, uzyskując więcej prawidłowych etykiet w każdej kategorii.

Oba modele miały jednak trudności z wykrywaniem wspierających artykułów, a model bazowy błędnie klasyfikował prawie połowę, często myląc je z neutralnymi.

JOA-ICL popełnił mniej błędów, ale wykazał taki sam wzorzec, potwierdzając, że „pozytywne” postawy są trudniejsze do wykrycia przez modele.

Aby przetestować, czy JOA-ICL działa poza granicami języka koreańskiego, autorzy uruchomili go na CheeSE, niemieckim zbiorze danych do wykrywania postawy na poziomie artykułu.

Wnioski

Nieliczne zadania w machine learning są bardziej politycznie naładowane niż predykcja postawy; a jednak często są one traktowane w zimnych, mechanicznych terminach, podczas gdy więcej uwagi poświęca się mniej złożonym problemom w generatywnym AI, takim jak tworzenie wideo i obrazów, które wywołują głośniejsze nagłówki.

Najbardziej zachęcającym rozwojem w nowej koreańskiej pracy jest to, że oferuje znaczący wkład w analizę pełnych treści, a nie tylko tweetów i krótkich form mediów społecznościowych, których efekty są szybciej zapomniane niż traktat, esej lub inne znaczące dzieło.

Jednym z najbardziej godnych uwagi pominięć w nowej pracy i (tak daleko, jak mogę stwierdzić) w korpusie predykcji postawy w ogóle jest brak uwagi poświęconej hiperlinkom, które często stoją za cytatem jako opcjonalne zasoby dla czytelników, aby dowiedzieć się więcej o temacie; jednak musi być jasne, że wybór takich adresów URL jest potencjalnie bardzo subiektywny i nawet polityczny.

To, że najbardziej prestiżowe publikacje są mniej prawdopodobne, aby zawierać jakiekolwiek linki, które prowadzą czytelnika poza domenę hosta; wraz z różnymi innymi użyciami i nadużyciami hiperlinków, sprawia, że są one trudniejsze do ilościowego określenia niż jawne cytaty, tytuły lub inne części artykułu, które mogą świadomie lub nieświadomie wpływać na opinię czytelnika.

Pierwotnie opublikowane w środę, 16 lipca 2025