W kierunku zautomatyzowanego pisarstwa naukowego

Tej morning, przeglądając działy informatyki na Arxiv, jak to robię większość poranków, natknąłem się na niedawne pracę z Federal University of Ceara w Brazylii, oferującą nowy framework Natural Language Processing do automatyzacji podsumowywania i ekstrakcji danych z artykułów naukowych.

Ponieważ to więcej lub mniej to, co robię każdego dnia, praca ta przypomniała mi komentarz na wątku pisarzy na Reddit wcześniej tego roku – przepowiednię, że pisanie naukowe będzie jednym z pierwszych dziennikarskich zawodów, które zostaną przejęte przez machine learning.

Chcę być jasny – absolutnie wierzę, że zautomatyzowany pisarz naukowy jest już w drodze, i że wszystkie wyzwania, które przedstawię w tym artykule, są albo rozwiązywalne teraz, albo będą rozwiązywalne w przyszłości. Tam, gdzie to możliwe, podaję przykłady. Ponadto, nie zajmuję się tym, czy obecne lub najbliższe science-writing AI będą w stanie napisać spójnie; opierając się na obecnych zainteresowaniach w tym sektorze NLP, zakładam, że to wyzwanie zostanie ostatecznie rozwiązane.

Raczej, pytam, czy AI science writer będzie w stanie zidentyfikować istotne naukowe historie zgodnie z (bardzo zróżnicowanymi) pożądanymi wynikami wydawców.

… (reszta treści)…

Określanie dyfuzji

Jak większość dziennikarzy, nasz projektowany AI science writer szuka nieopowiedzianych lub niedostatecznie opowiedzianych wiadomości, aby dodać wartość do strumienia treści, który wspiera. W większości przypadków, ponowne opowiadanie naukowych przełomów, które pojawiły się po raz pierwszy w dużych portalach, takich jak TechCrunch, The Verge i EurekaAlert itp, jest bezcelowe, ponieważ takie duże platformy wspierają swoje treści wyczerpującymi maszynami promocyjnymi, praktycznie gwarantując nasycenie medialne dla artykułu.

Dlatego nasz AI writer musi określić, czy historia jest wystarczająco świeża, aby ją kontynuować.

Najłatwiejszym sposobem, w teorii, byłoby zidentyfikowanie niedawnych odnośników przychodzących do podstawowych stron badawczych (podsumowanie, PDF, sekcja wiadomości na stronie wydziału, itp.). Ogólnie, ramy, które mogą zapewnić bieżące informacje o odnośnikach przychodzących, nie są otwarte ani tanie, ale duże wydawnictwa mogą przypuszczalnie ponieść wydatki na oprogramowanie jako część ramy oceny nowości.

Zakładając taki dostęp, nasz science writer AI stoi przed problemem, że wiele portali naukowych nie cytują artykułów, o których piszą, nawet w przypadkach, gdy takie informacje są dostępne bezpłatnie. W końcu, portal chce, aby wtórne raporty odnosiły się do nich, a nie do źródła. Ponieważ, w wielu przypadkach, mają one również uzyskane przywilejowane lub półprywatne dostępy do artykułu badawczego (patrz ‘Społeczny’ Science Writer poniżej), mają oni nieszczery pretekst do tego.

W ten sposób nasz AI writer będzie musiał wyodrębnić istotne słowa kluczowe z artykułu i przeprowadzić ograniczone czasowo wyszukiwania, aby ustalić, gdzie, jeśli w ogóle, historia już się wydarzyła – i ocenić, czy jakakolwiek wcześniejsza dyfuzja może być pominięta, czy historia jest skończona.

Czasami artykuły dostarczają dodatkowy materiał wideo na YouTube, gdzie liczba wyświetleń może służyć jako wskaźnik dyfuzji. Dodatkowo, nasz AI może wyodrębnić obrazy z artykułu i przeprowadzić systematyczne wyszukiwania oparte na obrazach, aby ustalić, czy, gdzie i kiedy jakiekolwiek z tych obrazów zostały ponownie opublikowane.

Wielkanocne jajka

Czasami “suchy” artykuł ujawnia odkrycia, które mają głębokie i nowatorskie implikacje, ale które są przemilczane (lub nawet zignorowane lub zlekceważone) przez autorów i będą ujawnione tylko przez przeczytanie całego artykułu i wykonanie matematyki.

W rzadkich przypadkach uważam, że jest to dlatego, że autorzy są znacznie bardziej zainteresowani odbiorem w środowisku akademickim niż wśród ogółu społeczeństwa, być może dlatego, że uważają (nie zawsze słusznie), że podstawowe pojęcia nie mogą być uproszczone wystarczająco dla ogólnej konsumpcji, pomimo często hiperbolicznych wysiłków ich instytucji i departamentów PR.

Ale prawie tak często, autorzy mogą zlekceważyć lub nie zauważyć implikacji swojej pracy, działając oficjalnie pod “naukową rezerwą”. Czasami te “wielkanocne jajka” nie są pozytywnymi wskaźnikami dla pracy, jak wspomniano powyżej, i mogą być cynicznie zaciemnione w złożonych tabelach wyników.

Poza Arxiv

Należy rozważyć, że parametryzacja artykułów o informatyce w dyskretne tokeny i jednostki będzie znacznie łatwiejsza w domenie takiej jak Arxiv, która zapewnia szereg spójnych i szablonowych “haków” do analizy i nie wymaga logowania do większości funkcjonalności.

Nie wszystkie naukowe źródła dostępu są otwarte, i pozostaje to, czy nasz AI science writer może lub będzie korzystał z ominięcia paywalli za pomocą Sci-Hub; z użyciem archiwów, aby obojętnie paywalle; i czy jest to praktyczne, aby zbudować podobne struktury wydobywania danych dla szerokiej gamy innych platform wydawniczych, wiele z których jest strukturalnie opornych na systematyczne sondowanie.

Powinno się również rozważyć, że nawet Arxiv ma limity stawek, które mogą spowolnić rutyny oceny nowości AI writer do prędkości bardziej “ludzkiej”.

‘Społeczny’ AI Science Writer

Poza otwartą i dostępną sferą Arxiv i podobnych “otwartych” platform wydawniczych, nawet uzyskanie dostępu do interesującego nowego artykułu może być wyzwaniem, wymagającym znalezienia kanału kontaktowego dla autora i podejścia do niego, aby poprosić o przeczytanie pracy, a nawet o uzyskanie cytatu (gdy presja czasu nie jest decydującym czynnikiem – rzadki przypadek dla ludzkich reporterów naukowych w dzisiejszych czasach).

To może wymagać zautomatyzowanego przemieszczania się po domenach naukowych i tworzenia kont (musisz być zalogowany, aby ujawnić adres e-mail autora artykułu, nawet na Arxiv). Większość czasu, LinkedIn jest najszybszym sposobem, aby uzyskać odpowiedź, ale systemy AI są obecnie zabronione od kontaktowania się z członkami.

Co do tego, jak badacze odejdą od e-mailowych próśb od science writer AI – no, jak w świecie ludzkiego pisarstwa naukowego, prawdopodobnie zależy to od wpływu portalu. Jeśli potencjalny AI-wykonany pisarz z Wired skontaktował się z autorem, który był zainteresowany rozpowszechnieniem swojej pracy, rozsądnie można przyjąć, że nie spotkałoby się to z wrogim odbiorem.

W większości przypadków można wyobrazić sobie, że autor mógłby liczyć na to, że te półautomatyczne wymiany mogą ostatecznie sprowadzić człowieka do pętli, ale nie jest poza granicami możliwości, że następcze rozmowy VOIP mogą być ułatwione przez AI, przynajmniej wtedy, gdy wykonalność artykułu jest przewidywana poniżej pewnego progu, i gdy publikacja ma wystarczający wpływ, aby przyciągnąć ludzkie uczestnictwo w rozmowie z “AI-badaczem”.

Identyfikacja wiadomości z AI

Wiele zasad i wyzwań przedstawionych tutaj ma zastosowanie do potencjału automatyzacji w innych sektorach dziennikarstwa, i, jak to zawsze było, identyfikacja potencjalnej historii jest podstawowym wyzwaniem. Większość ludzkich dziennikarzy przyzna, że rzeczywiste pisanie historii jest tylko ostatnim 10% wysiłku, i że w momencie, gdy klawiatura zaczyna działać, praca jest już w większości wykonana.

Główne wyzwanie polega więc na opracowaniu systemów AI, które mogą zidentyfikować, zbadać i uwierzytelnić historię, opierając się na wielu arkanańskich losach gry w wiadomości, i przemierzając ogromną liczbę platform, które są już zahartowane przeciw sondowaniu i wydobyciu, ludzkiemu lub innemu.

W przypadku raportowania naukowego, autorzy nowych prac mają tak głęboką samozwańczą agendę, jak każde inne potencjalne źródło historii, i dekonstrukcja ich wyjścia będzie wymagała wbudowania wcześniejszej wiedzy o socjologicznych, psychologicznych i ekonomicznych motywacjach. Dlatego potencjalny zautomatyzowany pisarz naukowy będzie musiał mieć więcej niż redukcyjne rutyny NLP, aby ustalić, gdzie są wiadomości dzisiaj, chyba że dziedzina wiadomości jest szczególnie warstwowa, jak w przypadku akcji, danych pandemicznych, wyników sportowych, aktywności sejsmicznej i innych czysto statystycznych źródeł wiadomości.