Przyspieszanie sieci neuronowych grafów za pomocą dużych modeli językowych: Ostateczny przewodnik

Grafy są strukturami danych, które reprezentują złożone relacje w szerokim zakresie dziedzin, w tym sieci społeczne, bazy wiedzy, systemy biologiczne i wiele innych. W tych grafach, jednostki są reprezentowane jako węzły, a ich relacje są przedstawiane jako krawędzie.

Możliwość skutecznej reprezentacji i rozumienia tych złożonych struktur relacyjnych jest kluczowa dla umożliwienia postępów w dziedzinach takich jak nauka o sieciach, chemia informacyjna i systemy rekomendacyjne.

Sieci neuronowe grafów (GNN) wyłoniły się jako potężna ramka głębokiego uczenia się dla zadań związanych z grafami. Poprzez włączenie topologii grafu do architektury sieci neuronowej za pomocą schematu agregacji sąsiedztwa lub konwolucji grafów, GNN mogą uczyć się niskowymiarowych wektorowych reprezentacji, które kodują zarówno cechy węzłów, jak i ich role strukturalne. Pozwala to GNN na osiąganie wyników na poziomie stanu sztuki w zadaniach takich jak klasyfikacja węzłów, predykcja połączeń i klasyfikacja grafów w różnych dziedzinach zastosowań.

Podczas gdy GNN przyniosły znaczny postęp, pozostają pewne kluczowe wyzwania. Uzyskanie wysokiej jakości danych etykietowanych do szkolenia nadzorowanego modelu GNN może być kosztowne i czasochłonne. Ponadto, GNN mogą mieć trudności z heterogenicznymi strukturami grafów i sytuacjami, w których dystrybucja grafu w czasie testowania znacznie różni się od danych szkoleniowych (generalizacja poza dystrybucją).

Równolegle, duże modele językowe (LLM) takie jak GPT-4 i LLaMA zrewolucjonizowały świat dzięki ich niesamowitym zdolnościom zrozumienia i generowania języka naturalnego. Szkolone na ogromnych korpusach tekstowych z miliardami parametrów, LLM wykazują zdumiewające zdolności do nauki w kilku przypadkach, generalizacji między zadaniami i zdolności do rozumowania, które wcześniej uważano za niezwykle trudne dla systemów AI.

Olbrzymi sukces LLM spowodował zainteresowanie wykorzystaniem ich mocy do zadań związanych z grafami. Z jednej strony, wiedza i zdolności rozumowania LLM prezentują możliwości poprawy tradycyjnych modeli GNN. Z drugiej strony, strukturalne reprezentacje i wiedza faktograficzna wewnętrznie obecne w grafach mogą być niezwykle przydatne w rozwiązaniu niektórych kluczowych ograniczeń LLM, takich jak halucynacje i brak interpretowalności.

Sieci neuronowe grafów i samouczne uczenie

Aby zapewnić niezbędny kontekst, najpierw krótko przypomnimy podstawowe pojęcia i metody w sieciach neuronowych grafów i samoucznym uczeniu reprezentacji grafów.

Architektury sieci neuronowych grafów

Architektura sieci neuronowej grafu – źródło

Kluczowa różnica między tradycyjnymi głębokimi sieciami neuronowymi a GNN polega na ich zdolności do bezpośredniej pracy z danymi o strukturze grafu. GNN stosują schemat agregacji sąsiedztwa, w którym każdy węzeł agreguje wektory cech z sąsiednich węzłów, aby obliczyć własną reprezentację.

Wiele architektur GNN zostało zaproponowanych z różnymi wariantami funkcji wiadomości i aktualizacji, takimi jak Graph Convolutional Networks (GCNs), GraphSAGE, Graph Attention Networks (GATs) i Graph Isomorphism Networks (GINs) i wiele innych.

Niedawno graficzne transformatory zyskały popularność, adaptując mechanizm uwagi samą z transformatorów językowych do pracy z danymi o strukturze grafu. Przykłady obejmują GraphormerTransformer i GraphFormers. Te modele są w stanie lepiej uchwycić dalekosiężne zależności w grafie w porównaniu z czysto sąsiedzkimi GNN.

Samouczne uczenie na grafach

Podczas gdy GNN są potężnymi modelami reprezentacji, ich wydajność jest często ograniczona przez brak dużych zbiorów danych z etykietami wymaganych do nadzorowanego szkolenia. Samouczne uczenie się wyłoniło jako obiecująca para dygma do wstępnego szkolenia GNN na nieoznaczonych danych grafowych, wykorzystując zadania pretekstowe, które wymagają tylko wewnętrznej struktury grafu i cech węzłów.

Samouczne uczenie grafu – źródło

Niektóre powszechne zadania pretekstowe stosowane w samoucznym wstępnym szkoleniu GNN obejmują:

1. Predykcja właściwości węzłów: Losowe maskowanie lub uszkadzanie części atrybutów/właściwości węzłów i zlecenie GNN odtworzenia ich.
2. Predykcja krawędzi/łączy: Uczenie się predykcji, czy krawędź istnieje między parą węzłów, często w oparciu o losowe maskowanie krawędzi.
3. Nauka kontrastowa: Maksymalizacja podobieństw między widokami tego samego przykładu grafu, a jednocześnie oddalanie widoków z różnych grafów.
4. Maksymalizacja wzajemnej informacji: Maksymalizacja wzajemnej informacji między lokalnymi reprezentacjami węzłów a docelową reprezentacją, taką jak globalna reprezentacja grafu.

Zadania pretekstowe takie jak te pozwalają GNN na wydobycie znaczących strukturalnych i semantycznych wzorców z nieoznaczonych danych grafowych podczas wstępnego szkolenia. Wstępnie wytrenowany GNN może następnie zostać dostosowany do mniejszych zbiorów danych z etykietami, aby osiągnąć doskonałe wyniki w zadaniach takich jak klasyfikacja węzłów, predykcja połączeń i klasyfikacja grafów.

Dzięki wykorzystaniu samouczenia, GNN wstępnie szkolone na dużych nieoznaczonych zbiorach danych wykazują lepszą generalizację, wytrzymałość na zmiany dystrybucji i wydajność w porównaniu z trenowaniem od podstaw. Jednak niektóre kluczowe ograniczenia tradycyjnych metod samoucznego uczenia się opartych na GNN pozostają, które będziemy wykorzystywać do dalszego rozwoju z użyciem LLM.

Poprawa uczenia maszynowego grafów za pomocą dużych modeli językowych

Integracja grafów i LLM – źródło

Niesamowite możliwości LLM w zrozumieniu języka naturalnego, rozumowaniu i nauce w kilku przypadkach prezentują możliwości poprawy wielu aspektów potoków uczenia maszynowego grafów. Eksplorujemy niektóre kluczowe kierunki badań w tym obszarze:

Kluczowym wyzwaniem w stosowaniu GNN jest uzyskanie wysokiej jakości reprezentacji cech dla węzłów i krawędzi, zwłaszcza gdy zawierają bogate atrybuty tekstowe, takie jak opisy, tytuły lub abstrakty. Tradycyjnie proste worki słów lub wstępnie wytrenowane modele wektorów słów były używane, które często nie są w stanie uchwycić nuansów semantyki.

Niedawne prace wykazały potęgę wykorzystania dużych modeli językowych jako kodera tekstów do konstruowania lepszych reprezentacji cech węzłów/krówędzi przed przekazaniem ich do GNN. Na przykład Chen et al. wykorzystują LLM takie jak GPT-3 do kodowania atrybutów tekstowych węzłów, pokazując znaczne zyski wydajności w porównaniu z tradycyjnymi wektorami słów w zadaniach klasyfikacji węzłów.

Poza lepszymi kodowaniem tekstu, LLM mogą być wykorzystane do generowania uzupełniających informacji z oryginalnych atrybutów tekstowych w półnadzorowanym trybie. TAPE generuje potencjalne etykiety/wyjaśnienia dla węzłów za pomocą LLM i wykorzystuje je jako dodatkowe uzupełniające cechy. KEA wyodrębnia terminy z atrybutów tekstowych za pomocą LLM i uzyskuje szczegółowe opisy tych terminów, aby uzupełnić cechy.

Poprawiając jakość i wyrażalność wejściowych cech, LLM mogą nadać swoje wyższe zdolności zrozumienia języka naturalnego GNN, zwiększając wydajność w zadaniach podrzędnych.

Zmniejszanie zależności od danych z etykietami

Kluczową zaletą LLM jest ich zdolność do osiągania przyzwoitych wyników w nowych zadaniach z niewielką ilością lub bez danych z etykietami, dzięki ich wstępnemu szkoleniu na ogromnych korpusach tekstowych. Ta zdolność do nauki w kilku przypadkach może być wykorzystana do zmniejszenia zależności GNN od dużych zbiorów danych z etykietami.

Jednym z podejść jest użycie LLM do bezpośrednich predykcji na zadaniach grafowych, opisując strukturę grafu i informacje o węzłach w naturalnych prompach językowych. Metody takie jak InstructGLM i GPT4Graph dostosowują LLM takie jak LLaMA i GPT-4, wykorzystując starannie zaprojektowane prompty, które uwzględniają szczegóły topologii grafu, takie jak połączenia węzłów, sąsiedztwa itp. Dostosowane LLM mogą następnie generować predykcje dla zadań takich jak klasyfikacja węzłów i predykcja połączeń w trybie zero-shot podczas inferencji.

Podczas gdy użycie LLM jako czarnej skrzynki predykcyjnej wykazało obietnice, ich wydajność pogarsza się w przypadku bardziej złożonych zadań grafowych, w których korzystne jest jawne modelowanie struktury. Niektóre podejścia wykorzystują więc LLM w połączeniu z GNN – GNN koduje strukturę grafu, podczas gdy LLM zapewnia lepsze zrozumienie semantyki węzłów z ich opisów tekstowych.

Zrozumienie grafu z ramą LLM – Źródło

GraphLLM eksploruje dwie strategie: 1) LLM jako wzmacniacze, gdzie LLM koduje atrybuty tekstowe węzłów przed przekazaniem ich do GNN, i 2) LLM jako predykatory, gdzie LLM przyjmuje pośrednie reprezentacje GNN jako dane wejściowe do ostatecznych predykcji.

GLEM idzie dalej, proponując algorytm EM z variacją, który na przemian aktualizuje składniki LLM i GNN dla wzajemnego wzmocnienia.

Zmniejszając zależność od danych z etykietami za pomocą zdolności do nauki w kilku przypadkach i półnadzorowanego uzupełniania, metody uczenia grafów z udziałem LLM mogą odblokować nowe aplikacje i poprawić efektywność danych.

Poprawa LLM za pomocą grafów

Podczas gdy LLM odniosły ogromny sukces, nadal cierpią na kluczowe ograniczenia, takie jak halucynacje (generowanie niefaktualnych oświadczeń), brak interpretowalności w procesie rozumowania i niezdolność do utrzymania spójnej wiedzy faktograficznej.

Grafy, zwłaszcza grafy wiedzy, które reprezentują strukturalną wiedzę faktograficzną z wiarygodnych źródeł, prezentują obiecujące ścieżki do rozwiązania tych ograniczeń. Eksplorujemy niektóre nowe podejścia w tym kierunku:

Wstępne szkolenie LLM z użyciem grafów wiedzy

Podobnie jak LLM są wstępnie szkolone na dużych korpusach tekstowych, niedawne prace wykorzystują je do wstępnego szkolenia na grafach wiedzy, aby nadać lepszą świadomość faktograficzną i zdolności rozumowania.

Niektóre podejścia modyfikują dane wejściowe, łącząc prosto lub wyrównując faktograficzne trójki KG z tekstem naturalnym podczas wstępnego szkolenia. E-BERT wyrównuje wektory encji KG z wektorami wordpiece BERT, podczas gdy K-BERT konstruuje drzewa zawierające oryginalne zdanie i odpowiednie trójki KG.