인공지능
그래프 신경망을 대규모 언어 모델로超充전:究極의 가이드
그래프는 소셜 네트워크, 지식 그래프, 생물학적 시스템 등 다양한 도메인에서 복잡한 관계를 나타내는 데이터 구조입니다. 이러한 그래프에서 엔티티는 노드로 표현되고, 그 관계는 에지로 묘사됩니다.
이러한 복잡한 관계 구조를 효과적으로 표현하고 추론하는 능력은 네트워크 과학, 화학 정보학, 추천 시스템 등 다양한 분야에서 발전을 가능하게 하는 데 중요합니다.
그래프 신경망(GNN)은 그래프 기계 학습 작업을 위한 강력한 딥 러닝 프레임워크로 등장했습니다. 그래프 토폴로지를 신경망 아키텍처에 통합함으로써, GNN은 노드 특징과 구조적 역할을 모두 포함하는 저차원 벡터 표현을 학습할 수 있습니다. 이를 통해 GNN은 노드 분류, 링크 예측, 그래프 분류 등의 작업에서 최첨단 성능을 달성할 수 있습니다.
GNN은 상당한 발전을 이루었지만, 몇 가지 주요 도전 과제가 남아 있습니다. 지도 학습을 위한 높은 품질의 레이블이 있는 데이터를 얻는 것은 비용이 많이 들고 시간이 걸릴 수 있습니다. 또한, GNN은 이질적인 그래프 구조와 테스트 시점의 그래프 분포가 훈련 데이터와 크게 다른 상황(분포 밖 일반화)에서 어려움을 겪을 수 있습니다.
한편, GPT-4와 LLaMA를 포함한 대규모 언어 모델(LLM)은 자연어 이해와 생성 능력으로 세계를 놀라게 했습니다. 수십억 개의 매개 변수를 갖는 거대한 텍스트 코퍼스에서 훈련된 LLM은 몇 샷 학습, 작업 간 일반화, 상식 추론 능력 등이 뛰어나며, 이는 이전에는 AI 시스템에서 매우 어려웠던 것으로 생각되었습니다.
LLM의 엄청난 성공은 그래프 기계 학습 작업을 위해 그들의 힘을 활용하는 연구를 촉발했습니다. 한편으로, LLM의 지식과 추론 능력은 전통적인 GNN 모델을 향상시키는 기회를 제공합니다. 반면에, 그래프에 내재된 구조적 표현과 사실적 지식은 LLM의 몇 가지 주요 제한 사항, 즉 환각과 해석 가능성의 부족을 해결하는 데 도움이 될 수 있습니다.
그래프 신경망과 자기 지도 학습
必要한 컨텍스트를 제공하기 위해, 우리는 먼저 그래프 신경망과 자기 지도 그래프 표현 학습의 핵심 개념과 방법을 간략하게 검토할 것입니다.
그래프 신경망 아키텍처
그래프 신경망 아키텍처 – 소스
전통적인 딥 신경망과 GNN의 핵심 차이점은 그래프 구조 데이터에서 직접 작동할 수 있는 능력에 있습니다. GNN은 이웃 집계 방식을 따르며, 각 노드는 자신의 표현을 계산하기 위해 이웃의 특징 벡터를 집계합니다.
다양한 GNN 아키텍처가 제안되었으며, 메시지와 업데이트 함수의 다른 인스턴트가 있습니다. 예를 들어, 그래프 컨볼루션 네트워크(GCN), GraphSAGE, 그래프 어텐션 네트워크(GAT) 및 그래프 동형성 네트워크(GIN) 등이 있습니다.
최근에는 그래프 트랜스포머가 인기를 얻으며, 자연어 트랜스포머의 자기 주의 메커니즘을 그래프 구조 데이터에서 작동하도록 적응시켰습니다. 일부 예로는 GraphormerTransformer 및 GraphFormers가 있습니다. 이러한 모델은 순수한 이웃 기반 GNN보다 그래프 전체의 장거리 의존성을 더 잘 포착할 수 있습니다.
그래프에서 자기 지도 학습
GNN은 강력한 표현 모델이지만, 그 성능은 종종 지도 학습을 위한 대규모 레이블이 있는 데이터셋의 부족으로 인해 병목 현상에 직면할 수 있습니다. 그래프에서 자기 지도 학습은 그래프 구조와 노드 특징만을 사용하여 GNN을 사전 훈련하는 유망한 패러다임으로 등장했습니다.
GNN 사전 훈련을 위한 일반적인 전제 작업에는 다음이 포함됩니다.
- 노드 속성 예측: 노드 속성의 일부를 임의로 마스킹하거나 손상시키고, GNN에 이를 재구성하도록 합니다.
- 에지/링크 예측: 노드 쌍 사이에 에지가 존재하는지 예측하는 것을 학습하는 것입니다. 이는 종종 임의 에지 마스킹을 기반으로 합니다.
- 대조적 학습: 동일한 그래프 샘플의 그래프 뷰 사이의 유사성을 최대화하면서, 다른 그래프의 뷰는 서로 멀리 밀어냅니다.
- 상호 정보 최대화: 로컬 노드 표현과 대상 표현(예: 전역 그래프 임베딩) 사이의 상호 정보를 최대화합니다.
이러한 전제 작업을 통해 GNN은 레이블이 없는 그래프 데이터에서 의미 있는 구조적 및 의미적 패턴을 추출할 수 있습니다. 사전 훈련된 GNN은 이후 상대적으로 작은 레이블이 있는 서브셋에서 미세 조정되어 노드 분류, 링크 예측, 그래프 분류 등의 다운스트림 작업에서 우수한 성능을 발휘할 수 있습니다.
자기 지도 학습을 활용하면, 대규모 레이블이 없는 데이터셋에서 사전 훈련된 GNN은 지도 학습에서 훈련된 것보다 더 나은 일반화,頑健성 및 효율성을 보여줍니다. 그러나, 전통적인 GNN 기반 자기 지도 학습 방법의 몇 가지 주요 제한 사항이 남아 있으며, 이를 LLM을 사용하여 해결하는 방법을 다음에 살펴보겠습니다.
그래프 기계 학습을 대규모 언어 모델로 향상시키기
그래프와 LLM의 통합 – 소스
LLM의 자연어 이해, 추론 및 몇 샷 학습 능력은 그래프 기계 학습 파이프라인의 여러 측면을 향상시키는 데 기회를 제공합니다. 우리는 이 공간에서 몇 가지 주요 연구 방향을 탐구합니다:
GNN을 적용하는 주요 도전 과제 중 하나는 노드와 에지에 대한 높은 품질의 특징 표현을 얻는 것입니다. 특히, 노드에 부착된 텍스트 속성(예: 설명, 제목, 초록)이 풍부한 경우에는 더욱 그렇습니다. 전통적으로, 간단한 백오브워즈 또는 사전 훈련된 단어 임베딩 모델이 사용되었습니다. 그러나, 이러한 방법은 종종 세련된 의미를 포착하지 못합니다.
최근 연구에서는 GNN에 입력되는 노드/에지 특징 표현을 생성하기 전에 LLM을 텍스트 인코더로 사용하는 것을 보여주었습니다. 예를 들어, Chen et al.은 노드 텍스트 속성을 인코딩하기 위해 LLM(GPT-3)을 사용하여, 전통적인 단어 임베딩보다 노드 분류 작업에서 상당한 성능 향상을 보여주었습니다.
텍스트 인코더를 넘어, LLM은 원래 텍스트 속성에서 증강 정보를 생성하는 데 사용될 수 있습니다. TAPE는 노드에 대한 잠재적 레이블/설명을 생성하기 위해 LLM을 사용하고, 이러한 설명을 추가 특징으로 사용합니다. KEA는 텍스트 속성에서 용어를 추출하기 위해 LLM을 사용하고, 이러한 용어에 대한 자세한 설명을 얻어 특징을 증강합니다.
입력 특징의 품질과 표현력을 향상시키면, LLM은 우수한 자연어 이해 능력을 GNN에 전달하여 다운스트림 작업의 성능을 향상시킬 수 있습니다.
레이블 데이터에 대한 의존성 완화
LLM의 주요 장점 중 하나는 새로운 작업에서 거의 레이블이 없는 데이터로도 합리적인 성능을 발휘하는 능력입니다. 이는 대규모 텍스트 코퍼스에서 사전 훈련된 결과입니다. 이러한 몇 샷 학습 능력을 활용하여 GNN의 레이블 데이터에 대한 의존성을 완화할 수 있습니다.
한 가지 접근 방식은 그래프 구조와 노드 정보를 자연어 프롬프트로 설명하여 그래프 작업에 직접 예측을 수행하는 것입니다. InstructGLM 및 GPT4Graph와 같은 방법은 그래프 토폴로지 세부 정보(예: 노드 연결, 이웃 등)를 포함하는 프롬프트를 사용하여 LLM(예: LLaMA, GPT-4)을 미세 조정합니다. 조정된 LLM은 노드 분류 및 링크 예측과 같은 작업에 대한 예측을 제로샷 방식으로 생성할 수 있습니다.
블랙박스 예측기로서 LLM을 사용하는 것은 약간의 약속을 보여주었지만, 그래프 구조를 명시적으로 모델링하는 것이 유익한 더 복잡한 그래프 작업에서는 그 성능이 저하됩니다. 따라서 일부 접근 방식은 GNN과 함께 LLM을 사용합니다. GNN은 그래프 구조를 인코딩하고, LLM은 노드의 텍스트 설명에서 향상된 의미적 이해를 제공합니다.
LLM을 사용한 그래프 이해 – 소스
GraphLLM은 두 가지 전략을 탐구합니다. 1) LLM을 강화기로서 사용하는 경우, LLM은 GNN에 입력하기 전에 노드 텍스트 속성을 인코딩합니다. 2) LLM을 예측기로 사용하는 경우, LLM은 GNN의 중간 표현을 입력으로 받아 최종 예측을 생성합니다.
GLEM은 LLM 구성 요소와 GNN 구성 요소를 상호적으로 개선하기 위해 변분 EM 알고리즘을 제안합니다.
레이블 데이터에 대한 의존성을 줄임으로써, LLM을 사용한 그래프 학습 방법은 새로운 응용 프로그램을 개방하고 데이터 효율성을 향상시킬 수 있습니다.
LLM을 그래프로 향상시키기
LLM은 엄청난 성공을 거두었지만, 여전히 환각(사실이 아닌 문장을 생성), 추론 과정의 해석 가능성 부족 및 일관된 사실적 지식을 유지하지 못하는 등의 주요 제한 사항을 겪고 있습니다.
특히 지식 그래프는 신뢰할 수 있는 출처에서 구조화된 사실 정보를 나타내므로, 이러한 그래프는 이러한 약점을 해결하는 데 유망한 방향을 제시합니다. 우리는 몇 가지 새로운 접근 방식을 탐구합니다:
지식 그래프를 사용한 LLM 사전 훈련
LLM을 사전 훈련하는 것과 마찬가지로, 최근 연구는 지식 그래프에서 LLM을 사전 훈련하여 더 나은 사실적 인식 및 추론 능력을 부여하는 것을 탐구했습니다.
일부 접근 방식은 입력 데이터를 수정하여 단순히 지식 그래프 트리플을 텍스트와 함께 연결하거나 사전 훈련 중에 정렬합니다. E-BERT는 지식 그래프 엔티티 벡터를 BERT의 워드피스 임베딩과 정렬합니다. 반면에 K-BERT는 원래 문장과 관련된 지식 그래프 트리플을 포함하는 트리를 구성합니다.
