인공지능

대규모 언어 모델을 사용한 그래프 신경망 강화: 최고의 가이드

게재 2024 년 5 월 8 일

업데이트 2024 년 11 월 15 일

아유쉬 미탈 미탈

그래프는 소셜 네트워크, 지식 기반, 생물학적 시스템 등을 포함한 광범위한 영역에 걸쳐 복잡한 관계를 나타내는 데이터 구조입니다. 이 그래프에서 엔터티는 노드로 표시되고 해당 관계는 가장자리로 표시됩니다.

이러한 복잡한 관계 구조를 효과적으로 표현하고 추론하는 능력은 네트워크 과학, 화학정보학, 추천 시스템과 같은 분야의 발전을 가능하게 하는 데 매우 중요합니다.

그래프 신경망(GNN)은 그래프 기계 학습 작업을 위한 강력한 딥 러닝 프레임워크로 등장했습니다. 이웃 집계 또는 그래프 컨볼루션을 통해 그래프 토폴로지를 신경망 아키텍처에 통합함으로써 GNN은 노드 기능과 구조적 역할을 모두 인코딩하는 저차원 벡터 표현을 학습할 수 있습니다. 이를 통해 GNN은 다양한 애플리케이션 영역에 걸쳐 노드 분류, 링크 예측 및 그래프 분류와 같은 작업에서 최첨단 성능을 달성할 수 있습니다.

GNN이 상당한 진전을 이루었지만 몇 가지 주요 과제가 남아 있습니다. 지도 GNN 모델을 훈련하기 위해 고품질의 레이블이 지정된 데이터를 얻는 것은 비용과 시간이 많이 소요될 수 있습니다. 또한 GNN은 이질적인 그래프 구조와 테스트 시 그래프 분포가 훈련 데이터와 크게 다른 상황(분포 외 일반화)으로 인해 어려움을 겪을 수 있습니다.

동시에 GPT-4와 같은 LLM(대형 언어 모델) 및 야마 놀라운 자연어 이해와 생성 능력으로 전 세계를 강타했습니다. 수십억 개의 매개변수가 포함된 대규모 텍스트 말뭉치에 대해 훈련된 LLM은 한때 AI 시스템에서 극도로 어려운 것으로 여겨졌던 놀라운 소수 학습 능력, 작업 전반의 일반화 및 상식 추론 기술을 보여줍니다.

LLM의 엄청난 성공은 그래프 기계 학습 작업에 LLM의 힘을 활용하려는 탐구를 촉진했습니다. 한편으로, LLM의 지식과 추론 능력은 전통적인 GNN 모델을 향상시킬 수 있는 기회를 제공합니다. 반대로, 그래프에 내재된 구조화된 표현과 사실적 지식은 환각 및 해석 가능성 부족과 같은 LLM의 일부 주요 제한 사항을 해결하는 데 도움이 될 수 있습니다.

그래프 신경망 및 자기 지도 학습

필요한 맥락을 제공하기 위해 먼저 그래프 신경망과 자기 지도 그래프 표현 학습의 핵심 개념과 방법을 간략하게 검토하겠습니다.

그래프 신경망 아키텍처

그래프 신경망 아키텍처 –

기존 심층 신경망과 GNN의 주요 차이점은 그래프 구조 데이터에서 직접 작동하는 능력에 있습니다. GNN은 각 노드가 이웃의 특징 벡터를 집계하여 자체 표현을 계산하는 이웃 집계 체계를 따릅니다.

다음과 같이 메시지 및 업데이트 기능의 다양한 인스턴스화를 사용하여 수많은 GNN 아키텍처가 제안되었습니다. 컨벌루션 네트워크 그래프 (GCN), 그래프SAGE, 그래프 주의 네트워크 (GAT) 및 그래프 동형 네트워크 (GIN) 등이 있습니다.

최근에는 자연어 변환기의 self-attention 메커니즘을 적용하여 그래프 구조 데이터에서 작동하는 그래프 변환기가 인기를 얻었습니다. 몇 가지 예는 다음과 같습니다 그래포머변압기및 그래프포머스. 이러한 모델은 순전히 이웃 기반 GNN보다 그래프 전체에서 장거리 종속성을 더 잘 포착할 수 있습니다.

그래프의 자기 지도 학습

GNN은 강력한 표현 모델이지만 감독 훈련에 필요한 대규모 레이블이 지정된 데이터 세트가 부족하여 성능에 병목 현상이 발생하는 경우가 많습니다. 자기 지도 학습은 본질적인 그래프 구조와 노드 기능만 필요한 프리텍스트 작업을 활용하여 레이블이 없는 그래프 데이터에 대해 GNN을 사전 훈련시키는 유망한 패러다임으로 부상했습니다.

자기 감독 그래프

자체 지도 GNN 사전 훈련에 사용되는 몇 가지 일반적인 프리텍스트 작업은 다음과 같습니다.

노드 속성 예측: 노드 속성/기능의 일부를 무작위로 마스킹하거나 손상시키고 GNN에 이를 재구성하도록 작업을 수행합니다.
에지/링크 예측: 종종 무작위 가장자리 마스킹을 기반으로 한 쌍의 노드 사이에 가장자리가 존재하는지 예측하는 방법을 학습합니다.
대조 학습: 서로 다른 그래프의 보기를 분리하면서 동일한 그래프 샘플의 그래프 보기 간의 유사성을 최대화합니다.
상호 정보 극대화: 글로벌 그래프 임베딩과 같은 로컬 노드 표현과 타겟 표현 간의 상호 정보를 최대화합니다.

이와 같은 프리텍스트 작업을 통해 GNN은 사전 훈련 중에 레이블이 지정되지 않은 그래프 데이터에서 의미 있는 구조적 및 의미론적 패턴을 추출할 수 있습니다. 사전 훈련된 GNN은 노드 분류, 링크 예측, 그래프 분류와 같은 다양한 다운스트림 작업에서 탁월하도록 상대적으로 작은 레이블이 지정된 하위 집합에서 미세 조정될 수 있습니다.

자체 감독을 활용함으로써 레이블이 지정되지 않은 대규모 데이터 세트에 대해 사전 훈련된 GNN은 처음부터 훈련하는 것에 비해 더 나은 일반화, 분포 이동에 대한 견고성 및 효율성을 나타냅니다. 그러나 기존 GNN 기반 자체 감독 방법에는 몇 가지 주요 제한 사항이 남아 있으며, 이를 해결하기 위해 LLM을 활용하는 방법을 살펴보겠습니다.

대규모 언어 모델로 Graph ML 향상

그래프와 LLM의 통합 –

자연어 이해, 추론 및 소수 학습에 대한 LLM의 뛰어난 기능은 그래프 기계 학습 파이프라인의 여러 측면을 향상할 수 있는 기회를 제공합니다. 우리는 이 분야에서 몇 가지 주요 연구 방향을 탐구합니다.

GNN을 적용할 때 중요한 과제는 특히 설명, 제목, 요약과 같은 풍부한 텍스트 속성이 포함된 노드와 에지에 대한 고품질 기능 표현을 얻는 것입니다. 전통적으로 단순한 bag-of-words나 사전 훈련된 단어 임베딩 모델이 사용되었는데, 이는 미묘한 의미를 포착하지 못하는 경우가 많습니다.

최근 연구에서는 대규모 언어 모델을 텍스트 인코더로 활용하여 GNN에 전달하기 전에 더 나은 노드/에지 기능 표현을 구성하는 힘을 보여주었습니다. 예를 들어, 첸 등. GPT-3과 같은 LLM을 활용하여 텍스트 노드 속성을 인코딩하여 노드 분류 작업에 대한 기존 단어 임베딩에 비해 상당한 성능 향상을 보여줍니다.

더 나은 텍스트 인코더 외에도 LLM을 사용하면 준지도 방식으로 원본 텍스트 속성에서 증강 정보를 생성할 수 있습니다. 테이프 LLM을 사용하여 노드에 대한 잠재적인 레이블/설명을 생성하고 이를 추가 증강 기능으로 사용합니다. KEA는 LLM을 사용하여 텍스트 속성에서 용어를 추출하고 이러한 용어에 대한 자세한 설명을 얻어 기능을 강화합니다.

입력 기능의 품질과 표현력을 향상함으로써 LLM은 우수한 자연어 이해 기능을 GNN에 부여하여 다운스트림 작업의 성능을 향상시킬 수 있습니다.

레이블이 지정된 데이터에 대한 의존도 완화

LLM의 주요 장점은 방대한 텍스트 말뭉치에 대한 사전 교육 덕분에 레이블이 지정된 데이터가 거의 또는 전혀 없이 새로운 작업을 합리적으로 잘 수행할 수 있는 능력입니다. 이 몇 번의 학습 기능을 활용하면 대규모 레이블이 지정된 데이터 세트에 대한 GNN의 의존도를 완화할 수 있습니다.

한 가지 접근 방식은 LLM을 사용하여 자연어 프롬프트에서 그래프 구조와 노드 정보를 설명함으로써 그래프 작업을 직접 예측하는 것입니다. 다음과 같은 방법 GLM 지시하기 및 GPT4그래프 노드 연결, 이웃 등과 같은 그래프 토폴로지 세부 정보를 통합하는 신중하게 설계된 프롬프트를 사용하여 LLaMA 및 GPT-4와 같은 LLM을 미세 조정합니다. 그런 다음 조정된 LLM은 추론 중에 제로 샷 방식으로 노드 분류 및 링크 예측과 같은 작업에 대한 예측을 생성할 수 있습니다.

LLM을 블랙박스 예측 변수로 사용하는 것이 유망한 것으로 나타났지만 구조의 명시적 모델링이 유익한 보다 복잡한 그래프 작업에서는 성능이 저하됩니다. 따라서 일부 접근 방식에서는 GNN과 함께 LLM을 사용합니다. GNN은 그래프 구조를 인코딩하는 반면 LLM은 텍스트 설명에서 노드에 대한 향상된 의미론적 이해를 제공합니다.

LLM 프레임워크를 통한 그래프 이해 – 출처

GraphLLM은 두 가지 전략을 탐구합니다. 1) LLM이 GNN에 전달되기 전에 텍스트 노드 속성을 인코딩하는 LLM-as-Enhancers, 2) LLM이 GNN의 중간 표현을 입력으로 받아 최종 예측을 하는 LLM-as-Predictors입니다.

GLEM은 더 나아가 상호 향상을 위해 LLM과 GNN 구성 요소를 번갈아 업데이트하는 변형 EM 알고리즘을 제안합니다.

LLM 강화 그래프 학습 방법은 퓨샷 기능과 반지도 강화를 통해 레이블이 지정된 데이터에 대한 의존도를 줄임으로써 새로운 애플리케이션을 활용하고 데이터 효율성을 향상시킬 수 있습니다.

그래프로 LLM 향상

LLM은 엄청난 성공을 거두었지만 환각(사실이 아닌 진술 생성), 추론 과정의 해석성 부족, 일관된 사실 지식 유지 불가능과 같은 주요 제한 사항으로 인해 여전히 어려움을 겪고 있습니다.

그래프, 특히 신뢰할 수 있는 출처에서 얻은 구조화된 사실 정보를 나타내는 지식 그래프는 이러한 단점을 해결할 수 있는 유망한 방법을 제시합니다. 우리는 이 방향에서 몇 가지 새로운 접근 방식을 탐구합니다.

지식 그래프 강화된 LLM 사전 교육

LLM이 큰 텍스트 말뭉치에 대해 사전 훈련되는 방식과 유사합니다. 최근 작품 더 나은 사실 인식 및 추론 능력을 부여하기 위해 지식 그래프에 대한 사전 교육을 모색했습니다.

일부 접근 방식은 사전 훈련 중에 사실적 KG 트리플을 자연어 텍스트와 단순히 연결하거나 정렬하여 입력 데이터를 수정합니다. E-버트 KG 엔티티 벡터를 BERT의 단어 조각 임베딩에 맞추고, K-BERT는 원래 문장과 관련 KG 트리플을 포함하는 트리를 구성합니다.

그래프 머신러닝에서 LLM의 역할:

연구원들은 LLM을 그래프 학습 파이프라인에 통합하는 여러 가지 방법을 모색해 왔는데, 각각 고유한 장점과 응용 분야가 있습니다. LLM이 수행할 수 있는 주요 역할은 다음과 같습니다.

강화제로서의 LLM: 이 접근법에서 LLM은 TAG의 노드와 관련된 텍스트 속성을 강화하는 데 사용됩니다. LLM은 설명, 지식 개체 또는 의사 레이블을 생성하는 기능을 통해 GNN에서 사용 가능한 의미 정보를 보강하여 노드 표현 및 후속 작업 성능을 향상시킬 수 있습니다.

예를 들어, TAPE(Text Augmented Pre-trained Encoders) 모델은 ChatGPT를 활용하여 인용 네트워크 논문에 대한 설명과 의사 레이블을 생성한 다음 언어 모델을 미세 조정하는 데 사용됩니다. 결과 임베딩은 노드 분류 및 링크 예측 작업을 위해 GNN에 공급되어 최첨단 결과를 얻습니다.

예측자로서의 LLM: 입력 기능을 향상시키는 대신 일부 접근 방식에서는 LLM을 그래프 관련 작업의 예측 구성 요소로 직접 사용합니다. 여기에는 그래프 구조를 LLM에서 처리할 수 있는 텍스트 표현으로 변환한 다음 노드 레이블 또는 그래프 수준 예측과 같은 원하는 출력을 생성하는 작업이 포함됩니다.

주목할만한 예 중 하나는 GML(Graph Modeling Language)을 사용하여 그래프를 표현하고 제로샷 그래프 추론 작업을 위해 강력한 GPT-4 LLM을 활용하는 GPT4Graph 모델입니다.

GNN-LLM 정렬: 또 다른 연구 라인은 GNN과 LLM의 임베딩 공간을 정렬하여 구조적 및 의미적 정보를 원활하게 통합하는 데 중점을 둡니다. 이러한 접근 방식은 GNN과 LLM을 별도의 양식으로 취급하고 대조 학습 또는 증류와 같은 기술을 사용하여 표현을 정렬합니다.

The 분자STM 예를 들어, 이 모델은 대조적 목적을 사용하여 GNN과 LLM의 임베딩을 정렬하고, 이를 통해 LLM이 GNN의 구조적 정보를 통합하는 동시에 GNN이 LLM의 의미적 지식으로부터 이점을 얻을 수 있도록 합니다.

과제 및 솔루션

LLM과 그래프 학습의 통합은 엄청난 가능성을 가지고 있지만 다음과 같은 몇 가지 과제를 해결해야 합니다.

효율성과 확장성: LLM은 리소스 집약적인 것으로 악명 높으며 훈련 및 추론을 위해 수십억 개의 매개변수와 막대한 계산 능력이 필요한 경우가 많습니다. 이는 실제 애플리케이션, 특히 리소스가 제한된 장치에서 LLM 강화 그래프 학습 모델을 배포하는 데 심각한 병목 현상이 될 수 있습니다.

유망한 솔루션 중 하나는 지식 증류, 대규모 LLM(교사 모델)의 지식이 더 작고 효율적인 GNN(학생 모델)으로 전송됩니다.

데이터 유출 및 평가: LLM은 방대한 양의 공개 데이터를 기반으로 사전 학습되며, 여기에는 일반적인 벤치마크 데이터셋의 테스트 세트가 포함될 수 있어 잠재적인 데이터 유출 및 성능 과대평가로 이어질 수 있습니다. 연구자들은 이 문제를 완화하기 위해 LLM의 학습 마감일 이후의 기간에서 새로운 데이터셋을 수집하거나 테스트 데이터를 샘플링하기 시작했습니다.

또한 LLM 강화 그래프 학습 모델에 대한 공정하고 포괄적인 평가 벤치마크를 설정하는 것은 실제 기능을 측정하고 의미 있는 비교를 가능하게 하는 데 중요합니다.

전달 가능성 및 설명 가능성: LLM은 제로샷 및 퓨샷 학습에 탁월하지만 다양한 그래프 도메인 및 구조에 걸쳐 지식을 전달하는 능력은 여전히 열려 있는 과제입니다. 이러한 모델의 이전 가능성을 향상시키는 것이 중요한 연구 방향입니다.

또한 LLM 기반 그래프 학습 모델의 설명 가능성을 향상시키는 것은 신뢰를 구축하고 고위험 애플리케이션에 채택하는 데 필수적입니다. 다음과 같은 기술을 통해 LLM의 고유한 추론 기능을 활용합니다. 일련의 사고 프롬프트 설명 가능성 향상에 기여할 수 있습니다.

멀티모달 통합: 그래프에는 이미지, 오디오 또는 숫자 데이터와 같은 다양한 양식과 잠재적으로 연결된 노드 및 가장자리가 있는 텍스트 정보 이상의 정보가 포함되는 경우가 많습니다. LLM의 통합을 이러한 다중 모드 그래프 설정으로 확장하면 향후 연구를 위한 흥미로운 기회가 제공됩니다.

실제 응용 프로그램 및 사례 연구

LLM과 그래프 기계 학습의 통합은 이미 다양한 실제 응용 프로그램에서 유망한 결과를 보여주었습니다.

분자 특성 예측: 전산화학 및 신약개발 분야에서는 분자 그래프의 구조 정보를 통합하여 분자 특성 예측을 향상시키기 위해 LLM이 사용되었습니다. 그만큼 LLM4Mol 모델예를 들어 ChatGPT를 활용하여 분자의 SMILES(Simplified Molecular-Input Line-Entry System) 표현에 대한 설명을 생성한 다음 속성 예측 작업의 정확성을 향상시키는 데 사용됩니다.
지식 그래프 완성 및 추론: 지식 그래프는 실제 엔터티와 그 관계를 나타내는 특별한 유형의 그래프 구조입니다. 그래프 구조와 텍스트 정보(예: 엔터티 설명)를 함께 고려해야 하는 지식 그래프 완성 및 추론과 같은 작업을 위해 LLM이 탐색되었습니다.
추천 시스템: 추천 시스템 영역에서 그래프 구조는 사용자와 항목의 상호 작용을 나타내는 데 자주 사용되며, 노드는 사용자와 항목을 나타내고 가장자리는 상호 작용이나 유사성을 나타냅니다. LLM을 활용하면 사용자/항목 관련 정보를 생성하거나 상호 작용 가장자리를 강화하여 이러한 그래프를 향상할 수 있습니다.

결론

대규모 언어 모델과 그래프 기계 학습의 시너지 효과는 인공 지능 연구에 흥미로운 개척지를 제시합니다. GNN의 구조적 귀납적 편향과 LLM의 강력한 의미 이해 기능을 결합함으로써 그래프 학습 작업, 특히 텍스트 속성 그래프의 새로운 가능성을 열어줄 수 있습니다.

상당한 진전이 이루어졌지만 효율성, 확장성, 전송 가능성, 설명 가능성 등의 영역에서는 여전히 과제가 남아 있습니다. 지식 증류, 공정한 평가 벤치마크 및 다중 모드 통합과 같은 기술은 실제 응용 프로그램에서 LLM 강화 그래프 학습 모델을 실제로 배포할 수 있는 길을 열어줍니다.

관련 주제 :BERT GNN 그래프 ML 신경망 그래프 LLM 자연어 이해

아유쉬 미탈

저는 지난 50년 동안 기계 학습과 딥 러닝의 매혹적인 세계에 몰두했습니다. 저의 열정과 전문 지식은 특히 AI/ML에 중점을 둔 XNUMX개 이상의 다양한 소프트웨어 엔지니어링 프로젝트에 기여하도록 이끌었습니다. 나의 계속되는 호기심은 또한 내가 더 탐구하고 싶은 분야인 자연어 처리로 나를 이끌었습니다.