AI 스타트업 Diffbot, 사실 기반 텍스트 생성을 위해 전체 공공 인터넷을 읽다

OpenAI의 GPT-2와 GPT-3 언어 모델을 통해 달성된 최근의 자연어 처리 및 텍스트 생성의 발전은 인상적이었으며, 인간이 실제로 작성한 것처럼 보이는 텍스트를 생성할 수 있습니다. 그러나 이러한 모델은 사실적인 텍스트를 생성하는 데 능숙하지 않습니다. 고급 언어 모델은 문맥에서 가장 의미가 있는 단어를 사용하여 문장을 조합하지만, 생성된 텍스트 내의 주장의 진실성에는 주목하지 않습니다. MIT 기술 리뷰에 따르면, Diffbot이라는 스타트업은 인터넷에서 가능한 많은 사실을 추출하여 이 문제를 해결하고자 합니다.

Diffbot은 실제 텍스트 생성 작업인 스프레드시트 자동 채우기 및 문장 또는 코드 자동 완성을 위해 AI를 더 유용하게 만들기를 희망하는 스타트업입니다. AI가 생성한 텍스트가 신뢰할 수 있으려면, AI 자체가 신뢰할 수 있어야 하며 사실과 허구 구분에 대한 개념이 있어야 합니다. Diffbot의 사실 기반 문장 생성 프로그램을 제공하는 접근법은 거의 모든 공공 웹에서大量의 텍스트를 수집하는 것으로 시작합니다. Diffbot은 여러 언어의 텍스트를 구문 분석하고, 주제, 목적어, 동사로 구성된 사실 기반의 triplet으로 나눕니다. 예를 들어, 빌 게이츠와 마이크로소프트에 대한 사실은 다음과 같이 나타낼 수 있습니다.

빌 게이츠는 마이크로소프트의 창립자입니다. 마이크로소프트는 컴퓨터 기술 회사입니다.

Diffbot은 이러한 짧은 사실들을 모두 연결하여 지식 그래프를 생성합니다. 지식 그래프는 개념 간의 관계를 웹으로 생성하며, 종종 새로운 결론을 생성하는 데 도움이 되는 추론기를 사용합니다. 즉, 지식 그래프는 데이터 상호 연결을 사용하며, 기계 학습 알고리즘이 지식 도메인을 모델링하는 데 도움이 될 수 있습니다. 지식 그래프는 수십 년 동안 존재해 왔으며, 초기 AI 연구자들은 인간 세계를 이해하는 데 도움이 되는 중요한 도구로 간주했습니다. 그러나 지식 그래프는 일반적으로 수동으로 생성되었으며, 이는 어려운 작업입니다. 지식 그래프 생성을 자동화하면 AI가 개념에 대한 더 큰 문맥적 이해를 얻을 수 있으며, 사실 기반의 텍스트를 생성할 수 있습니다.

구글은 몇 년 전 지식 그래프를 사용하여 인기 있는 주제를 검색할 때 정보 요약을 제공하기 시작했습니다. 지식 그래프는 가장 관련성이 높은 사실을 요약하여 나타냅니다. Diffbot은 모든 주제에 대해 동일한 작업을 수행하고자 합니다. 이는 거의 모든 공공 웹을 크롤링하여 생성된 지식 그래프를 구축하는 것을 필요로 합니다. Diffbot은 4~5일마다 전체 웹을 스캔하고 지식 그래프를 새로운 정보로 업데이트하며, 한 달 동안 약 1억~1.5억 개의 항목을 추가합니다.

Diffbot은 일반적인 웹 크롤러와 달리, 웹 페이지의 원시 픽셀을 추출하여 비디오, 이미지, 기사, 토론 데이터를 페이지에서 추출합니다. Diffbot은 웹 페이지의 핵심 요소를 식별하고, 3부분으로 구성된 사실 기반 스키마에 따라 다양한 언어로 사실을 추출합니다.

현재, Diffbot은 지식 그래프에 대한 무료 및 유료 액세스를 제공합니다. 연구자들은 그래프에 무료로 액세스할 수 있지만, DuckDuckGo 및 Snapchat과 같은 회사들은 텍스트를 요약하고 트렌드하는 뉴스 항목을 추출하는 데 그래프를 사용합니다. 한편, Nike와 Adidas는 Diffbot을 사용하여 가품을 판매하는 사이트를 찾습니다. 이는 Diffbot이 실제로 신발을 판매하는 사이트인지, 단지 토론하는 사이트인지 구분할 수 있기 때문입니다.

미래에, Diffbot은 기능을 확장하고, 거의 모든 질문에 답변할 수 있는 자연어 인터페이스를 플랫폼에 추가할 계획입니다. 또한, Diffbot의 기능은 강력한 언어 합성 모델인 GPT-3와 결합될 수 있습니다.