Rozpoczęcie startupu Diffbot do czytania całego publicznego Internetu w celu realizacji generacji tekstu opartego na faktach

Ostatnie postępy w zakresie przetwarzania języka naturalnego i generacji tekstu, które zostały osiągnięte przez OpenAI dzięki ich modelom językowym GPT-2 i GPT-3, były imponujące, umożliwiając generowanie tekstu, który wygląda jakby został naprawdę napisany przez człowieka. Niestety, chociaż te modele są doskonałe w tworzeniu naturalnie brzmiącego tekstu, nie są one wyposażone w możliwość tworzenia tekstu, który jest faktualny. Zaawansowane modele językowe łączą zdania razem z wyrazów, które mają najwięcej sensu w kontekście, nie zwracając uwagi na prawdziwość twierdzeń w wygenerowanym tekście. Jak donosi MIT Technology Review, startup znany jako Diffbot stara się rozwiązać ten problem, wykorzystując AI do wyodrębnienia jak najwięcej faktów z Internetu.

Diffbot to startup, który ma nadzieję uczynić AI bardziej przydatnym do praktycznych zadań generacji tekstu, takich jak automatyczne wypełnianie arkuszy kalkulacyjnych i autouzupełnianie zdań lub kodu. Aby wygenerowany tekst był niezawodny, AI musi być godne zaufania i musi mieć pojęcie o faktach i fikcji. Podejście Diffbota do nadania programowi generacji tekstu możliwości generowania faktów rozpoczyna się od zebrania ogromnych ilości tekstu z praktycznie całego publicznego Internetu. Diffbot parsuje tekst w wielu językach i dzieli go na zestawy faktów opartych na trzech częściach, z podmiotem, przedmiotem i czasownikiem danego faktu, który łączy jeden koncept z innym. Na przykład, mógłby on reprezentować fakty dotyczące Billa Gatesa i Microsoftu w ten sposób:

Bill Gates jest założycielem Microsoftu. Microsoft (MSFT ) to firma technologiczna.

Diffbot bierze wszystkie te krótkie fakty i łączy je, tworząc graf wiedzy. Grafy wiedzy tworzą sieci relacji między pojęciami, często wraz z powodem, który pomaga w tworzeniu nowych wniosków na podstawie tych relacji. Innymi słowy, grafy wiedzy wykorzystują łączenie danych i mogą pomóc algorytmom uczenia maszynowego w modelowaniu dziedzin wiedzy. Grafy wiedzy istnieją już od dziesięcioleci i wielu wczesnych badaczy AI uważało je za ważne narzędzia, które pozwalają AI zrozumieć świat ludzi. Jednak grafy wiedzy były zwykle tworzone ręcznie, co jest trudnym i czasochłonnym procesem. Zautomatyzowanie tworzenia grafów wiedzy mogłoby pozwolić AI na uzyskanie znacznie większego, kontekstowego zrozumienia pojęć i generowanie tekstu opartego na faktach.

Google (GOOGL ) zaczął wykorzystywać grafy wiedzy kilka lat temu, aby pomóc w podsumowaniu informacji, gdy wyszukuje się popularny temat. Graf wiedzy jest wykorzystywany do pobrania najbardziej istotnych faktów i ich przedstawienia jako podsumowanie. Diffbot chce zrobić to samo dla każdego tematu, a nie tylko dla najpopularniejszych. Wymaga to budowy absolutnie ogromnego grafu wiedzy, skompilowanego przez przeszukiwanie całego publicznego Internetu, co robią tylko Google i Microsoft. Diffbot skanuje cały Internet i aktualizuje graf wiedzy z nowymi informacjami co cztery lub pięć dni, i w ciągu miesiąca dodaje od 100 milionów do 150 milionów wpisów.

Diffbot nie czyta tekstu strony internetowej jak normalne przeglądarki internetowe, ale wykorzystuje algorytmy widzenia komputerowego, aby wyodrębnić surowe piksele strony internetowej i pobrać dane wideo, obrazu, artykułu i dyskusji ze strony. Identyfikuje kluczowe elementy strony internetowej, a następnie wyodrębnia fakty w różnych językach, zgodnie ze schematem trzech części.

Obecnie Diffbot oferuje zarówno płatny, jak i bezpłatny dostęp do swojego grafu wiedzy. Podczas gdy badacze mogą uzyskać dostęp do grafu za darmo, firmy takie jak DuckDuckGo i Snapchat wykorzystują go do podsumowania tekstu i wyodrębniania fragmentów popularnych wiadomości. Tymczasem Nike i Adidas wykorzystują tę platformę, aby znaleźć strony, które sprzedają fałszywe produkty, co jest możliwe, ponieważ Diffbot jest w stanie ustalić, które strony naprawdę sprzedają buty, a nie tylko dyskutują o nich.

W przyszłości Diffbot planuje rozszerzyć swoje możliwości i dodać interfejs języka naturalnego do platformy, który będzie w stanie odpowiedzieć na prawie każde pytanie i udzielić odpowiedzi z podaniem źródeł. Ideałem byłoby połączenie możliwości Diffbota z potężnym modelem syntezy języka, takim jak GPT-3.