AI-startup Diffbot läser hela den offentliga internet för att driva faktabaserad textgenerering

De senaste framstegen inom naturvetenskaplig språkbehandling och textgenerering som åstadkommits av OpenAI genom deras GPT-2 och GPT-3 språkmodeller har varit imponerande, kapabla att generera text som ser ut att ha skrivits av en människa. Tyvärr är dessa modeller, även om de är bra på att skriva naturljudande text, inte utrustade för att skriva faktisk text. Avancerade språkmodeller sätter samman meningar från ord som passar bäst i sammanhanget, utan att bry sig om sanningen i påståendena i den genererade texten. Enligt MIT Technology Review försöker ett startup-företag som heter Diffbot lösa detta problem genom att låta en AI extrahera så många fakta som möjligt från internet.

Diffbot är ett startup-företag som hoppas på att göra AI mer användbart för praktiska textgenereringssysslor som att automatiskt fylla i kalkylblad och slutföra meningar eller kod. För att den text som genereras av AI ska vara tillförlitlig måste AI själv vara pålitlig och ha någon form av begrepp för faktiska kontra fiktiva uttalanden. Diffbots tillvägagångssätt för att ge ett textgenereringsprogram förmågan att generera faktiska uttalanden börjar med att samla in enorma mängder text från nästan hela den offentliga webben. Diffbot tolkar text på flera språk och delar upp texten i uppsättningar av faktabaserade tripletter, med ämne, objekt och verb för en given faktum används för att länka ett koncept till ett annat. Till exempel kan den representera fakta om Bill Gates och Microsoft (MSFT ) på följande sätt:

Bill Gates är grundare av Microsoft. Microsoft är ett företag inom datorteknologi.

Diffbot tar alla dessa korta faktoider och kopplar samman dem för att skapa en kunskapsgraf. Kunskapsgrafer skapar nätverk av relationer mellan koncept, ofta tillsammans med en resonator som hjälper till att skapa nya slutsatser baserade på dessa relationer. För att uttrycka det på ett annat sätt, använder kunskapsgrafer data-länkning, och de kan hjälpa maskinlärningsalgoritmer att modellera kunskapsdomäner. Kunskapsgrafer har faktiskt funnits i decennier och många tidiga AI-forskare ansåg dem vara viktiga verktyg för att låta AI förstå den mänskliga världen. Men kunskapsgrafer skapades vanligtvis för hand, vilket är en svår och tidskrävande process. Att automatisera skapandet av kunskapsgrafer kan låta AI uppnå en mycket större, kontextuell förståelse av koncept och producera text som är faktabaserad.

Google (GOOGL ) började använda kunskapsgrafer för några år sedan för att hjälpa till att ge sammanfattningar av information när en populär ämne söks. Kunskapsgrafen används för att hämta de mest relevanta faktoiderna och representera dem som en sammanfattning. Diffbot vill göra samma sak för alla ämnen, inte bara de mest populära. Detta kräver att man bygger en absolut enorm kunskapsgraf, sammanställd genom att krypa igenom hela den offentliga webben, något som bara Google och Microsoft gör annars. Diffbot skannar hela webben och uppdaterar kunskapsgrafen med ny information var fjärde eller femte dag, och under en månads tid lägger den till mellan 100 miljoner och 150 miljoner poster.

Diffbot läser inte texten på en webbplats som vanliga webbkrypare, utan använder istället datorseendealgoritmer för att extrahera de råa pixlarna från en webbsida och hämta video-, bild-, artikel- och diskussionsdata från sidan. Den identifierar de viktigaste elementen på webbplatsen och extraherar sedan fakta på ett antal språk, i enlighet med den tredelade faktoid-schemat.

För närvarande erbjuder Diffbot både betald och gratis åtkomst till sin kunskapsgraf. Medan forskare kan komma åt grafen gratis, använder företag som DuckDuckGo och Snapchat den för att sammanfatta text och extrahera utdrag ur aktuella nyhetsartiklar. Samtidigt använder Nike och Adidas plattformen för att hitta webbplatser som säljer förfalskade produkter, vilket är möjligt eftersom Diffbot kan fastställa vilka webbplatser som faktiskt säljer skor, inte bara diskuterar dem.

I framtiden planerar Diffbot att utöka sin kapacitet och lägga till ett naturligt språkgränssnitt till plattformen, som kan besvara nästan vilken fråga som helst och backa upp svaren med källor. Idealiskt sett skulle Diffbots förmågor kombineras med en kraftfull språksyntesmodell som GPT-3.