AI-startup Diffbot leser hele det offentlige internett for å fremme faktabasert tekstgenerering

De nylige fremstegene i naturlig språkbehandling og tekstgenerering som er oppnådd av OpenAI gjennom deres GPT-2 og GPT-3 språkmodeller har vært imponerende, og kan generere tekst som ser ut til å være skrevet av en menneske. Dessverre er disse modellene ikke i stand til å skrive tekst som er faktisk riktig. Avanserte språkmodeller setter sammen setninger fra ord som har mest mening i sammenheng, uten å bry seg om sannheten i påstandene i den genererte teksten. Ifølge MIT Technology Review har en startup kalt Diffbot som mål å løse dette problemet ved å la en AI-utvikle så mange fakta som mulig fra internettet.

Diffbot er en startup som håper å gjøre AI mer nyttig for praktiske tekstgenereringoppgaver som å fylle ut regneark og autokomplettere setninger eller kode. For at teksten som genereres av AI skal være pålitelig, må AI-en selv være pålitelig og ha noen konsept for faktisk vs. fiktivt. Diffbots tilnærming til å gi et tekstgenereringsprogram evnen til å generere faktiske uttalelser begynner med å samle inn massive mengder tekst fra nesten hele det offentlige internettet. Diffbot parser tekst på flere språk og deler opp teksten i sett av faktabaserte tripletter, med subjekt, objekt og verb for en gitt faktum brukes til å koble en konsept til en annen. For eksempel kan det representere fakta om Bill Gates og Microsoft (MSFT ) slik:

Bill Gates er grunnleggeren av Microsoft. Microsoft er et selskap som driver med datateknologi.

Diffbot tar alle disse korte faktoidene og kobler dem sammen for å skape en kunnskapsgraf. Kunnskapsgrafer skaper nettverk av relasjoner mellom konsepter, ofte sammen med en resonner som hjelper til å skape nye konklusjoner basert på disse relasjonene. For å si det på en annen måte, kunnskapsgrafer bruker datainterlinking, og de kan hjelpe maskinlæringsalgoritmer med å modellere kunnskapsdomener. Kunnskapsgrafer har faktisk vært rundt i tiår, og mange tidlige AI-forskere anså dem som viktige verktøy for å la AI forstå den menneskelige verden. Imidlertid ble kunnskapsgrafer vanligvis skapt for hånd, noe som er en vanskelig og smertefull prosess. Automatisering av kunnskapsgrafskaping kan tillate AI å oppnå en mye større, kontekstuell forståelse av konsepter og produsere tekst som er faktabasert.

Google (GOOGL ) startet å bruke kunnskapsgrafer for noen år siden for å hjelpe med å gi sammenfatninger av informasjon når en populær emne søkes. Kunnskapsgrafen brukes til å trekke ut de mest relevante faktoidene og representere dem som en sammenfatning. Diffbot ønsker å gjøre det samme for alle emner, ikke bare de mest populære. Dette krever å bygge en absolutt massiv kunnskapsgraf, samlet inn ved å crawle hele det offentlige internettet, noe som bare Google og Microsoft gjør ellers. Diffbot scannet hele internettet og oppdaterer kunnskapsgrafen med ny informasjon hver fjerde eller femte dag, og over en måneds tid legger det til mellom 100 millioner og 150 millioner innførsler.

Diffbot leser ikke teksten på en nettside som vanlige nettlesere, men bruker i stedet datavisjonsalgoritmer til å trekke ut de rå pikslene av en nettside og hente video-, bilde-, artikkel- og diskusjonsdata fra siden. Det identifiserer de viktigste elementene på nettsiden og trekker så ut fakta på en rekke språk, i samsvar med den tredelte faktoidschemat.

Aktuelt tilbyr Diffbot både betalt og gratis tilgang til sin kunnskapsgraf. Mens forskere kan få tilgang til grafen gratis, bruker selskaper som DuckDuckGo og Snapchat den til å sammenfatte tekst og trekke ut utdrag av trending nyhetsartikler. I mellomtiden bruker Nike og Adidas plattformen til å finne nettsteder som selger forfalskede produkter, noe som er mulig fordi Diffbot kan fastslå hvilke nettsteder som faktisk selger sko, og ikke bare diskuterer dem.

I fremtiden planlegger Diffbot å utvide sine evner og legge til en naturlig språk-grensesnitt til plattformen, som kan svare på nesten alle spørsmål du stiller og bakke opp svarene med kilder. Ideelt sett vil Diffbots evner kombineres med en kraftig språksyntesemodell som GPT-3.