Richard Boyd, medgrundare och VD för Tanjo Inc – Intervjuserie

Richard Boyd är en entreprenör, författare och talare inom en rad områden, från utbildning till hälsovård, virtuella världar, datorspel, maskinlärning och människa/datorgränssnitt. Under tre decennier har Richard lett eller hjälpt till att skapa några av de mest innovativa teknikföretagen och tjänsterna inom flera branscher, inklusive att starta och vara VD för fyra företag i North Carolinas Research Triangle Park-område. Richard sålde sitt senaste företag till Lockheed Martin (LMT ) och stannade kvar som chef för Virtual World Labs.

Richard är medgrundare och VD för det artificiella intelligens- och maskinlärningsföretaget Tanjo Inc, som är baserat i North Carolinas Research Triangle Park-område.

Du har arbetat med VR sedan 90-talet, och 2001 co-grundade du 3Dsolve. Vilka var några av de första projekten som 3Dsolve arbetade med?

Det mest betydelsefulla första projektet för 3dsolve var att hjälpa den amerikanska arméns utbildnings- och doktrinavdelning (TRADOC) att lära sig hur man kan utnyttja simulerad inlärning för små taktiska operationer. Vi skapade den första “Level 4 interaktiva multimediainstruktionskursen” (IMI) för armén som godkändes av TRADOC. Detta var i princip att utnyttja värdet av “säker övning i en fullständigt simulerad 3D-miljö för markenheter”. Den första kursen var över 100 timmar av undervisning i en samarbetsbaserad simulerad 3D-värld för 25B10 MOS (militär yrkeskategori) för kommunikation.

Vi skickade soldater till Afghanistan och Irak vid den tiden och utbildade dem att arbeta i DTOC (digitala taktiska operationscenter) när vi inte hade några DTOC i USA för att utbilda dem. 3Dsolve reste till Fort Hood, Fort Gordon och olika andra anläggningar för att hitta utrustning, träffa experter och bygga de virtuella DTOC där soldater kunde utbildas. Valideringsresultaten visade att soldater som använde denna metod utbildades på kortare tid med en högre kunskapsnivå (och klasspassningsfrekvens) än i någon klassrumsmetod som användes tidigare. Jag ser detta som början på den seriösa spelindustrin.

Jag tjänstgjorde också i ADL (Advanced Distributed Learning) Colab-rådet, där standarderna för återanvändbart inlärningsinnehåll skapades. Jag arbetade med Phillip Dodds där på 3D-standarden för SCORM (Shareable Content Object Reference Model). En sidanteckning: Phillip var den som spelade orgel i Steven Spielbergs film “Närkontakt av tredje graden”.

Jag tjänstgjorde också i en annan internationell standardiseringsorganisation som heter 3DIF, som ordfördes av Intel (INTC ) och Boeing, där vi skapade en internationell ECMA-standard med samma namn för 3D-utbytesformat. Idén var att till sist fånga allt värde i de 3D-CAD-modeller som byggdes för allt som tillverkades i världen och översätta dem för användning i seriösa spel och 3D-tekniska dokument. Det lever kvar i Adobe Acrobat och andra plattformar.

Vi fortsatte att arbeta med headsets och olika VR-tillbehör, i samarbete med branschpionjärer som Warren Robinett, Dr. Fred Brooks, Alan Kay och andra. Min medgrundare David Smith skapade en hel öppen källkodsplattform tillsammans med Alan Kay som heter OpenCroquet, som fortfarande lever idag.

Hur förändrades ditt liv efter att Lockheed Martin köpte 3Dsolve 2007?

Ett av de andra banbrytande projekten vi arbetade med på 3Dsolve som ledde till att Lockheed köpte oss var en simulering av en hel Los Angeles-klass ubåt. Vid den tiden satte flottan fortfarande hela fartyg åt sidan för utbildning. Vi banade väg för idén om “Total Ship Simulation”, som replikerade hela ubåten i en multiplayer-spelmiljö. Vi använde Epic Games Unreal Engine och förvandlade utbildningen för dessa fartyg. På Lockheed skapade vi simuleringar av jagare, Littoral Combat Ship samt alla under_system.

Det var en utmaning i början att anpassa sig från ett speltillverkningsföretag till de extra lager av tillsyn och rapportering som krävs i ett 100-årigt försvarsföretag. Vi lärde oss att skapa vår egen verklighet. Jag bildade en informell organisation som heter Virtual World Labs och modellerade den efter den berömda LM Skunkworks i Kalifornien. Faktum är att Skunkworks blev en medlem i VWL. Vi lärde oss under det första året att varje gång man kom med ett patentförslag fick man en check, och en till när det beviljades. Så det blev vårt incitamentsprogram. Vi satt och uppfunnit saker i AR, VR och AI. Mot slutet av min 5,5-åriga vistelse där hade vi ansökt om över 100 patent i en liten grupp om cirka 40 personer.

Ett av de mest roliga och relevanta programmen var skapandet av DOD Virtual World Framework. Vi hade varit en del av flera stora gemensamma krigsspel och sett frustrationen över bristen på samverkansförmåga mellan proprietära system som behövde fungera tillsammans i dessa stora levande, konstruktiva och virtuella simuleringsövningar. Vår första reaktion var att detta var ett löst problem… Det heter Internet! Om inköpsorganisationen kunde få alla att följa webbtjänster kunde vi bygga bättre integrerade utbildningssystem. Och WebGL hade just godkänts av World Wide Web Consortium. Tiden hade kommit för en omvälvning av affärsverksamheten som vanligt. Pentagonen utfärdade en begäran om förslag för en “gemensam virtuell världram” för integrerad simulering. Chefen för det programmet på Pentagon var en kreativ före detta flygplanspilot som heter Frank Digiovanni. Vi kallade honom D9. Han påminner mig mycket om historierna om Col John Boyd som drev på för kreativ förstörelse av våra stridsflygplansprogram och tänkande i flygvapnet.

Problemet var att D9 uttryckligen sa till sitt inköpslag att han “inte ville ha några Lockmart-liknande företag” för att bygga den nya ramen. Men David och jag gick in där tillsammans med den vanliga listan på cirka 17 leverantörer som lämnade in anbud på programmet och vi vann det. Vi lärde oss sedan att alla andra visade upp proprietära lösningar och försökte få regeringen att anta dem. Vi visade upp ingenting, men sa att svaret på det djupa problemet låg i Internet-arkitekturen. Vi sa att vi kunde designa det på några månader och ha en fungerande prototyp på sex månader. Vi sa också att det skulle vara öppen källkod. Vi vann “hands down slam dunk” enligt D9, eftersom vår tillvägagångssätt var så färsk och annorlunda och “utanför boxen”.

När jag återvände till Orlando för att förklara den nya vinsten för ledningen i vår Lockheed Martin-avdelning blev jag lite kallad till mattan. Jag blev gratulerad, men sedan frågade de om den öppna källkodsdelen. “Vad kommer detta att betyda för vår befintliga konstruktiva simuleringsverksamhet?” frågade de. Mitt svar – “Det kommer att störa den helt.” Det blev en paus, sedan den oundvikliga frågan “Så hur kommer vi att tjäna pengar? Vad är affärsmodellen?” Mitt svar – “Affärsmodellerna kommer att vara legio.” Jag njuter fortfarande av de förvirrade rynkorna som svaret framkallade. Jag gick igenom alla sätt som Red Hat lyckades bygga ett multibilliondollarföretag på ryggen av gratisprogramvara, men jag tror inte att de någonsin blev bekväma med avbrottet.

Min titel vid den tiden var chef för Framväxande och Störande Teknik, tillsammans med min titel som chefsarkitekt för Virtual World Labs. Jag arbetade under de följande åren med att försöka få Lockheed att anta mer självstörning och Schumpeters kreativa förstörelse. Jag beskrev innovation i stora organisationer som Lockheed som liknande förlossning. Människor älskar idén att ha barn. Det är bra för samhället och mycket givande. Barn är vår framtid. Men genom fel lins kan barn också ses som parasiter. Från och med att de tar plats i livmodern börjar de ta resurser ifrån modern. Om det inte vore för skyddsförhållandena i livmodern skulle moderns antikroppar komma ut för att förstöra barnet. Innovation i Lockheed var som det. Alla vill ha och prata om innovation, men ingen vill offra sina resurser för det när utdelningen är så långt borta. (Se min whiteboard-animering om hur innovation är som förlossning.)

Under din tid på Lockheed Martin var ett av de patent du medförfattade något som låter som en science fiction-film, kallad holodeck. Vad är holodeck?

2009 bjöds jag in till Los Angeles av James Cameron under produktionen av hans film Avatar. Vi hade arbetat med Jim tidigare (på “The Abyss”) och han ville visa mig sin nya 3D-kamera som han hade uppfunnit tillsammans med Vince Pace (som vi också kände från The Abyss). Men det som verkligen fascinerade mig var den virtuella scenen inne i den stora Hughes-flygplatsen. Jag tillbringade mycket tid där med en liten skärm och gick runt i den virtuella världen Pandora. Jag skrev om detta för Armed Forces Journal och konceptualiserade tillsammans med David Smith idén att bygga en stor virtuell utbildningsstridsskådeplats i storleken på en fotbollsplan. Vid den tiden arbetade vi med ett program som heter Future Immersive Training Environment (FITE) för marinen. I det programmet skulle marinsoldaten ha en laptop på ryggen och headmounten. All denna extra utrustning orsakade rätt mycket oro över negativ utbildning. Jag kommer aldrig att glömma den första sergeant som satte på sig den och sa, “vi måste utbilda oss som vi slåss, eller hur?” och sedan kastade sig på marken och rullade, krossade all elektronik till trasiga, värdelösa bitar. Holodeck-konceptet var mer som James Camerons Volume för inspelning; där skådespelarna har ljus-spårningsdräkter och all instrumentering är runt omkring dem. Head-mounted displayen var fortfarande nödvändig men var trådlös och lätt. Mer som dagens Oculus Quest. Vi lyckades till och med göra det ute i dagsljus.

2015 skrev du att vi inte bör oroa oss så mycket för att maskiner tar över, utan istället börja lära oss hur vi kan uppnå rätt balans mellan människor och automation för att optimera resultaten. Tycker du fortfarande att samhället är alltför oroligt för AGI eller maskiner som tar över?

Jag tycker att när riktigt smarta människor med överflöd av expertis inom detta område (som Ray Kurzweil, Stephen Hawking, Elon Musk, James Cameron och Bill Gates) uttrycker oro, bör vi alla lyssna och följa utvecklingen mot artificiell allmän intelligens och dess implikationer för samhället. Om vi har lärt oss någonting nyligen är det att domänexpertis betyder något, och vi bör alltid lyssna på varningar från människor med djupare expertis än vår egen.

Det har sagts att när JP Morgan ersatte 320 000 timmar per år av juridisk granskning av lån med ett maskinlärningssystem kallat COIN, störde de sig själva och skapade omedelbart en fördel på 300 miljoner dollar till sin bottenlinje. Och den fördelen är nu en årlig utbetalning. Alla deras konkurrenter som fortfarande har den kostnaden kan inte hoppas på att vara konkurrenskraftiga.

Jag tror att detta är sant och viktigt för företag, regeringar, till och med individer. Jag sitter i styrelsen för en community college i North Carolina med 70 000 studenter. Jag försöker ständigt vägleda studenter och vår läroplan mot de jobb som fortfarande kommer att utföras av människor om fem år. När jag hittar studenter som vill gå in i radiologi förklarar jag för dem att maskiner redan är bättre än människor på att läsa röntgenbilder. Överväg ett nytt område eller hur det området sannolikt kommer att förändras med den verkligheten. Detta är inte futurism. Det är nu.

Du har sagt att människor tänker linjärt och att maskiner tänker exponentiellt. Du verkar vara en exponentiell tänkare, varför är det så svårt för människor att tänka exponentiellt?

70% av amerikanerna kan inte läsa och förstå vetenskapsavdelningen i New York Times (Michigan State-studie). Författare som Dan Ariely, i hans bästsäljare “Predictably Irrational”, och andra talar om hur vi människor inte är bra på statistiskt tänkande. Exponentiellt och logaritmitiskt tänkande är inte heller särskilt universellt. Min mentor och hjälte Alan Kay har en bra TED-föreläsning om universella och icke-universella utbildningsfrågor. Jag skrev om detta i en artikel på Getting Smart-webbplatsen om att ompröva utbildning från första principer. I princip är abstrakt och deduktivt resonemang svårt om det inte lärs ut. Vi har absolut ett utbildningsproblem som hindrar vår förmåga att förstå framstegen i Moore’s lag eller den troliga spridningen av en pandemi.

Den nuvarande pandemin kastar ytterligare ett starkt ljus på implikationerna av att ha ledare som inte kan tänka exponentiellt (eller lyssna på expertis).

Du har arbetat med VR sedan 90-talet, hur tycker du om några av de nuvarande konsumenttillämpningarna för VR, som Oculus Quest?

Varje gång jag ser berg- och dalbanan av VR-hype åka tillbaka uppför backen börjar jag påminna alla om de tre huvudsakliga begränsningarna som förhindrar allmän acceptans.

1. Några människor kommer för alltid att vara fysiskt oförmögna att njuta av stereoskopisk 3D VR.
2. Friktionen vid installation och anslutning gör det till en upplevelse som inte många kommer att tycka är behaglig.
3. Skörheten i systemen innebär att endast experthobbyister kommer att vilja experimentera med det och felsöka anslutningsfel

Människor har inte haft en uppgradering på länge (sedan Pleistocen enligt min bedömning) och vissa av oss har mycket svårt att anpassa sig till stereoskopiska 3D-skärmar. En betydande del av befolkningen kommer aldrig att bli bekväm med immersiv VR på grund av hur de är fysiskt konstruerade. Så, om vi sätter dem åt sidan för ett ögonblick, är vi kvar med det andra stora problemet: den fruktansvärda friktionen vid anslutning till dessa enheter. Alldeles för mycket kablar och justeringar innan man kan komma in i en upplevelse. Och det tredje är skörheten och skörheten i alla dessa extra tillbehör och anslutningar.

Oculus Quest överträffade mina förväntningar genom att helt och hållet eliminera de två och tre begränsningarna. I min familj tillbringar vi tid i Oculus Quest-innehåll nästan varje dag. Detta är, enligt min mening, den stora genombrottet som VR behövde. Nu måste vi bara gå den sista milen och se hur vi kan anpassa tekniken för att möta de som har fysiska begränsningar som förhindrar njutning av VR.

Vad var din inspiration bakom lanseringen av Tanjo?

Jag upptäckte maskinlärning 2009 medan jag ledde Virtual World Labs på Lockheed Martin. Maskinlärning har naturligtvis funnits tidigare, men det var det året jag fullständigt förstod hur långt det hade kommit och hur det var fundamentalt annorlunda från den “Artificiella Intelligens” vi hade använt i datorspel och DOD-simuleringar tidigare.

Jag ser nu på AI som utvecklas i tre faser. I den första fasen, som varade från cirka 1958 till 2009 (mitt godtyckliga märke), skulle vi inte be en dator att beräkna något förrän människor fullständigt förstod det och kunde bryta ner det i små, sköra logiska grindar och if/then-uttalanden. Vi skulle sedan mata in det i datorerna som ändliga tillståndsmaskiner eller hierarkiska beteendeträd och köra programmen. Till slut var allt bara kod. Inget mystiskt med det.

Nästa fas är maskinlärning, där en människa inte nödvändigtvis ens förstår hur man berättar för en maskin att köra en bil. Nu matar vi bara in en stor mängd träningdata till en grupp väl utformade maskinlärningsbibliotek som sedan drar slutsatser på egen hand. Idag kan ett maskinlärningssystem bara titta på 100 timmar video och sedan köra en autonom fordon perfekt var som helst. (Jag brukar skämta och säga “var som helst utom i Rom”)

Vi är på Tanjo och använder maskinlärning i korta projektfaser för att ge banker, institutioner för högre utbildning och företag inom Fortune 2000 den intelligensförstärkning och automatisering som förvandlar hur de arbetar. Vi ser regelbundet avkastning på investeringar på 10 gånger från våra implementationer. Och den avkastningen är vanligtvis en årlig utbetalning. Hur många tekniska investeringar har vi sett tidigare som skapar sådana produktivitetsvinster? Vi har haft validerade ROI-mätningar på så mycket som 600 gånger; och ett pinsamt resultat på 1600 gånger. Vi använder inte ens det sista som en fallstudie eftersom det känns alltför hyperboliskt.

Kunde du diskutera Tanjo Animated Personas (TAP) och hur det fungerar?

Vår stora genombrott kom när vi insåg att dessa fantastiska, underliga maskinintelligenssystem vi byggde såg på människor på samma sätt som de såg på informationsobjekt. Vi körde en tidig experiment med en uppsättning träningdata från en populär dejtingapp. Vårt lilla mini-maskinlärningshjärna skapade intressegrafer och sentimentkartor för varje person från deras datautsläpp som framträdde liknande en Myers-Briggs-profil. Vi tänkte kort på att skapa en maskinlärnings-dejtingsapp 2014. Det var ett mycket kort övervägande, eftersom det inte uppfyllde de höga mål vi hade för att göra meningsfullt arbete.

Istället kallade vi det “Empati-motorn” och byggde vad vi kallade “Tanjo Animated Personas” från dessa maskinlärningsmönster för mänskligt beteende.

Analysfirman Gartner gav oss ett “Cool Vendor Award” 2018 för denna genombrytning. Vi hjälper marknadsforskare att modellera och förstå (och hoppas föra djupare meningsfulla samtal med sina kunder; samt använda det för att modellera befolkningsgrupper för att studera hälsa och välbefinnande. Till exempel kan vi skapa en syntetisk populationsmodell av en postnummer eller ett län och simulera vilka ingrepp och meddelanden som uppmuntrar bättre beteende för att minska spridningen av ett virus eller minska fetma, rökning etc.

Använder du övervakad inlärning för att utbilda Tanjo?

Balansen mellan människor och maskiner är lika viktig i indata som i utdata från dessa system. Mänsklig övervakning hjälper absolut till att träna “hjärnan” i ett av våra maskinlärningssystem snabbare. När vi skapade NC-hjärnan som kommer att binda samman alla 58 community colleges i North Carolina arbetade vi med lärare och administratörer på några av de bästa college här för att säkerställa att dess rankning av olika kunskapsområden och hur den sorterade innehållet var giltigt.

En av Tanjos produkter är ContractBot för kontraktsanalys. Vad är ContractBot och vilka typer av företag är det i första hand utformat för?

Vi skapade Contractbot initialt för redovisningsbranschen. 2017 släppte FASBI (Financial Accounting Standards Board Interpretations) nya regler kring intäkts- och leasingkännedom för företag. Redovisningsbyråer höll konferenser runt om i landet för att förbereda sig själva och sina kunder för dessa förändringar. Med vår maskinlärningslins insåg vi att detta var en perfekt möjlighet för ett smalt fokuserat maskinlärningssystem för att arbeta bredvid redovisare och dramatiskt öka analysens hastighet samt öka noggrannheten. Vi tränade ett system på över fyra miljoner kontrakt: allt från en enkelsidig skannad, handskriven inköpsorder till kontrakt med hundra sidor av garantier och avsägelser och betalningsbeskrivningar. Det lärde sig snabbt att förstå språket och sortera dokumenten eller delar av dokumenten och tillämpa affärsreglerna för att nästan omedelbart utföra en analys som skulle ta en mänsklig redovisare hela dagen.

Detta projekt och andra är fallstudier som vi tillhandahåller för att uppmuntra alla i näringslivet idag att ta den nya mänskliga/maskinbalanslinsen och ta en närmare titt på varje aktivitet för att avgöra vad som är rätt mix av mänskligt och maskinansvar för att optimera sin verksamhet.

När JP Morgan använde detta tillvägagångssätt för att eliminera 320 000 timmar per år av långranskning, förverkligade de inte bara en avkastning på 100 gånger sin investering det året, utan kommer också att få den årliga utbetalningen varje år framöver. Alla deras konkurrenter som fortfarande har den kostnaden kommer inte bara att vara icke-konkurrenskraftiga, utan irrelevanta.

En av de mest spännande produkterna som Tanjo erbjuder är Tanjos Enterprise Brain. Vilken typ av maskinlärning ligger bakom detta och vad är dess användningsområden?

När vi använde maskinlärning för att hjälpa den amerikanska utbildningsdepartementet att skapa Learning Registry, såg vi kraften i maskinlärning för att organisera och analysera kunskap. När jag pratar om detta visar jag vanligtvis en bild med en bild från den sista scenen i “Raiders of the Lost Ark”; där en tjänsteman rullar en tråkig låda genom en enorm lagerlokal för att arkivera det otroligt kraftfulla artefaktet som kan rädda eller förstöra planeten, och den har en liten etikett som säger ARC.

Det vi lärde oss från Learning Registry-projektet och andra är att företags-sökning är trasig. Företag har otaggade och dolda informationer gömda i små data-sjöar och -diken som är antingen otillgängliga eller outgrundliga och därför inte transparenta för förfrågningar. I denna accelererande informationsålder förlorar vi kunskap varje dag på grund av dåliga lagrings- och återställningsmetoder.

Tanjo Enterprise Brain bor inom din brandvägg, med fullständig källkod, ansluter till allt och har ingenting annat att göra än att läsa och skanna och organisera allt den har tillgång till och vänta på det spännande ögonblicket när den upptäcker en människa som försöker göra något som kan dra nytta av den omfattande informationskartan vid dess fingertoppar. Eftersom den har så mycket tid och kraft och närhet till er organisationskunskap, nöjer den sig inte med att minska sin läsning av “Krig och fred” till #Ryskroman #Tolstoj #krigsberättelse #kärleksberättelse. Istället kommer den att kartlägga det med vad vi kallar en “hyperdimensionell fingeravtryck” med upp till 4 000 viktade koncept. Detta tycks vara en överkraftig ansträngning, men det ger stora utdelningar för forskningsinstitutioner, banker och college med Tanjo Enterprise Brain. Det är vanligt att de förverkligar värde långt utöver licensavgiften, bara i den organisatoriska kunskapskartläggningssteget som är en del av att träna er Enterprise Brain, när ledningen lär sig hur mycket av den kunskap de investerar i och förlitar sig på som faktiskt finns och vad allt betyder. När Enterprise Brain är implementerad har organisationen nu en lins för att se hur information kom in i systemen, vem som förespråkade den, vem som utmanade den och slutligen hur besluten fattades. Det blir ett behov som är tillbakablickande uppenbart. Och som det maskinlärningssystem som JP Morgan implementerade, betalar det utdelning för alltid.

Finns det något annat du vill dela om Tanjo?

Tanjo arbetar hårt just nu med en Covid-19-hjärna. I linje med den tes som driver vårt företag, bestämmer vi oss för att uppnå rätt balans mellan människa och maskin för att se till att rätt information och bästa resurser är tillgängliga för människor som fattar viktiga beslut under denna kris. Tanjo Animated Personas-funktionen kommer att användas för att modellera mänsklig populationsdata för att spåra virusspridning, men också för att bestämma vilka åtgärder och kommunikationsmetoder och de faktiska orden som kommer att ge oss det beteende vi behöver för att framgångsrikt navigera ut ur denna kris till ett hälsosammare ekosystem för alla.

Detta har varit ett fascinerande samtal, läsare som vill lära sig mer bör besöka Tanjo.

https://youtu.be/f0_SbQYD5ec