Noah Schwartz, Co-Fondator & CEO al Quorum AI – Seria de Interviuri

Noah este arhitect de sisteme AI. Înainte de a fonda Quorum AI, Noah a petrecut 12 ani în cercetarea academică, mai întâi la Universitatea din California de Sud și, recent, la Northwestern, ca președinte adjunct al neurobiologiei. Lucrarea sa s-a axat pe procesarea informației în creier și a transformat cercetarea sa în produse de realitate augmentată, interfețe creier-calculator, viziune computerizată și sisteme de control robotic încorporate.

Interesul dvs. pentru IA și robotică a început ca un băiețel. Cum ați fost introdus pentru prima dată în aceste tehnologii?

Scânteia inițială a venit de la filmele științifico-fantastice și o dragoste pentru electronica. Îmi amintesc că am văzut filmul Tron, la vârsta de 8 ani, urmat de Electric Dreams, Short Circuit, DARYL, War Games și altele în următorii câțiva ani. Deși a fost prezentat prin ficțiune, ideea de inteligență artificială m-a uimit. Și, deși aveam doar 8 ani, am simțit o conexiune imediată și o atracție puternică către IA, care nu s-a diminuat de-a lungul timpului.

Cum au evoluat pasiunile dvs. pentru ambele?

Interesul meu pentru IA și robotică s-a dezvoltat în paralel cu o pasiune pentru creier. Tatăl meu era profesor de biologie și îmi preda despre corp, despre cum funcționează totul și despre cum este conectat. Privind IA și privind creierul mi s-a părut că este aceeași problemă – sau, cel puțin, aceeași întrebare finală, care era: Cum funcționează? Eram interesat de ambele, dar nu am avut multă expunere la IA sau robotică la școală. Din acest motiv, am urmat IA pe cont propriu și am studiat biologia și psihologia la școală.

Când am ajuns la facultate, am descoperit cărțile Parallel Distributed Processing (PDP), care a fost enorm de important pentru mine. A fost prima mea introducere în IA reală, ceea ce m-a condus înapoi la clasicii precum Hebb, Rosenblatt și chiar McCulloch și Pitts. Am început să construiesc rețele neuronale pe baza neuroanatomiei și a ceea ce am învățat din clasele de biologie și psihologie de la școală. După absolvire, am lucrat ca inginer de rețele de calculatoare, construind rețele complexe, largi și scriind software pentru a automatiza și gestiona fluxul de trafic pe aceste rețele – un fel de a construi creiere mari. Lucrul a reînviat pasiunea mea pentru IA și m-a motivat să merg la școala de doctorat pentru a studia IA și neuroștiințe, și restul este istorie.

Înainte de a fonda Quorum AI, ați petrecut 12 ani în cercetarea academică, mai întâi la Universitatea din California de Sud și, recent, la Northwestern, ca președinte adjunct al neurobiologiei. La acea vreme, lucrarea dvs. s-a axat pe procesarea informației în creier. Ne puteți descrie unele dintre aceste cercetări?

Într-un sens larg, cercetarea mea a încercat să înțeleagă întrebarea: Cum face creierul ceea ce face folosind doar ceea ce are la dispoziție? În primul rând, nu subscriu la ideea că creierul este un fel de calculator (în sensul von Neumann). Îl văd ca o rețea masivă care efectuează în principal operații de stimul-răspuns și codificare a semnalelor. În această rețea masivă există tipare clare de conectivitate între zone funcțional specializate. Pe măsură ce ne concentrăm, vedem că neuronii nu se preocupă de semnalul pe care îl transportă sau de partea creierului în care se află – ei funcționează pe baza unor reguli foarte previzibile. Așadar, dacă vrem să înțelegem funcția acestor zone specializate, trebuie să punem câteva întrebări: (1) Cum converge intrarea, pe măsură ce trece prin rețea, cu alte intrări pentru a produce o decizie? (2) Cum se formează structura acestor zone specializate ca urmare a experienței? Și (3) cum continuă să se schimbe pe măsură ce utilizăm creierul nostru și învățăm de-a lungul timpului? Cercetarea mea a încercat să abordeze aceste întrebări utilizând o combinație de cercetare experimentală, teoria informației și modelare și simulare – ceea ce ar putea permite construirea unor sisteme artificiale de decizie și IA. În termeni de neurobiologie, am studiat neuroplasticitatea și microanatomia zonelor specializate, cum ar fi cortexul vizual.

Apoi ați translatat lucrarea dvs. în realitate augmentată și interfețe creier-calculator. Ce produse ați lucrat?

În jurul anului 2008, lucram la un proiect pe care l-am numi acum realitate augmentată, dar atunci era doar un sistem pentru urmărirea și predicția mișcărilor ochilor și, apoi, utilizarea acestor predicții pentru a actualiza ceva pe ecran. Pentru a face sistemul să funcționeze în timp real, am construit un model biologic inspirat care a prezis unde va privi utilizatorul pe baza microsaccadelor – mișcări mici ale ochilor care apar imediat înainte de a muta ochii. Utilizând acest model, am putut prezice unde va privi utilizatorul, apoi am actualizat bufferul de cadre din placa grafică în timp ce ochii săi erau încă în mișcare. Până când ochii săi au ajuns în noua locație pe ecran, imaginea era deja actualizată. Tehnologia era destul de uimitoare, dar proiectul nu a trecut de următoarea rundă de finanțare, așa că a dispărut.

În 2011, am făcut o încercare mai concentrată de dezvoltare a produsului și am construit o rețea neurală care putea efectua descoperirea de caracteristici pe date EEG de flux care le-am măsurat de la scalp. Acesta este funcția de bază a majorității sistemelor de interfață creier-calculator. Proiectul a fost, de asemenea, un experiment în ce fel de amprentă mică puteam să o facem să ruleze? Am avut un căști care citea câteva canale de date EEG la 400Hz care erau trimise prin Bluetooth la un telefon Android pentru descoperirea caracteristicilor și clasificare, apoi trimise la un controler Arduino care am retrofiting într-o mașină RC de serie. Când era utilizat, o persoană care purta căștile EEG putea conduce și direcționa mașina prin schimbarea gândurilor de la efectuarea de matematică mentală la cântat o melodie. Algoritmul rulează pe telefon și creează o “amprentă” cerebrală personalizată pentru fiecare utilizator, permițându-le să comute între diverse dispozitive robotice fără a trebui să se reantreneze pe fiecare dispozitiv. Sloganul pe care l-am creat a fost “Controlul creierului întâlnit cu Plug-and-Play”.

În 2012, am extins sistemul astfel încât să funcționeze într-un mod mult mai distribuit pe hardware mai mic. L-am utilizat pentru a controla un braț robotic cu multiple segmente și articulații, în care fiecare segment era controlat de un procesor independent care rulează o versiune încorporată a IA. În loc să utilizăm un controlor centralizat pentru a manipula brațul, am permis segmentelor să se auto-organizeze și să ajungă la țintă într-un mod distribuit, similar cu albinelor care formează un pod. Segmentele brațului au cooperat pentru a ajunge la o țintă în spațiu.

Am continuat să ne mișcăm în aceeași direcție atunci când am lansat Quorum AI – cunoscută inițial sub numele de Quorum Robotics – în 2013. Am realizat rapid că sistemul a fost uimitor din cauza algoritmului și arhitecturii, nu a hardware-ului, așa că la sfârșitul anului 2014, ne-am pivotat complet în software. Acum, 8 ani mai târziu, Quorum AI vine pe o cale completă, înapoi la rădăcinile sale robotice, aplicând cadrul nostru la Provocarea robotică spațială a NASA.

Părăsirea locului de muncă ca profesor pentru a lansa o afacere a trebuit să fie o decizie dificilă. Ce v-a inspirat să faceți acest lucru?

A fost un salt masiv pentru mine în multe feluri, dar odată ce oportunitatea a apărut și calea a devenit clară, a fost o decizie ușoară. Când sunteți profesor, gândiți în termeni de ani și lucrați la obiective de cercetare pe termen lung. Lansarea unei afaceri este exact opusul acestui lucru. Cu toate acestea, una dintre lucrurile pe care viața academică și viața de afaceri le au în comun este că ambele necesită să învățați și să rezolvați probleme constant. Într-o afacere, acest lucru poate însemna încercarea de a re-inginia o soluție pentru a reduce riscul de dezvoltare a produsului sau, poate, studierea unui nou domeniu care ar putea beneficia de tehnologia noastră. Lucrul în IA este cel mai aproape de o “chemare” pe care am simțit-o vreodată, așa că, în ciuda tuturor provocărilor și a urcărilor și coborârilor, mă simt imens de norocos să fac ceea ce fac.

Ați dezvoltat de atunci Quorum AI, care dezvoltă inteligență artificială distribuită și în timp real pentru toate dispozitivele și platformele. Ne puteți explica ce face exact această platformă de IA?

Platforma se numește Mediu pentru agenți virtuali (EVA) și permite utilizatorilor să construiască, să antreneze și să implementeze modele utilizând motorul nostru Engram AI. Engram este un înveliș flexibil și portabil pe care l-am construit în jurul algoritmilor noștri de învățare nesupravegheată. Algoritmii sunt atât de eficienți încât pot învăța în timp real, pe măsură ce modelul generează predicții. Deoarece algoritmii sunt agnostici la sarcină, nu există nicio intrare sau ieșire explicită a modelului, astfel încât predicțiile pot fi făcute într-un mod Bayesian pentru orice dimensiune fără a necesita reantrenare și fără a suferi de uitare catastrofală. Modelele sunt, de asemenea, transparente și descompuse, ceea ce înseamnă că pot fi examinate și separate în dimensiuni individuale fără a pierde ceea ce a fost învățat.

Odată construite, modelele pot fi implementate prin EVA pe orice tip de platformă, de la hardware încorporat personalizat până la cloud. EVA (și software-ul gazdă încorporabil) conține, de asemenea, mai multe unelte pentru a extinde funcționalitatea fiecărui model. Câteva exemple rapide: Modelele pot fi partajate între sisteme prin intermediul unui sistem de publicare/abonare, permițând sistemelor distribuite să atingă învățarea federată atât în timp, cât și în spațiu. Modelele pot fi, de asemenea, implementate ca agenți autonomi pentru a efectua sarcini arbitrar, și, deoarece modelul este agnostic la sarcină, sarcina poate fi schimbată în timpul rulării fără a necesita reantrenare. Fiecare agent individual poate fi extins cu o “virtuală” EVA privată, permițând agentului să simuleze modele ale altor agenți într-un mod fără restricții. În cele din urmă, am creat câteva învelișuri pentru sisteme de învățare profundă și consolidare (bazate pe Keras) pentru a permite acestor modele să funcționeze pe platformă, în concordanță cu sistemele mai flexibile bazate pe Engram.

Ați descris anterior algoritmii Quorum AI ca “poezie matematică”. Ce ați vrut să spuneți prin asta?

Când construiți un model, indiferent dacă modelați creierul sau modelați datele de vânzări pentru întreprinderea dvs., începeți prin a face un inventar al datelor dvs., apoi încercați să testați clase cunoscute de modele pentru a încerca să aproximați sistemul. În esență, creați schițe aproximative ale sistemului pentru a vedea ce se potrivește cel mai bine. Nu vă așteptați ca lucrurile să se potrivească foarte bine cu datele, și există o anumită încercare și eroare atunci când testați diferite ipoteze despre cum funcționează sistemul, dar cu o anumită finețe, puteți capta datele destul de bine.

Pe măsură ce am modelat neuroplasticitatea în creier, am început cu abordarea obișnuită de a cartografia toate căile moleculare, stările de tranziție și dinamica pe care am crezut că ar fi importantă. Dar am găsit că, atunci când am redus sistemul la componentele sale cele mai de bază și le-am aranjat într-un anumit mod, modelul a devenit din ce în ce mai precis până când a încăput aproape perfect cu datele. A fost ca și cum fiecare operator și variabilă din ecuații erau exact ceea ce trebuiau să fie, nu era nimic în plus, și totul era esențial pentru a se potrivi cu datele.

Când am conectat modelul la simulări mai mari și mai complexe, cum ar fi dezvoltarea sistemului vizual sau recunoașterea feței, de exemplu, a fost capabil să formeze tipare de conectivitate extrem de complicate care s-au potrivit cu ceea ce vedem în creier. Deoarece modelul a fost matematic, aceste tipare de creier au putut fi înțelese prin analiză matematică, oferind noi insight-uri despre ceea ce învață creierul. De atunci, am rezolvat și simplificat ecuațiile diferențiale care alcătuiesc modelul, îmbunătățind eficiența calculului cu mai multe ordine de mărime. Nu este poezie reală, dar sigur s-a simțit așa!

Kit-ul de instrumente al platformei Quorum AI permite dispozitivelor să se conecteze unele la altele pentru a învăța și a partaja date fără a necesita să comunice prin servere cloud. Care sunt avantajele de a face acest lucru în comparație cu utilizarea cloud-ului?

Le oferim utilizatorilor opțiunea de a-și pune IA oriunde doresc, fără a compromite funcționalitatea IA. Status quo în dezvoltarea IA este că companiile sunt, de obicei, forțate să compromită securitatea, confidențialitatea sau funcționalitatea, deoarece singura lor opțiune este să utilizeze servicii de IA cloud. Dacă companiile încearcă să construiască propria IA în interior, de obicei, necesită multă bani și timp, și randamentul investiției rareori merită riscul. Dacă companiile vor să implementeze IA pe dispozitive individuale care nu sunt conectate la cloud, proiectul devine rapid imposibil. Ca rezultat, adoptarea IA devine o fantezie.

Platforma noastră face IA accesibilă și rentabilă, oferind companiilor o modalitate de a explora dezvoltarea și adoptarea IA fără suprasarcinile tehnice sau financiare. Și, mai mult, platforma noastră permite utilizatorilor să treacă de la dezvoltare la implementare într-un singur pas.

Platforma noastră se integrează, de asemenea, cu și prelungește durata de viață a altor modele “moștenite” precum învățarea profundă sau consolidarea, ajutând companiile să reutilizeze și să integreze sistemele existente în aplicații noi. În mod similar, deoarece algoritmii și arhitecturile noastre sunt unice, modelele noastre nu sunt cutii negre, astfel încât orice sistem învață poate fi explorat și interpretat de oameni și, apoi, extins la alte domenii de afaceri.

Se crede că Inteligența Artificială Distribuită (DAI) ar putea conduce drumul către Inteligența Artificială Generală (AGI). Sunteți de acord cu această teorie?

Da, și nu doar pentru că aceasta este calea pe care ne-am propus să o urmăm! Când priviți creierul, nu este un sistem monolitic. Este alcătuit din sisteme separate, distribuite care se specializează într-un spectru îngust de funcții ale creierului. Nu știm ce face un anumit sistem, dar știm că deciziile sale depind semnificativ de tipul de informații pe care le primește și de modul în care aceste informații se schimbă în timp. (De aceea, subiectele de neuroștiință, cum ar fi conectomul, sunt atât de populare.)

În opinia mea, dacă vrem să construim IA care să fie flexibilă și să se comporte și să funcționeze ca creierul, atunci are sens să luăm în considerare arhitecturi distribuite, cum sunt cele pe care le vedem în creier.

Alternativa la DAI este să continuăm să iterăm asupra arhitecturilor monolitice și inflexibile care sunt strâns legate de un singur spațiu de decizie, cum sunt cele pe care le vedem în învățarea profundă sau consolidare (sau orice metodă de învățare supravegheată, în general). Aș sugera că aceste limitări nu sunt doar o chestiune de ajustare a parametrilor sau adăugare de straturi sau condiționare a datelor – aceste probleme sunt fundamentale pentru învățarea profundă și consolidare, cel puțin așa cum le definim astăzi, astfel încât sunt necesare abordări noi pentru a continua inovarea și construirea IA de mâine.

Credeti că atingerea AGI utilizând DAI este mai probabilă decât învățarea consolidată și/sau metodele de învățare profundă care sunt urmărite în prezent de companii precum OpenAI și DeepMind?

Da, deși, din ceea ce bloghează, suspectez că OpenAI și DeepMind utilizează arhitecturi mai distribuite decât lasă să se înțeleagă. Începem să auzim mai mult despre provocări multi-sistem, cum ar fi învățarea transferului sau învățarea federată/distribuită, și, coincidență, despre modul în care abordările de învățare profundă și consolidare nu vor funcționa pentru aceste provocări. Începem, de asemenea, să auzim despre pionierii precum Yoshua Bengio despre modul în care arhitecturile inspirate biologic ar putea podi gap-ul! Am lucrat la IA inspirată biologic timp de aproape 20 de ani, așa că mă simt foarte bine cu ceea ce am învățat la Quorum AI și modul în care îl utilizăm pentru a construi ceea ce credem că este următoarea generație de IA care va depăși aceste limitări.

Există altceva pe care ați dori să-l împărtășiți despre Quorum AI?

Vom prezenta noua noastră platformă pentru IA distribuită și bazată pe agenți la Conferința de învățare a mașinilor federate și distribuite în iunie 2020. În timpul prezentării, intenționez să prezint unele date recente despre mai multe subiecte, inclusiv analiza sentimentului ca o punte către atingerea IA empatică.

Aș dori să mulțumesc lui Noah pentru aceste răspunsuri uimitoare și vă recomand să vizitați Quorum pentru a afla mai multe.