Noah Schwartz, Co-Fondator și CEO al Quorum AI – Seria de Interviuri

Noah este un arhitect de sisteme de inteligență artificială. Înainte de a fonda Quorum AI, Noah a petrecut 12 ani în cercetare academică, mai întâi la Universitatea din California de Sud și, mai recent, la Northwestern, ca președinte adjunct al neurobiologiei. Cercetarea sa s-a axat pe procesarea informațiilor în creier și a transformat cercetarea sa în produse în realitate augmentată, interfețe creier-calculator, viziune computerizată și sisteme de control robotic încorporate.

Interesul dvs. pentru IA și robotică a început de mic băiat. Cum ați fost introdus pentru prima dată în aceste tehnologii?

Scânteia inițială a venit de la filme științifico-fantastice și o dragoste pentru electronice. Îmi amintesc că am văzut filmul Tron, la vârsta de 8 ani, urmat de Electric Dreams, Short Circuit, DARYL, War Games și altele în următorii câțiva ani. Deși a fost prezentat prin ficțiune, ideea de inteligență artificială m-a uimit. Și, deși aveam doar 8 ani, am simțit o conexiune imediată și o atracție puternică către IA, care nu a scăzut în timp.

Cum au evoluat pasiunile dvs. pentru ambele?

Interesul meu pentru IA și robotică s-a dezvoltat în paralel cu o pasiune pentru creier. Tatăl meu era profesor de biologie și îmi preda despre corp, despre cum funcționează totul și cum este totul conectat. A privi IA și a privi creierul mi s-a părut că este aceeași problemă – sau, cel puțin, aceleași întrebări finale, care erau: Cum funcționează asta? Eram interesat de ambele, dar nu am avut multă expunere la IA sau robotică la școală. De aceea, am urmat IA pe cont propriu și am studiat biologia și psihologia la școală.

Când am ajuns la facultate, am descoperit cărțile despre Procesare Distribuită Paralelă (PDP), care a fost enorm de important pentru mine. A fost prima mea introducere în IA reală, care m-a condus înapoi la clasicii precum Hebb, Rosenblatt și chiar McCulloch și Pitts. Am început să construiesc rețele neuronale pe baza neuroanatomiei și a ceea ce am învățat din biologie și psihologie la școală. După absolvire, am lucrat ca inginer de rețele de calculatoare, construind rețele complexe, largi și scriind software pentru a automatiza și gestiona fluxul de trafic pe aceste rețele – un fel de a construi creiere mari. Lucrul a reînflăcărat pasiunea mea pentru IA și m-a motivat să merg la școala de master pentru a studia IA și neuroștiințe, și restul este istorie.

Înainte de a fonda Quorum AI, ați petrecut 12 ani în cercetare academică, mai întâi la Universitatea din California de Sud și, mai recent, la Northwestern, ca președinte adjunct al neurobiologiei. La acea vreme, cercetarea dvs. s-a axat pe procesarea informațiilor în creier. Ne puteți descrie această cercetare?

Într-un sens larg, cercetarea mea a încercat să înțeleagă întrebarea: Cum face creierul ceea ce face folosind doar ceea ce are la dispoziție? În primul rând, nu subscriu la ideea că creierul este un fel de calculator (în sensul von Neumann). Îl văd ca o rețea masivă care efectuează în principal operații de stimul-răspuns și de codificare a semnalelor. În această rețea masivă, există modele clare de conectivitate între zone specializate funcțional. Atunci când ne uităm mai atent, vedem că neuronii nu se sinchisesc de semnalul pe care îl transmit sau de parte a creierului în care se află – ei funcționează în funcție de reguli foarte previzibile. Prin urmare, dacă vrem să înțelegem funcția acestor zone specializate, trebuie să punem câteva întrebări: (1) Cum converge intrarea, pe măsură ce trece prin rețea, cu alte intrări pentru a produce o decizie? (2) Cum se formează structura acestor zone specializate ca urmare a experienței? Și (3) cum continuă să se schimbe pe măsură ce folosim creierul nostru și învățăm în timp? Cercetarea mea a încercat să abordeze aceste întrebări folosind o combinație de cercetare experimentală, teoria informației și modelare și simulare – ceea ce ar putea permite construirea de sisteme de decizie artificiale și IA. În termeni de neurobiologie, am studiat neuroplasticitatea și microanatomia zonelor specializate, cum ar fi cortexul vizual.

Apoi, ați transformat cercetarea dvs. în realitate augmentată și interfețe creier-calculator. Ce produse ați lucrat?

În jurul anului 2008, lucram la un proiect pe care l-am numi acum realitate augmentată, dar atunci era doar un sistem pentru urmărirea și predicția mișcărilor ochilor și, apoi, utilizarea acestor predicții pentru a actualiza ceva pe ecran. Pentru a face sistemul să funcționeze în timp real, am construit un model biologic inspirat care a prezis unde va privi privitorul, pe baza microsaccadelor – mișcărilor mici ale ochilor care apar imediat înainte de a muta ochii. Folosind acest model, am putut prezice unde va privi privitorul, apoi am actualizat bufferul de cadre din placa grafică în timp ce ochii săi erau încă în mișcare. Până când ochii săi au ajuns în acea nouă locație pe ecran, imaginea era deja actualizată. Acest lucru a funcționat pe un calculator obișnuit de birou în 2008, fără nicio întârziere. Tehnologia a fost destul de uimitoare, dar proiectul nu a trecut de următoarea rundă de finanțare, așa că a dispărut.

În 2011, am făcut o încercare mai concentrată de a dezvolta produse și am construit o rețea neuronală care a putut efectua descoperirea de caracteristici pe date de EEG în flux, pe care le-am măsurat de la scalp. Acesta este funcția de bază a majorității sistemelor de interfețe creier-calculator. Proiectul a fost, de asemenea, un experiment în ce fel de amprentă mică puteam să o facem să ruleze? Am avut un căști care citea câteva canale de date EEG la 400Hz, care au fost trimise prin Bluetooth la un telefon Android pentru descoperirea caracteristicilor și clasificare, apoi trimise la un controler Arduino care am retrofiting într-o mașină de curse de serie. Când era utilizat, o persoană care purta căștile de EEG putea conduce și direcționa mașina schimbându-și gândurile de la efectuarea de matematică mentală la cântarea unei melodii. Algoritmul a rulat pe telefon și a creat o “amprentă” personală a creierului pentru fiecare utilizator, permițându-le să comute între diverse dispozitive robotice fără a trebui să reantreneze pe fiecare dispozitiv. Sloganul pe care l-am creat a fost “Controlul creierului întâlnit cu Plug-and-Play”.

În 2012, am extins sistemul pentru a funcționa într-un mod mult mai distribuit pe hardware mai mic. Am folosit pentru a controla un braț robotic multi-segment, multi-articulații, în care fiecare segment a fost controlat de un procesor independent care a rulat o versiune încorporată a IA. În loc să folosim un controlor centralizat pentru a manipula brațul, am permis segmentelor să se auto-organizeze și să ajungă la țintă într-un mod distribuit, asemănător cu al unei roi de furnici care formează un pod de furnici, segmentele brațului s-au cooperat pentru a ajunge la o țintă în spațiu.

Am continuat să mergem în aceeași direcție atunci când am lansat pentru prima dată Quorum AI – cunoscut inițial sub numele de Quorum Robotics – în 2013. Am realizat rapid că sistemul a fost uimitor datorită algoritmului și arhitecturii, nu a hardware-ului, așa că, la sfârșitul anului 2014, am pivotat complet spre software. Acum, 8 ani mai târziu, Quorum AI vine pe calea cea bună, revenind la aceste rădăcini de robotică, aplicând cadrul nostru la Provocarea robotică spațială a NASA.

Părăsirea locului dvs. de muncă ca profesor pentru a lansa o afacere a trebuit să fie o decizie dificilă. Ce v-a inspirat să faceți acest lucru?

A fost un salt uriaș pentru mine în multe feluri, dar odată ce oportunitatea a apărut și drumul a devenit clar, a fost o decizie ușoară. Când sunteți profesor, gândiți în termeni de ani și lucrați la obiective de cercetare pe termen lung. Lansarea unei afaceri este exact opusul acestui lucru. Cu toate acestea, una dintre lucrurile pe care viața academică și viața de afaceri le au în comun este că ambele necesită să învățați și să rezolvați probleme în mod constant. Într-o afacere, acest lucru poate însemna încercarea de a reinginia un sistem pentru a reduce riscul de dezvoltare a produsului sau, poate, studierea unui nou domeniu care ar putea beneficia de tehnologia noastră. Lucrul în IA este cel mai apropiat de o “chemare” pe care am simțit-o vreodată, așa că, în ciuda tuturor provocărilor și a urcărilor și coborârilor, mă simt imens de norocos să fac munca pe care o fac.

Ați dezvoltat de atunci Quorum AI, care dezvoltă inteligență artificială distribuită în timp real pentru toate dispozitivele și platformele. Ne puteți explica ce face exact această platformă de IA?

Platforma se numește Mediu pentru Agenți Virtuali (EVA) și permite utilizatorilor să construiască, să antreneze și să implementeze modele folosind motorul nostru de învățare Engram AI. Engram este un înveliș flexibil și portabil pe care l-am construit în jurul algoritmilor noștri de învățare nesupravegheată. Algoritmii sunt atât de eficienți încât pot învăța în timp real, pe măsură ce modelul generează predicții. Deoarece algoritmii sunt agnostici la sarcină, nu există nicio intrare sau ieșire explicită a modelului, astfel încât predicțiile pot fi făcute într-un mod Bayesian pentru orice dimensiune, fără a necesita reantrenare și fără a suferi de uitare catastrofică. Modelele sunt, de asemenea, transparente și descompunibile, ceea ce înseamnă că pot fi examinate și separate în dimensiuni individuale fără a pierde ceea ce a fost învățat.

Odată construite, modelele pot fi implementate prin EVA pe orice tip de platformă, de la hardware încorporat personalizat până la cloud. EVA (și software-ul de gazduire încorporat) conține, de asemenea, mai multe unelte pentru a extinde funcționalitatea fiecărui model. Câteva exemple rapide: Modelele pot fi partajate între sisteme prin intermediul unui sistem de publicare/abonare, permițând sistemelor distribuite să atingă învățarea federată atât în timp, cât și în spațiu. Modelele pot fi, de asemenea, implementate ca agenți autonomi pentru a efectua sarcini arbitrare, și, deoarece modelul este agnostic la sarcină, sarcina poate fi schimbată în timpul rulării fără a necesita reantrenare. Fiecare agent individual poate fi extins cu o “virtuală” EVA privată, permițând agentului să simuleze modele ale altor agenți într-un mod fără scară. În cele din urmă, am creat niște învelișuri pentru sisteme de învățare profundă și de învățare prin întărire (bazate pe Keras) pentru a permite acestor modele să funcționeze pe platformă, în concordanță cu sistemele mai flexibile bazate pe Engram.

Ați descris anterior algoritmii Quorum AI ca “poezie matematică”. Ce ați vrut să spuneți prin asta?

Când construiți un model, indiferent dacă modelați creierul sau modelați date de vânzări pentru întreprinderea dvs., începeți prin a face un inventar al datelor dvs., apoi încercați clase cunoscute de modele pentru a aproxima sistemul. În esență, creați schițe groase ale sistemului pentru a vedea ce se potrivește cel mai bine. Nu vă așteptați ca lucrurile să se potrivească foarte bine cu datele, și există un anumit grad de încercare și eroare pe măsură ce testați diferite ipoteze despre modul în care funcționează sistemul, dar, cu un anumit grad de finețe, puteți captura datele destul de bine.

Pe măsură ce am modelat neuroplasticitatea în creier, am început cu abordarea obișnuită de a cartografia toate căile moleculare, stările de tranziție și dinamica pe care am crezut că ar fi importantă. Dar am găsit că, atunci când am redus sistemul la componentele sale cele mai de bază și le-am aranjat într-un anumit mod, modelul a devenit din ce în ce mai precis, până când a încăput perfect cu datele. A fost ca și cum fiecare operator și variabilă din ecuații erau exact ceea ce trebuiau să fie, nu exista nimic în plus, și totul era esențial pentru a se potrivi cu datele.

Când am conectat modelul la simulări mai mari și mai complexe, cum ar fi dezvoltarea sistemului vizual sau recunoașterea feței, de exemplu, a fost capabil să formeze modele de conectivitate extrem de complicate care se potriveau cu ceea ce vedem în creier. Deoarece modelul a fost matematic, aceste modele ale creierului au putut fi înțelese prin analiza matematică, oferind noi perspective asupra a ceea ce învață creierul. De atunci, am rezolvat și simplificat ecuațiile diferențiale care alcătuiesc modelul, îmbunătățind eficiența calculului cu mai multe ordine de mărime. Nu este poezie reală, dar a fost ca și cum ar fi!

Platforma Quorum AI permite dispozitivelor să se conecteze unele cu altele pentru a învăța și a partaja date fără a necesita să comunice prin servere cloud. Care sunt avantajele de a face acest lucru în comparație cu utilizarea cloud-ului?

Oferta noastră utilizatorilor opțiunea de a-și pune IA oriunde doresc, fără a compromite funcționalitatea IA. Starea actuală a dezvoltării IA este că companiile sunt, de obicei, forțate să compromită securitatea, confidențialitatea sau funcționalitatea, deoarece singura lor opțiune este să utilizeze servicii de IA cloud. Dacă companiile încearcă să-și construiască propriile sisteme de IA, acest lucru necesită adesea mult timp și bani, iar rentabilitatea este rareori suficient de bună pentru a merita riscul. Dacă companiile doresc să implementeze IA pe dispozitive individuale care nu sunt conectate la cloud, proiectul devine rapid imposibil. Ca urmare, adoptarea IA devine o fantezie.

Platforma noastră face IA accesibilă și affordable, oferind companiilor o modalitate de a explora dezvoltarea și adoptarea IA fără a necesita suprasarcină tehnică sau financiară. Și, mai mult decât atât, platforma noastră permite utilizatorilor să treacă de la dezvoltare la implementare într-un singur pas.

Platforma noastră se integrează, de asemenea, cu și prelungește durata de viață a altor “modele legacy” precum învățarea profundă sau învățarea prin întărire, ajutând companiile să reutilizeze și să integreze sistemele existente în aplicații noi. În mod similar, deoarece algoritmii și arhitecturile noastre sunt unice, modelele noastre nu sunt cutii negre, astfel încât orice sistemul învață poate fi explorat și interpretat de către oameni și, apoi, extins la alte domenii de afaceri.

Unii cred că Inteligența Artificială Distribuită (DAI) ar putea conduce la Inteligența Artificială Generală (AGI). Sunteți de acord cu această teorie?

Da, și nu doar pentru că este drumul pe care ne-am propus să-l urmăm! Când priviți creierul, nu este un sistem monolitic. Este alcătuit din sisteme separate, distribuite, care se specializează într-un spectru îngust de funcții ale creierului. Nu știm întotdeauna ce face un anumit sistem, dar știm că deciziile sale depind în mare măsură de tipul de informație pe care o primește și de modul în care acea informație se schimbă în timp. (Acesta este motivul pentru care subiectele de neuroștiință, cum ar fi conectomul, sunt atât de populare.)

În opinia mea, dacă dorim să construim IA care să fie flexibilă și să se comporte și să funcționeze ca creierul, atunci are sens să luăm în considerare arhitecturi distribuite, cum ar fi cele pe care le vedem în creier. S-ar putea argumenta că arhitecturile de învățare profundă, cum ar fi rețelele neuronale multistrat, pot fi găsite în creier, și că este adevărat, dar aceste arhitecturi se bazează pe ceea ce știam despre creier acum 50 de ani.

Alternativa la DAI este să continuăm să iterăm asupra arhitecturilor monolitice, inflexibile, care sunt strâns legate de un singur spațiu de decizie, cum ar fi cele pe care le vedem în învățarea profundă sau învățarea prin întărire (sau orice metodă de învățare supravegheată, în general). Aș sugera că aceste limitări nu sunt doar o chestiune de ajustare a parametrilor sau de adăugare de straturi sau de condiționare a datelor – acestea sunt fundamentale pentru învățarea profundă și învățarea prin întărire, cel puțin așa cum le definim astăzi, astfel încât sunt necesare abordări noi pentru a continua să inovăm și să construim IA de mâine.

Credeti că atingerea AGI prin DAI este mai probabilă decât prin metodele de învățare prin întărire și/sau învățare profundă care sunt urmărite în prezent de companii precum OpenAI și DeepMind?

Da, deși, din ceea ce spun pe bloguri, suspectez că OpenAI și DeepMind utilizează arhitecturi mai distribuite decât lasă să se înțeleagă. Începem să auzim mai mult despre provocări multi-sistem, cum ar fi învățarea transferată sau învățarea federată/distribuită, și, în mod coincident, despre modul în care abordările de învățare profundă și învățare prin întărire nu vor funcționa pentru aceste provocări. Începem, de asemenea, să auzim de la pionieri precum Yoshua Bengio despre modul în care arhitecturile inspirate biologic ar putea podi gapul! Am lucrat la IA inspirată biologic timp de aproape 20 de ani, așa că mă simt foarte bine cu ceea ce am învățat la Quorum AI și cu modul în care o utilizăm pentru a construi ceea ce credem că este următoarea generație de IA care va depăși aceste limitări.

Există altceva pe care ați dori să-l împărtășiți despre Quorum AI?

Vom prezenta o previzualizare a noii noastre platforme pentru IA distribuită și bazată pe agenți la Conferința de Învățare Federată și Distribuită din iunie 2020. În timpul prezentării, intenționez să prezint câteva date recente pe mai multe subiecte, inclusiv analiza sentimentului ca o punte către atingerea IA empatică.

Aș dori să mulțumesc special lui Noah pentru aceste răspunsuri uimitoare și vă recomand să vizitați Quorum pentru a afla mai multe.