Patrick M. Pilarski, Ph.D. Canada CIFAR AI Chair (Amii) – Interview Series

Dr. Patrick M. Pilarski is een Canada CIFAR Artificial Intelligence Chair, voormalig Canada Research Chair in Machine Intelligence for Rehabilitation, en een Associate Professor in de afdeling Fysieke Geneeskunde en Revalidatie, Faculteit Geneeskunde, University of Alberta.

In 2017 co-founded Dr. Pilarski de eerste internationale onderzoekslocatie van DeepMind, gevestigd in Edmonton, Alberta, waar hij diende als co-leider en Senior Staff Research Scientist tot 2023. Hij is een Fellow en lid van de raad van bestuur van de Alberta Machine Intelligence Institute (Amii), co-leidt het Bionic Limbs for Improved Natural Control (BLINC) Laboratory, en is een hoofdonderzoeker bij het Reinforcement Learning and Artificial Intelligence Laboratory (RLAI) en het Sensory Motor Adaptive Rehabilitation Technology (SMART) Network aan de University of Alberta.

Dr. Pilarski is de prijswinnende auteur of co-auteur van meer dan 120 peer-reviewed artikelen, een Senior Member van de IEEE, en heeft ondersteuning ontvangen van provinciale, nationale en internationale onderzoeksbeurzen.

We gingen zitten voor een interview op de jaarlijkse 2023 Upper Bound conferentie over AI die wordt gehouden in Edmonton, AB en gehost door Amii (Alberta Machine Intelligence Institute).

Hoe bent u in AI terechtgekomen? Wat trok u aan in de industrie?

Dat zijn twee afzonderlijke vragen. Wat me aantrekt in AI, is het feit dat complexiteit kan ontstaan en hoe structuur kan ontstaan uit complexiteit. Intelligentie is slechts een van deze verbazingwekkende voorbeelden, dus of het nu afkomstig is van biologie of van hoe we ingewikkelde gedragingen zien ontstaan in machines, denk ik dat er iets moois is aan dat. Dat heeft me altijd gefascineerd, en mijn zeer lange en kronkelende weg naar het gebied van AI waar ik nu in werk, dat wil zeggen machines die leren door trial and error, versterkingssystemen die interactie hebben met mensen terwijl ze beiden ondergedompeld zijn in de stroom van ervaring, de loop van de tijd, kwam door allerlei verschillende soorten plateaus. Ik heb onderzocht hoe machines en mensen konden interacteren in termen van biomechatronische apparaten en biotechnologie, dingen zoals kunstmatige ledematen en prothesen.

Ik keek naar hoe AI kan worden gebruikt om medische diagnoses te ondersteunen, hoe we machine-intelligentie kunnen gebruiken om patronen te begrijpen die leiden tot ziekte of hoe verschillende ziektes mogelijk worden weergegeven in termen van opnames op een machine. Maar dat is allemaal onderdeel van deze lange, kronkelende weg om echt te beginnen waarderen hoe je heel complexe gedragingen kunt krijgen uit heel eenvoudige fundamenten. En dat is wat ik echt leuk vind, vooral over versterking leren, het idee dat een machine zichzelf kan integreren in de loop van de tijd en leren van zijn eigen ervaring om heel complexe gedragingen te vertonen en heel complexe fenomenen in de wereld om hem heen vast te leggen. Dat is een drijvende kracht geweest.

De mechanica ervan, ik heb eigenlijk veel sportmedische training gedaan en dingen zoals dat. Ik studeerde sportmedische wetenschappen en nu ben ik hier aan het werk in een omgeving waar ik kijk naar hoe machine-intelligentie en revalidatietechnologieën samen komen om mensen in hun dagelijks leven te ondersteunen. Het is een heel interessante reis, zoals de zijdelingse fascinatie met complexe systemen en complexiteit, en dan de heel praktische pragmatiek van hoe we beginnen te denken over hoe mensen beter kunnen worden ondersteund, het leven kunnen leiden dat ze willen leiden.

Hoe leidde sport je oorspronkelijk naar prothesen?

Wat echt interessant is aan gebieden zoals sportmedische wetenschappen, is het kijken naar het menselijk lichaam en hoe iemands unieke behoeften, of het nu gaat om sport of anderszins, in feite kunnen worden ondersteund door andere mensen, door procedures en processen. De bionische ledematen en prothesetechnologieën gaan over het bouwen van apparaten, het bouwen van systemen, het bouwen van technologie die mensen helpt het leven te leiden dat ze willen leiden. Deze twee dingen zijn echt nauw met elkaar verbonden. Het is eigenlijk heel spannend om in staat te zijn om terug te keren naar waar ik eerder mee begon en om een aantal van die veel eerder interesses te zien worden verwezenlijkt in, opnieuw, co-leiden van een lab waar we naar kijken… En vooral machine learning-systemen die op een nauw gekoppelde manier werken met de persoon die ze bedoeld zijn om te ondersteunen.

U hebt eerder besproken hoe een prothese zich aanpast aan de persoon in plaats van dat de persoon zich aanpast aan de prothese. Kunt u praten over de machine learning achter dit?

Absoluut. Als fundament in de geschiedenis van het gebruik van gereedschap, hebben mensen zich aangepast aan hun gereedschap en vervolgens hebben we ons gereedschap aangepast aan de behoeften die we hadden. En dus is er dit iteratieve proces van ons aanpassen aan onze gereedschap. We zien nu mensen die een kunstmatige limb gebruiken, iemand met een ledemaatverschil, iemand met een amputatie die een kunstmatige limb gebruikt. Traditioneel zullen ze het gebruiken alsof het een uitbreiding van hun lichaam is, maar we zien ze voornamelijk vertrouwen op wat we de controleweg noemen. Dat een soort van hun wiel of hun intentie wordt doorgegeven aan dat apparaat, dat vervolgens de taak heeft om te bepalen wat het is en dan uit te voeren, of het nu gaat om het openen en sluiten van een hand of het buigen van een elleboog of het creëren van een pinch grip om een sleutel te grijpen. We zien vaak niet mensen die de feedbackweg bestuderen.

Dus een groot aantal kunstmatige ledematen die je misschien ziet worden ingezet in de commerciële sector, de weg van informatie die van het apparaat naar de persoon stroomt, kan de mechanische koppeling zijn, de manier waarop ze daadwerkelijk de krachten van de limb voelen en erop reageren. Het kan zijn dat ze het geluid van de motoren horen of dat ze kijken terwijl ze een klemmen en deze over een bureau verplaatsen of dat ze hem oppakken van een andere plek in hun werkruimte. En dus, die wegen zijn de traditionele manier van doen. Er gebeuren echte geweldige dingen over de hele wereld om te kijken naar hoe informatie beter kan worden doorgegeven van een kunstmatige limb naar de persoon die het gebruikt. Vooral hier in Edmonton, is er veel echt cool werk dat wordt gedaan met het herschrijven van het zenuwstelsel, gerichte zenuwrenovatie en andere dingen om die weg te ondersteunen. Maar het is nog steeds een heel warm en opkomend gebied van studie om na te denken over hoe machine learning de interacties met betrekking tot die feedbackweg kan ondersteunen.

Hoe machine learning een systeem kan ondersteunen dat mogelijk veel over zijn wereld waarneemt en voorspelt, en dat die informatie op een duidelijke en effectieve manier naar de persoon die het gebruikt, kan worden doorgegeven. Hoe kan machine learning die weg ondersteunen? Ik denk dat dit een geweldig onderwerp is, omdat als je zowel die feedbackweg als die controleweg hebt, en beide systemen modellen van elkaar aan het bouwen zijn, en in realtime aan het aanpassen zijn op basis van ervaring, je iets bijna miraculeus kunt doen. Je kunt bijna informatie doorgeven zonder enige moeite en zonder enige bandbreedte.

En dat opent hele nieuwe domeinen van mens-machinecoördinatie, vooral op het gebied van neuroprothesen. Ik denk echt dat dit een heel miraculeuze tijd is voor ons om te beginnen met het bestuderen van dit gebied.

Denkt u dat deze in de toekomst met 3D-printing zullen worden gemaakt of hoe denkt u dat de productie zal verlopen?

Ik voel me niet alsof ik de beste persoon ben om te speculeren over hoe dat zou kunnen gebeuren. Ik kan zeggen dat we een grote toename zien in commerciële aanbieders van neuroprothesedevices die additieve fabricage, 3D-printing, en andere vormen van additieve fabricage op de plek gebruiken om hun apparaten te maken. Dit is ook echt leuk om te zien, dat het niet alleen een prototype is dat additieve fabricage of 3D-printing gebruikt, maar dat 3D-printing een integraal onderdeel wordt van hoe we apparaten aan individuen leveren en hoe we die apparaten optimaliseren voor de exacte personen die ze gebruiken.

Additieve fabricage of maatwerkprothesefitting gebeurt in ziekenhuizen de hele tijd. Dit is een natuurlijk onderdeel van de zorgverlening aan mensen met ledemaatverschil die geholpen worden door technologie of andere soorten revalidatietechnologie. Ik denk dat we beginnen te zien dat veel van die maatwerkfabricage begint te samensmelten met de fabrikanten van de apparaten, en niet alleen wordt overgelaten aan de zorgverleners op de plek van zorg. En dat is ook echt spannend. Ik denk dat er een geweldige kans is voor apparaten die er niet alleen uitzien als handen of worden gebruikt als handen, maar apparaten die heel precies voldoen aan de behoeften van de persoon die ze gebruikt, die het mogelijk maken voor mensen om zich uit te drukken op de manier die ze willen, en die het mogelijk maken voor mensen om het leven te leiden dat ze willen leiden, niet alleen de manier waarop wij denken dat een hand zou moeten worden gebruikt in het dagelijks leven.

U hebt meer dan 120 papers geschreven. Is er een die voor u opvalt die we zouden moeten kennen?

Er is een onlangs gepubliceerd paper in Neural Computing Applications, maar het vertegenwoordigt de top van de ijsberg van denken dat we de afgelopen tien jaar hebben voorgesteld, over kaders voor hoe mensen en machines interactie hebben, vooral hoe mensen en prothesedevices interactie hebben. Het is het idee van communicatief kapitaal. En dus, dit is het paper dat we onlangs gepubliceerd hebben.

En dit paper legt onze visie voor op hoe voorspellingen die in realtime worden geleerd en onderhouden door, zeg, een prothesedevice dat interactie heeft met de persoon, de persoon zelf kan vormen, kan vormen een kapitaal, kan vormen een bron die beide partijen kunnen vertrouwen. Herinner, eerder zei ik dat we iets echt spectaculairs kunnen doen als we een mens en een machine hebben die beide modellen van elkaar aan het bouwen zijn, die in realtime aan het aanpassen zijn op basis van ervaring, en die beginnen met het doorgeven van informatie in een tweerichtingskanaal. Als een zijopmerking, omdat we in een magische wereld leven waar opnames zijn en je dingen uit kunt knippen.

Het is eigenlijk als magie.

Exact. Het klinkt als magie. Als we terugkeren naar denkers als Ashby, W. Ross Ashby, terug in de jaren 60 en zijn boek “Introduction of Cybernetics” sprak over hoe we de menselijke intelligentie kunnen versterken. En hij zei echt dat het neerkomt op het versterken van de mogelijkheid van een persoon om te kiezen tussen een van de vele opties. En dit wordt mogelijk gemaakt door systemen waar een persoon interactie heeft met, zeg, een machine, waar een kanaal van communicatie open is tussen hen. Dus, als we dat kanaal van communicatie open hebben, als het tweerichtingsverkeer is, en als beide systemen kapitaal aan het opbouwen zijn in de vorm van voorspellingen en andere dingen, dan kun je beginnen te zien dat ze echt met elkaar in overeenstemming komen en meer worden dan de som van hun delen. Je kunt meer krijgen dan ze erin stoppen.

En ik denk dat dit waarom ik dit beschouw als een van onze meest spannende papers, omdat het een denkverschuiving vertegenwoordigt. Het vertegenwoordigt een denkverschuiving naar het denken over neuroprothesedevices als systemen met agency, systemen waar we niet alleen agency aan toeschrijven, maar waar we op kunnen vertrouwen om samen met ons te kunnen aanpassen en om deze bronnen van communicatief kapitaal op te bouwen. Die ons in staat stellen om ons vermogen om met de wereld om ons heen te interacteren te vermenigvuldigen, ons in staat stellen om meer te krijgen dan we erin stoppen en mensen in staat stellen om, ik ga zeggen, vanuit een protheseperspectief, te stoppen met nadenken over de prothese in hun dagelijks leven en te beginnen met nadenken over het leven van hun dagelijks leven. Niet het apparaat dat hen helpt om hun dagelijks leven te leven.

Wat zijn enkele van de toepassingen die u ziet voor brain-machine interfaces met wat u zojuist besproken heeft?

Een van mijn favorieten is iets dat we hebben voorgesteld, opnieuw, de afgelopen bijna 10 jaar, is een technologie genaamd adaptieve schakeling. Adaptieve schakeling is gebaseerd op de kennis dat veel systemen waar we dagelijks mee interacteren, vertrouwen op ons om te schakelen tussen veel modi of functies. Of ik nu schakel tussen apps op mijn telefoon of dat ik probeer te bepalen welke instelling ik moet gebruiken op mijn boor of of ik andere gereedschap in mijn leven aanpas. We schakelen de hele tijd tussen veel modi of functies. Terugdenkend aan Ashby, onze mogelijkheid om te kiezen tussen veel opties. Dus, in adaptieve schakeling, gebruiken we temporale verschil leren om een kunstmatige limb in staat te stellen te leren welke motorfunctie een persoon mogelijk wil gebruiken en wanneer ze het willen gebruiken. Dus, echt een heel eenvoudig principe is dat, als ik bijvoorbeeld naar een kop reik en mijn hand sluit.

Een systeem zou in staat moeten zijn om voorspellingen op te bouwen door middel van ervaring dat, in deze situatie, ik waarschijnlijk de hand open-sluitfunctie zal gebruiken. Ik zal mijn hand openen en sluiten. En dan, in de toekomst, in soortgelijke situaties, kan het voorspellen. En wanneer ik door de wervelende wolken van modi en functies navigeer, kan het me geven wat ik wil, zonder dat ik door alle opties heen hoef te gaan. En dit is een heel eenvoudig voorbeeld van het opbouwen van communicatief kapitaal. Je hebt een systeem dat in feite voorspellingen aan het opbouwen is door interactie, het zijn voorspellingen over die persoon, dat systeem, hun relatie in die situatie op dat moment. En die gedeelde bron stelt het systeem in staat om zijn besturingsinterface op de vlucht aan te passen, zodat de persoon krijgt wat ze willen en wanneer ze het willen. En echt, in een situatie waarin het systeem heel zeker is over welke motorfunctie een persoon mogelijk wil, kan het in feite voor hen selecteren als ze naar binnen gaan.

En het coolste is, is dat de persoon altijd de mogelijkheid heeft om te zeggen, “Ah, dit is wat ik echt wilde,” en om te schakelen naar een andere motorfunctie. In een robotarm, zou dat verschillende soorten handgrepen kunnen zijn, of het nu gaat om het vormen van een greep om een deurknop te grijpen of een sleutel op te pakken of iemand een hand te geven. Dat zijn verschillende modi van functies, verschillende greep patronen. Het is heel interessant dat het systeem kan beginnen met het opbouwen van een waardering van wat passend is in welke situatie.