Yohan Lee, Chief Strategy Officer bij Riiid Labs – Interviewreeks

Yohan Lee is de Chief Strategy Officer bij Riiid Labs, een toonaangevende aanbieder van volledig geverifieerde en datagedreven AI-technologie. Zij werken samen met wereldleiders in onderwijs, vaardigheidstraining en technologie om betere leerervaringen te creëren. Zij gebruiken AI om leerlingen te helpen hun doelen te bereiken op de snelste en meest efficiënte manier.

Wat trok je aanvankelijk aan bij AI?

Riiid’s focus. Riiid had de juiste stappen genomen die een serieus bedrijf met groot potentieel zou nemen. Elke stap was redelijk en inspirerend. Voor hun AI begon het bedrijf redelijk met collaboratieve filtermethoden, en verbeterde vervolgens hun algoritmen tot state-of-the-art Transformer-modellen met hun eigen unieke evoluties. Het bedrijf publiceerde gedachtevolle papers die focus, exploratie en verbeelding toonden. De app van het bedrijf zorgde voor een succesvolle conversie van gebruikers en monitoren, wat een sterke marktadoptie aangaf. Het bedrijf breidde uit van een B2C naar een B2B-dimensie met extra testvoorbereidingsgereedschap en een Realtor-app. Vervolgens publiceerde het de grootste onderwijsdataset om grotere innovatie te initiëren en een AIEd-gemeenschap (EdNet) te creëren. Dit zijn allemaal stappen van een gefocust bedrijf dat de juiste stappen neemt die een groot bedrijf typisch neemt. Ten slotte waren de openbaar zichtbare financieringsrondes een sterke weerspiegeling van het investeringspotentieel van hoe snel dit bedrijf een eenhoorn kon worden.

In uw vorige rol was u leider van Machine Intelligence en Health Data Science bij Google (GOOGL ) Brain, wat waren enkele van de projecten waar u aan werkte?

Ik leidde Product Deployment: hoe ontwerp, constructie, meting, systeemtestbedden voor real-world evidence studies. Een combinatie van geavanceerde testbedconstructie, onderzoeksstrategie en geavanceerde systeemontwerp en -implementatie. Ik ben geen ingenieur, maar ik ben een gecertificeerd pro-cloudarchitect op meerdere clouds voor een aantal jaar nu. Dus het was een natuurlijke fit, vooral met de vele informatiebeveiligings- en privacyvereisten voor PHI en kwetsbare bevolkingsgroepen (met name kinderen).

Veel keer is er een technische gereedheidsmismatch tussen partners en techreuzen om schaal te bereiken. Dat is waar ik schaal aandrijf. Zelfassemblage-tech-infrastructuur ontwerpen voor ML-motoren om 1/10 van de prijs te kosten en massale parallelle berekening te bereiken bij latency en kosten.

Het beschikbaar stellen van voorspellingsalgoritmen aan onze partners als AIaaS is spannend geweest.

Sinds augustus 2020 bent u Vice President of Strategy bij Riiid Labs, kunt u uitleggen wat Riiid Labs precies is?

Riiid Labs is een wereldleider in AI-oplossingen voor onderwijs. Riiid Labs is de mondiale arm van het moederbedrijf Riiid en is gevestigd in Silicon Valley om voort te bouwen op Riiid’s succes in Azië en om het bedrijf uit te breiden naar de VS, Zuid-Amerika, het Midden-Oosten en verder. Wij bestaan uit AI-onderzoekers, datawetenschappers, ingenieurs en zakelijke ontwikkeling en werken samen met partners in verschillende verticale markten om de traditionele manieren van leren uit te breiden door Riiid’s AI-competentie uit te breiden. Of het nu een gepersonaliseerde testvoorbereidingsmobiele app voor het college-entreetoelatingsexamen in Zuid-Amerika is of een AI-tutor-module voor het trainen van verzekeringsagenten bij een groot conglomeraat in Korea, wij bieden B2C/B2B/B2G-klanten onze eigen technologie in AI die gebruikersleren-gedragsgegevens analyseert, voorspelt van volgende antwoordkeuzes en aanbeveelt een gepersonaliseerd leerpad dat uiteindelijk iemands leerpotentieel maximaliseert. Wij hebben verschillende producten gelanceerd, waaronder Santa, een mobiele testvoorbereidingsapp voor het populaire Engelse vaardigheidsexamen, Test of English for International Communication (TOEIC), die door meer dan twee miljoen studenten in Korea en Japan is gebruikt. Wij hebben ook een GMAT-voorbereidingsapp in Korea gelanceerd op basis van een partnerschap met Kaplan en een ACT-voorbereidingsapp in Egypte, Turkije, de Verenigde Arabische Emiraten, Jordanië en Saoedi-Arabië in partnerschap met ConnecME. Riiid is nu in gesprek met een breed scala aan klanten uit de private en openbare sector om onze AI-oplossing voor onderwijsbeoordelingen, leren en trainen te implementeren.

Hoe zijn AI-hulpmiddelen een stap vooruit in het democratiseren van onderwijs?

Volgens de VN, zelfs voordat de coronacrisis ontstond, toonden prognoses aan dat meer dan 200 miljoen kinderen buiten school zouden zijn, en slechts 60 procent van de jonge mensen zou het hoger secundair onderwijs in 2030 voltooien. De helft van de kinderen in de ontwikkelingswereld verliet het onderwijs zonder enige toepasbare kwalificaties voor de werkplek. ‘One size fits all’-benaderingen van onderwijs en hoogwaardige gestandaardiseerde testgebaseerde beoordelingen hebben gefaald om de verwachte rol van onderwijs te vervullen om getalenteerde burgers van de samenleving te laten groeien.

In de ontwikkelde economieën zoals Korea en de VS hebben rijke gemeenschappen veel grotere schoolbudgetten dan arme gemeenschappen. Vervolgens investeren rijke ouders extra in privélessen, privécollegeadvies, testvoorbereiding, privéatletiekcoaching en buitenschoolse leerervaringen in de kunst en cultuur, die de kloof tussen hun kinderen en iedereen else vergroten. Dit betekent dat studenten in minder welvarende gemeenschappen vaak minder ervaren leraren hebben, minder toegang tot technologie, verminderde internettoegang op school en thuis, en mogelijk geen advies ontvangen over het aanvragen van een college. In de VS is een kind dat in een rijke familie is geboren 10 keer meer kans om een collegegraad te behalen dan een kind dat in een arme familie is geboren. En zelfs wanneer je academische capaciteit constant houdt, is het rijkere kind veel meer geneigd om naar college te gaan en een graad te behalen. Dit heeft ook implicaties voor economische groei. Wanneer talent en potentieel breed worden verdeeld in een samenleving, maar kansen niet, kan de arbeidsmarkt en de economie geen talent efficiënt matchen met werkgelegenheid, en dat vertraagt innovatie en compromitteert nationale productiviteit en economische groei.

Op basis van significante gegevens kan AI elke student beoordelen en begrijpen en unieke leerbehaviors en persoonlijke inhoud bieden om studenten te helpen hun leerdoelen te bereiken. AI is eeuwig geduldig en kan iedereen gelijke, maar geïndividualiseerde aandacht geven tegen een fractie van de kosten van persoonlijke tutors. Het is mogelijk dat elke student met een internetverbinding en smartphone kan deelnemen aan een boeiende, gepersonaliseerde leerervaring, ongeacht waar ze wonen. AI kan ook helpen om leraren de leerervaringen van hun studenten te personaliseren, de tijd die leraren besteden aan herhaalde taken te verminderen en die tijd te herbestemmen om individuele aandacht en persoonlijke leerbronnen beschikbaar te stellen voor elke student 24/7, ongeacht of de school open is of niet.

Kunt u de visie achter de eerste wereldwijde Artificial Intelligence Education (AIEd) Challenge bespreken?

De wereld heeft een nieuwe paradigma in onderwijs nodig om de huidige crisis in onderwijs te overwinnen. AI-gestuurde leeroplossingen die studenten online gebruiken, kunnen iedereen gelijke, maar geïndividualiseerde aandacht geven tegen een fractie van de kosten van persoonlijke tutors, of gebruikt voor onafhankelijk leren of geïntegreerd in leraar-gestuurde leerervaringen. Wij geloven echt in onze visie op AI-onderwijs en zijn ervan overtuigd dat wij onderwijs kunnen transformeren en het leven van studenten kunnen verbeteren. Maar wij weten dat wij deze visie niet alleen kunnen verwezenlijken. Wij hebben de bredere AI-gemeenschap en onderwijsindustrie nodig om onze ideeën te omarmen en deel te nemen. Vorig jaar publiceerde Riiid openbaar EdNet, een grote, hiërarchische dataset van diverse studentactiviteiten verzameld uit Riiid’s AI-tutorsysteem. Het bevat gegevens van meer dan 131 miljoen interacties met meer dan 780.000 echte studenten. Het is de grootste onder de AI-onderwijsdatasets die tot nu toe openbaar zijn gemaakt. Wij willen dat de beste geesten in het veld deze gegevens gebruiken om innovatieve oplossingen te vinden die de mondiale uitdagingen in onderwijs kunnen aanpakken. Daarom lanceerde Riiid zijn inaugurele AIEd Challenge, een wereldwijde uitdaging om algoritmen voor kennisvolging te creëren en te evalueren met EdNet. Wij geloven dat door samen te werken wij een grotere impact kunnen hebben en de trend naar AI-geactiveerd onderwijs verder kunnen versnellen. Voorbeeld geven is noodzakelijk voor leiderschap en inspiratie voor anderen.

Wat waren enkele van de resultaten van AIED?

De Challenge liep van 6 oktober 2020 tot 8 januari 2021 via Google’s Kaggle-platform, een online gemeenschap van datawetenschappers en machine learning-praktijken.

• Voor de totale prijs van $100.000 namen 3.395 teams uit 90 landen deel aan de Challenge, waarmee het de meeste deelname was van alle 2020 Kaggle-algoritmeconcurrenties die door een bedrijf werden gehost.
• 52 van Kaggle’s 270 Grandmasters namen deel, het hoogste percentage voor Kaggle-concurrenten op basis van eerdere prestaties. In vergelijking namen de concurrenties van 2020 gemiddeld slechts 25 Grandmasters deel.
• Door deze challenge werden 64.678 verschillende en creatieve Kennisvolgingsmodellen ingediend.
• Teams uit Korea, Japan en Spanje wonnen de top drie plaatsen, en ontvingen $50.000, $30.000 en $10.000, respectievelijk. De top drie teams presenteerden hun modellen op de AAAI-2021 Workshop on AI Education: Imagining Post-COVID Education with AI, gehost en georganiseerd door onderzoekers bij Riiid.
• Alle winnende oplossingen gebruikten Transformers, een aandachtsgebaseerd model dat voor het eerst werd geïntroduceerd met toepassingen in machinetaalvertaling [AAYN] (Vaswani et al) en werd overgenomen door Riiid-onderzoekers. Dit toont aan dat de waarde van Transformers heel duidelijk is, en de innovatieve manieren waarop de Kagglers ze gebruikten waren zowel academisch als praktisch interessant. Deze waren creatieve toepassingen van Transformers die onverwacht waren door onze onderzoekers. Wij werden zo aangemoedigd dat het bieden van dit soort platform zou kunnen leiden tot diverse experimentele benaderingen in AI-onderwijs. Wij geloven dat dit zal leiden tot de vooruitgang van toepasbare technologie als een uitbreiding van deze solide basis voor onderzoek.

Hoe kan AI het beste persoonlijk leren versnellen?

Samenvattend, AI-technologie, gebaseerd op diepe leer-algoritmen, analyseert gebruikersgegevens en inhoud en voorspelt scores en gedrag. Op basis van deze inzichten beveelt AI persoonlijke studieplannen in real-time.

En Riiid’s kern-AI-technologie doet precies dat: 1) Kennisvolging, 2) Scorevoorspelling, 3) Persoonlijke aanbeveling.

1. Kennisvolging: Kennisvolging is een van de fundamentele taken in het AI-onderwijsveld. Het bepalen wat studenten weten en niet weten op een bepaald moment biedt de basis voor het construeren van het optimale leerpad. En het model kan voorspellen of een student correct of niet correct zal reageren op een vraag met de hoogste nauwkeurigheid. Ons diepe leer-gestuurde Kennisvolgingsmodel, geïnspireerd door de Google Transformer, voorspelt of een student correct of niet correct zal reageren op een vraag met de hoogste nauwkeurigheid.
2. Scorevoorspellingsmodel: Het Scorevoorspellingsmodel voorspelt een student’s niveau van prestatie tijdens het leerproces. Ons model voorspelt een student’s score met ± 5% gemiddelde voorspellingsfout, wat breed kan worden uitgedrukt als 95% nauwkeurigheid. Beoordeling geeft feedback op een student’s kennisstaat, wat real-time leeradjustmenten mogelijk maakt. En het stelt studenten in staat om hun vooruitgang en prestatie te herkennen, wat zelfbeoordeling en oefening bevordert.
3. Aanbevelingssysteem: Op basis van Kennisvolging en Scorevoorspellingsmodellen, bieden wij leerlingen items die nodig zijn voor de meeste verbetering. Het ontwerpen van een aanbevelingssysteem is niet altijd eenvoudig, en het vereist veel overweging en onderzoek naar het begrijpen van wat het beste is voor de leerling. Riiid ontwikkelde Recommendation for Effective Standardized Exam Preparation (RCES), een AI-model dat vragen aanbeveelt die niet alleen de verwachte scores maximaliseren, maar ook ervoor zorgen dat leren plaatsvindt. Het vermijdt het doel van het alleen maar verhogen van testresultaten in de afwezigheid van echt leren door de impact van het verwerven van nieuwe kennis van de oplossingen van onjuist beantwoorde vragen te reflecteren.

Kunt u de Riiid Santa-apps bespreken en wat gebruikers kunnen verwachten?

Riiid biedt Santa, een mobiele testvoorbereidingsapp voor het populaire Engelse vaardigheidsexamen, Test of English for International Communication (TOEIC). De app bevat Riiid’s eigen AI-technologie die gebruikersgegevens en inhoud analyseert, scores en gedrag voorspelt en persoonlijke studieplannen in real-time aanbeveelt om gebruikers te helpen hun leerpotentieel te maximaliseren. De app is gebruikt door meer dan twee miljoen studenten (2,5 miljoen) in Korea en Japan en bereikte nummer één in verkoop onder onderwijsapps in Japan en Korea. Op basis van gebruikersgegevens over een jaar, is de gemiddelde score met 165 punten gestegen uit een mogelijke 990 punten na slechts 20 uur studie.

Is er nog iets dat u zou willen delen over Riiid of Riiid Labs?

Met slechts zes jaar onder onze riem, hebben wij slechts het oppervlak van de onbeperkte vooruitzichten in AI-onderwijs geschampt. Wij hebben gezien hoe wij de traditionele benaderingen van leren voor gestandaardiseerde tests kunnen veranderen. Maar wij zagen ook een mogelijkheid voor een meer betekenisvolle maatstaf van een student’s capaciteiten. En wij geloven echt dat wij het beste zijn uitgerust om deze revolutie te leiden.

Ons geloof is dat alleen door het dagelijkse leerbehavior en de leerweg van een student te begrijpen, kunnen wij een student’s ware potentieel beoordelen en de leerervaring dienovereenkomstig optimaliseren. Dit was niet mogelijk voordat. Maar met AI kunnen wij het huidige niveau van de leerlingen analyseren en onmiddellijk instructie personaliseren die past bij een individu’s behoeften. Wij kunnen hen constant motiveren en hun vooruitgang volgen. Wij kunnen elke leerling laten groeien op zijn eigen manier, in zijn eigen tempo, wat het huidige systeem niet voorstaat. Met deze benadering kunnen wij echt een iemands leerpotentieel ontsluiten.

Ons visie wordt alleen gerealiseerd met testvoorbereidingsdiensten, maar wij staan aan het begin van iets groots. Summative assessment, die leerlingen beoordeelt door middel van eenmalige tests, is niet het beste instrument voor beoordeling en effectief leren. En verder is het nu fysiek ongeldig vanwege Covid19, en wij zagen de enorme marktbehoeften aan effectieve en praktische formatieve beoordelingsinstrumenten. Daarom werkt Riiid nu aan een diepe leer-gestuurde, domeinonafhankelijke ‘capaciteitsmeting’-model genaamd “Riiid-Score”. Wij zijn ervan overtuigd dat wij het kernonderwijs zullen transformeren door formatief leren te ondersteunen, wat het proces is van constant optimaliseren van de leerervaring. Wij geloven dat dit een basisstap is naar onderwijs dat het potentieel van elk individu kan ontsluiten.

Bedankt voor het geweldige interview, lezers die meer willen leren, moeten Riiid Labs bezoeken.