Yohan Lee, Chief Strategy Officer på Riiid Labs – Intervju-serie

Yohan Lee är Chief Strategy Officer på Riiid Labs, en ledande leverantör av fullt verifierad och data-driven AI-teknologi. De samarbetar med globala ledare inom utbildning, färdighetsutbildning och teknik för att skapa bättre lärandeupplevelser. De använder AI för att hjälpa lärande att uppnå sina mål på det snabbaste och mest effektiva sättet.

Vad var det som initialt drog dig till AI?

Riiids fokus. Riiid hade gjort rätt drag som ett allvarligt företag med stor potential skulle göra. Varje steg var rimligt och inspirerande. För sin AI började företaget rimligt med samarbetsfiltermetoder, sedan förbättrade de sina algoritmer upp till state-of-the-art Transformer-modeller med sina egna unika evolutioner. Företaget publicerade också tankeväckande artiklar som visade fokus, utforskning och fantasi. Företagets app konverterade användare och monetiserade framgångsrikt, vilket indikerade stark marknadsacceptans. Affären expanderade från en B2C till en B2B-dimension med ytterligare testförberedelseverktyg och en fastighetsmäklarapp. Sedan publicerade de den största utbildningsdataseten för att initiera större innovation och skapa en AI-utbildningssamhälle (EdNet). Detta är alla drag som ett fokuserat företag som gör rätt drag som bara ett stort företag vanligtvis gör. Slutligen var deras offentligt synliga finansieringsrundor en stark reflektion av investeringspotentialen för hur snabbt detta företag kunde bli en enhörning.

I din tidigare roll var du Machine Intelligence och Health Data Science Leader på Google (GOOGL ) Brain, vad var några av de projekt du arbetade med?

Jag ledde Produktdistribution: som är hur man designar, konstruerar, mäter, systemtestbäddar för verkliga bevisstudier. En kombination av avancerad testbädds konstruktion, forskningsstrategi och avancerad systemdesign och implementering. Jag är inte en ingenjör, men jag har varit en certifierad pro-molnarkitekt på flera moln under många år nu. Så det var en naturlig passform, särskilt med de många informations säkerhets- och sekretesskraven för PHI, och sårbara populationer (namnlöst barn).

Många gånger finns det en teknisk beredskapsobalans mellan partners och teknikjättar för att nå skala. Det är där jag driver skala. Att skapa självmonterande teknisk infrastruktur som är utformad för ML-motorer för att kosta 1/10 av priset och nå massiv parallellberäkning vid latens och kostnad.

Att göra förutsägelsealgoritmer tillgängliga för våra partners som AIaaS har varit spännande.

Sedan augusti 2020 har du varit Vice President of Strategy på Riiid Labs, kan du förklara vad Riiid Labs är exakt?

Riiid Labs är en global ledare inom AI-lösningar för utbildning. Riiid Labs är den globala armen av sitt moderbolag Riiid och har etablerats i Silicon Valley för att bygga på Riiids framgångar i Asien och för att expandera sin verksamhet i USA, Sydamerika, Mellanöstern och bortom. Vi består av AI-forskare, dataforskare, ingenjörer och affärsutvecklare som arbetar med partners inom olika vertikaler för att ompröva de traditionella sätten att lära genom att utöka Riiids AI-kompetens. Oavsett om det är en personlig testförberedelseapp för collegeinträdesprovet i Sydamerika eller en AI-tutormodul för utbildning av försäkringsagenter på ett stort konglomerat i Korea, erbjuder vi B2C/B2B/B2G-kunder med vår proprietära teknik inom AI som analyserar användarlärandebeteende och förutsäger nästa svarsval och rekommenderar personlig lärandeväg som maximalt utnyttjar en persons lärandepotential. Vi har lanserat flera produkter, inklusive Santa, en mobil testförberedelseapp för den populära engelska språkprovet, Test of English for International Communication (TOEIC), som har använts av mer än två miljoner studenter i Korea och Japan. Vi har också släppt en GMAT-förberedelseapp i Korea i samarbete med Kaplan och en ACT-förberedelseapp i Egypten, Turkiet, Förenade Arabemiraten, Jordanien och Saudiarabien i samarbete med ConnecME. Riiid är nu i samtal med en mängd olika kunder från den privata och offentliga sektorn för att implementera vår AI-lösning för utbildningsbedömning, lärande och utbildning.

Hur är AI-verktyg ett steg framåt i att demokratisera utbildning?

Enligt FN, även innan coronaviruskrisen, visade prognoserna att mer än 200 miljoner barn skulle vara utanför skolan, och endast 60 procent av unga människor skulle slutföra gymnasieutbildning år 2030. Hälften av utvecklingsländernas barn lämnade utbildning utan några tillämpliga kvalifikationer för arbetsplatsen. ‘En storlek passar alla’-tillvägagångssätt för utbildning och höga insatsstandardiserade testbaserade bedömningar har inte lyckats uppfylla den förväntade rollen för utbildning att odla begåvade medborgare i samhället.

I utvecklade ekonomier som Korea och USA har rika samhällen mycket större skolbudgetar än fattigare samhällen. Rika föräldrar gör också ytterligare investeringar i privatundervisning, privat college-rådgivning, testförberedelse, privat idrottscoaching och utomhuslärandeupplevelser i konst och kultur, som ökar klyftan mellan deras barn och alla andra. Detta innebär att studenter i mindre välbärgade samhällen ofta har mindre erfarna lärare, mindre tillgång till teknik, reducerad internetåtkomst i skolan och hemma och kanske inte får några råd om att söka till college. I USA är ett barn som föds i en rik familj 10 gånger mer sannolikt att slutföra en collegeexamen än ett barn som föds i en fattig familj. Och även när man håller akademisk förmåga konstant är det rikare barnet mycket mer sannolikt att gå till college och slutföra en examen. Detta har också implikationer för ekonomisk tillväxt. När talang och potential är brett fördelade i ett samhälle, men möjlighet inte är det, kan arbetsmarknaden och ekonomin inte effektivt matcha talang med anställning, och det bromsar innovation och komprometterar nationell produktivitet och ekonomisk tillväxt.

Baserat på betydande data kan AI bedöma och förstå varje students kunskapsnivå och unika lärandebeteenden och tillhandahålla personlig innehåll i rätt tid för att hjälpa studenter nå varje lärandemål. AI är evigt tålamodigt och kan ge alla lika men individualiserad uppmärksamhet till en bråkdel av kostnaden för personliga handledare. Det är möjligt att varje student med en internetanslutning och smartphone kommer att kunna delta i en engagerande, personlig lärandeupplevelse oavsett var de bor. AI kan också hjälpa lärare att personifiera lärandeupplevelserna för sina studenter, minska den tid lärare måste lägga på upprepade uppgifter och omvandla den tiden till att ge individualiserad uppmärksamhet och personlig lärande resurser som är tillgängliga för varje student 24/7, oavsett om skolan är öppen eller inte.

Kunde du diskutera visionen bakom den första globala Artificial Intelligence Education (AIEd) Challenge?

Världen behöver ett nytt paradigm inom utbildning för att övervinna den nuvarande krisen inom utbildning. AI-drivna lösningar för lärande som studenter interagerar med online kan ge alla lika men individualiserad uppmärksamhet till en bråkdel av kostnaden för personliga handledare, oavsett om de används för oberoende lärande eller införlivas i lärarledda lärandeupplevelser. Vi tror verkligen på vår vision inom AI-utbildning och är säkra på att vi kan förvandla utbildning och förbättra studenternas liv. Men vi vet att vi inte kan uppnå denna vision ensamma. Vi behöver den större AI-gemenskapen och utbildningsindustrin att köpa in i våra idéer och delta också. Förra året släppte Riiid offentligt EdNet, en stor skala-hierarkisk dataset av diversifierad studentaktivitet som samlats in från Riiids AI-tutormodul. Den innehåller data från mer än 131 miljoner interaktioner med mer än 780 000 verkliga studenter. Det är den största bland de AI-utbildningsdataset som släppts till allmänheten hittills. Vi vill att de bästa hjärnorna inom området ska använda denna data för att hitta innovativa lösningar som kan hjälpa till att tackla de globala utmaningarna inom utbildning. Därför lanserade Riiid sin första AIEd Challenge, en global utmaning för att skapa och utvärdera algoritmer för kunskapsspårning med hjälp av EdNet. Vi tror att genom att gå samman kan vi ha en större inverkan och ytterligare accelerera trenden mot AI-aktiverad utbildning. Att leda med exempel är nödvändigt för ledarskap och inspiration till andra.

Vad var några av resultaten från AIED?

Utmaningen pågick från den 6 oktober 2020 till den 8 januari 2021 via Googles Kaggle-plattform, en online-gemenskap av dataforskare och maskinlärare.

• För den totala prissumman på 100 000 dollar deltog 3 395 lag från 90 länder i utmaningen, vilket gjorde det till den mest av någon 2020 Kaggle-algoritmisk tävling som värd av ett företag.
• 52 av Kaggle’s 270 Grandmasters deltog, den högsta andelen för Kaggle-tävlingar baserat på tidigare prestationer. I jämförelse deltog genomsnittligt endast 25 Grandmasters i 2020 års tävlingar.
• Genom denna utmaning lämnades 64 678 olika och kreativa kunskapsspårningsmodeller in.
• Lag från Korea, Japan och Spanien vann de tre första platserna och mottog 50 000 dollar, 30 000 dollar respektive 10 000 dollar. De tre bästa lagen presenterade sina modeller på AAAI-2021-workshopen om AI-utbildning: Att föreställa sig post-COVID-utbildning med AI, som arrangerades och organiserades av forskare på Riiid.
• Alla vinnande lösningar använde Transformers, en uppmärksamhetsbaserad modell som först introducerades med användning i maskinöversättning [AAYN] (Vaswani et al) och antogs av Riiid-forskare. Detta visar att värdet av Transformers är ganska tydligt, de innovativa sätten som Kagglerna använde dem var både akademiskt och praktiskt intressanta. Dessa var kreativa tillämpningar av Transformers som var oväntade av våra forskare. Vi var så uppmuntrade att tillhandahålla den här typen av plattform kunde främja sådana olika experimentella tillvägagångssätt inom AI-utbildning. Vi tror att detta kommer att leda till framsteg inom tillämpbar teknik som en utvidgning av denna solida grund för forskning.

Hur kan AI på bästa sätt accelerera personligt lärande?

Sammanfattningsvis analyserar AI-teknik, baserad på djupinlärningsalgoritmer, användardata och innehåll och förutsäger poäng och beteende. Baserat på dessa insikter rekommenderar AI personliga studieplaner i realtid.

Och Riiids kärn-AI-teknologier gör just det: 1) Kunskapsspårning, 2) Poängförutsägelse, 3) Personlig rekommendation.

1. Kunskapsspårning: Kunskapsspårning är en av de grundläggande uppgifterna inom AI-utbildningsfältet. Att urskilja vad studenter vet och inte vet vid en given tidpunkt ger underlaget för att konstruera den optimala lärandevägen. Och modellen kan förutsäga riktigheten av en lärares svar på en fråga med den högsta noggrannheten.
2. Poängförutsägelsemodell: Poängförutsägelsemodellen förutsäger en students nivå av prestation under lärandeprocessen. Vår modell förutsäger en students poäng med ± 5% medelvärdesfel, vilket kan uttryckas som 95% noggrannhet. Bedömning ger feedback på en students kunskapsstånd, vilket möjliggör realtidsjusteringar av lärandet. Och det tillåter studenter att känna till sin framsteg och prestation, vilket främjar självbedömning och övning.
3. Rekommendationssystem: Baserat på kunskapsspårning och poängförutsägelsemodeller tillhandahåller vi lärande med artiklar som krävs för den mest betydande förbättringen. Att utforma ett rekommendationssystem är inte alltid enkelt, och det kräver en hel del övervägande och forskning för att förstå vad som är bäst för lärande. Riiid utvecklade Rekommendation för effektiv standardiserad examensförberedelse (RCES), en AI-modell som rekommenderar frågor som inte bara maximalt förväntade poäng utan också säkerställer att lärande sker. Den undviker målet att enbart försöka öka testpoäng i avsaknad av verkligt lärande genom att reflektera effekten av att förvärva ny kunskap från lösningarna av felaktigt svarade frågor.

Kunde du diskutera Riiid Santa-apparna och vad användare kan förvänta sig?

Riiid erbjuder Santa, en mobil testförberedelseapp för det populära engelska språkprovet, Test of English for International Communication (TOEIC). Appen har Riiids proprietära AI-teknologi som analyserar användardata och innehåll, förutsäger poäng och beteende och rekommenderar personliga studieplaner i realtid för att hjälpa användare optimera sin lärandepotential. Appen har använts av mer än två miljoner studenter (2,5 miljoner) i Korea och Japan och nådde nummer ett i försäljning bland utbildningsappar i Japan och Korea. Baserat på användardata under ett år ökade den genomsnittliga poängen med 165 poäng av 990 möjliga poäng efter endast 20 timmars studier.

Finns det något annat du vill dela om Riiid eller Riiid Labs?

Med bara sex år under vår bälte har vi bara skrapat på ytan av de obegränsade möjligheterna inom AI-utbildning. Vi har sett hur vi kan förändra det traditionella sättet att ta så kallade traditionella lärandeansatser för standardiserade tester. Men vi såg också en möjlighet till en mer meningsfull mätning av en students förmåga. Och vi tror verkligen att vi är bäst utrustade för att leda denna revolution.

Vår tro är att endast genom att förstå studentens dagliga lärandebeteende och väg kan vi bedöma en students sanna potential och optimera deras lärandeupplevelse enligt. Detta var inte möjligt tidigare. Men med AI kan vi analysera den aktuella nivån på lärande och direkt personifiera undervisning som passar en individs behov. Vi kan ständigt motivera dem och spåra deras framsteg. Vi kan låta varje lärande växa på sitt eget sätt, i sin egen takt, vilket det nuvarande systemet inte står för. Med detta tillvägagångssätt kan vi verkligen låsa upp en persons lärandepotential.

Vår vision är bara på väg att förverkligas med testförberedelsetjänster, men vi är i början av något stort. Summativ bedömning, som utvärderar lärande genom enstaka tester, är inte det bästa verktyget för bedömning och effektivt lärande. Och ytterligare, det är nu fysiskt ogiltigt på grund av Covid-19, och vi såg de stora marknadsbehoven i effektiva och praktiska formativa bedömningsverktyg. Därför arbetar Riiid nu på en djupinlärningsbaserad, domän-oberoende “förmågemätningsmodell” som kallas “Riiid-Score”. Vi är säkra på att vi kommer att förvandla kärnan i utbildning genom att stödja formativt lärande, som avser processen att ständigt optimera lärandeupplevelsen. Vi tror att detta är ett grundläggande steg mot utbildning som kan frigöra varje individs potential.

Tack för det underbara samtalet, läsare som vill lära sig mer bör besöka Riiid Labs.