Yohan Lee, Chief Strategy Officer hos Riiid Labs – Interviewserie

Yohan Lee er Chief Strategy Officer hos Riiid Labs, en ledende leverandør af fuldt verificerede og data-drevne AI-teknologier. De samarbejder med globale ledere inden for uddannelse, færdighedstræning og teknologi for at skabe bedre læringsoplevelser. De bruger AI til at hjælpe lærende med at opnå deres mål på den hurtigste og mest effektive måde.

Hvad var det, der oprindeligt tiltrak dig til AI?

Riiids fokus. Riiid havde gjort de rigtige trin, som et seriøst selskab med stor potentiale ville gøre. Hver skridt var rimeligt og inspirerende. For deres AI startede selskabet rimeligt med samarbejdende filtreringsmetoder, derefter forbedrede de deres algoritmer op til state-of-the-art Transformer-modeller med deres egne unikke udviklinger. Selskabet offentliggjorde tankevækkende artikler, der viste fokus, udforskning og fantasi. Selskabets app konverterede brugere og genererede indtægt succesfuldt, hvilket indikerede stærk markedsadoption. Forretningen udvidede sig fra en B2C til en B2B-dimension med yderligere testforberedelsesværktøjer og en Realtor-app. Derefter offentliggjorde de den største uddannelsesdataset for at initiere større innovation og skabe en AI-uddannelsessamfund (EdNet). Disse er alle trin for et fokuseret selskab, der gør de rigtige trin, som kun et stort selskab normalt gør. Til sidst var deres offentligt synlige finansieringsrunder en stærk refleksion af investeringspotentialet for, hvor hurtigt dette selskab kunne blive en enhjørning.

I din tidligere rolle var du leder af Machine Intelligence og Health Data Science hos Google (GOOGL ) Brain, hvad var nogle af de projekter, du arbejdede på?

Jeg ledede Produktudrulning: hvilket er, hvordan man designer, konstruerer, måler, systemtestbænke til virkelighedsbevis for studier. En kombination af avanceret testbænk-konstruktion, forskningsstrategi og avanceret systemdesign og implementering. Jeg er ikke ingeniør, men jeg har været en certificeret pro cloud-arkitekt på multiple skyer i en række år nu. Så det var en naturlig fit, især med de mange informations sikkerheds- og privatlivskrav for PHI og sårbare befolkninger (navnlig børn).

Mange gange er der en teknisk parathedsmismatch mellem partnere og teknologigiganter for at nå skala. Det er her, jeg driver skala. Ved at lave selvmonterende teknologi-infrastruktur designet til ML-motorer til at koste 1/10 af prisen og nå massiv parallel beregning på latency og omkostninger.

At gøre prædiktionsalgoritmer tilgængelige for vores partnere som AIaaS har været spændende.

Siden august 2020 har du været Vice President of Strategy hos Riiid Labs, kan du forklare, hvad Riiid Labs præcis er?

Riiid Labs er en global leder inden for AI-løsninger til uddannelse. Riiid Labs er den globale arm af det moderselskab Riiid og er etableret i Silicon Valley for at bygge på Riiids succes i Asien og for at udvide forretningen over USA, Sydamerika, Mellemøsten og andre steder. Vi består af AI-forskere, datavidenskabsmænd, ingeniører og forretningsudvikling og arbejder med partnere i forskellige vertikaler for at omdefinere de traditionelle måder at lære via udvidelse af Riiids AI-kompetence. Uanset om det er en personlig testforberedelses-app til college-indgangseksamen i Sydamerika eller en AI-tutor-modul til uddannelse af forsikringsagenter hos et stort konglomerat i Korea, tilbyder vi B2C/B2B/B2G-kunder vores proprietære teknologi i AI, der analyserer brugernes læringsadfærd og forudser næste svarvalg og anbefaler personlig læringssti, der maksimerer en persons læringspotentiale. Vi har lanceret flere produkter, herunder Santa, en mobil testforberedelses-app til den populære engelske kompetenceprøve, Test of English for International Communication (TOEIC), der er blevet brugt af mere end to millioner studerende i Korea og Japan. Vi har også udgivet en GMAT-forberedelses-app i Korea i samarbejde med Kaplan og en ACT-forberedelses-app i Egypten, Tyrkiet, UAE, Jordan og Saudi-Arabien i samarbejde med ConnecME. Riiid er nu i forhandlinger med en bred vifte af kunder fra private og offentlige sektorer for at implementere vores AI-løsning til uddannelsesvurderinger, læring og træning.

Hvordan kan AI-værktøjer være et skridt fremad i demokratiseringen af uddannelse?

Ifølge FN viste selv før coronaviruskrisen, at projectioner viste, at mere end 200 millioner børn ville være uden for skole, og kun 60 procent af unge ville gennemføre sekundær uddannelse i 2030. Halvdelen af den udviklende verdens børn forlod uddannelse uden nogen anvendelige kvalifikationer til arbejdsmarkedet. ‘En størrelse til alle’-tilgange til uddannelse og højrisikode standardiserede testbaserede vurderinger har ikke opfyldt den forventede rolle for uddannelse til at udvikle talentfulde borgere i samfundet.

I udviklede økonomier som Korea og USA har velhavende samfund langt større skolebudgetter end fattigere samfund. Herefter investerer velhavende forældre yderligere i privat undervisning, privat college-rådgivning, testforberedelse, privat idrætscoaching og udenfor skolens læringsoplevelser i kunst og kultur, der udvider gapet mellem deres børn og alle andre. Dette betyder, at studerende i mindre velhavende samfund ofte har mindre erfarenheder lærere, mindre adgang til teknologi, reduceret internetadgang på skolen og hjemme og måske ikke modtager nogen råd om ansøgning til college. I USA er et barn født i en velhavende familie 10 gange mere sandsynligt at gennemføre en college-uddannelse end et barn født i en fattig familie. Og selv når man holder akademisk evne konstant, er det rigere barn langt mere sandsynligt at gå på college og gennemføre en uddannelse. Dette har også implikationer for økonomisk vækst. Når talent og potentiale er bredt fordelt i et samfund, men mulighed ikke er, kan arbejdsmarkedet og økonomien ikke effektivt matche talent med beskæftigelse, og det langsomer innovation, og kompromitterer national produktivitet og økonomisk vækst.

Baseret på betydelige data kan AI vurderer og forstå hver enkelt students videniveau og unikke læringsadfærd og give personlig indhold til at hjælpe studerende med at nå hvert læringsmål. AI er evigt tålmodig og kan give alle lige, men individualiseret opmærksomhed til en brøkdel af omkostningerne ved personlige undervisere. Det er muligt, at enhver student med en internetforbindelse og smartphone kan deltage i en engagerende, personlig læringsoplevelse uanset, hvor de bor. AI kan også hjælpe lærere med at personliggøre læringsoplevelserne for deres studerende, reducere den tid, lærere skal bruge på repetitive opgaver og omdefinere den tid til at give individualiseret opmærksomhed og personlig læringsressourcer, der er tilgængelige for hver enkelt student 24/7, uanset om skolen er åben eller ej.

Kunne du diskutere visionen bag den første nogensinde globale Kunstig Intelligens Uddannelsesudfordring (AIEd Challenge)?

Verden har brug for en ny paradigm inden for uddannelse for at overvinde den nuværende krise i uddannelse. AI-drevne læringsløsninger, som studerende interagerer med online, kan give alle lige, men individualiseret opmærksomhed til en brøkdel af omkostningerne ved personlige undervisere, enten brugt til selvstændig læring eller inkorporeret i lærer-ledede læringsoplevelser. Vi tror virkelig på vores vision for AI-uddannelse og er sikre på, at vi kan transformere uddannelse og forbedre livene for studerende. Men vi ved, at vi ikke kan opnå denne vision alene. Vi har brug for den større AI-samfund og uddannelsesindustrier til at købe ind i vores idéer og deltage også. Sidste år offentliggjorde Riiid offentligt EdNet, en stor skala-hierarkisk dataset af diverse studentaktiviteter samlet fra Riiids AI-undervisningssystem. Det indeholder data fra mere end 131 millioner interaktioner med mere end 780.000 virkelige studerende. Det er den største blandt de AI-uddannelsesdataset, der er offentliggjort til offentligheden hidtil. Vi ønsker, at de bedste hjerner på området skal bruge disse data til at finde innovative løsninger, der kan hjælpe med at tackle de globale udfordringer i uddannelse. Derfor lancerede Riiid sin første AIEd Challenge, en global udfordring til at skabe og evaluere algoritmer for videnssporing ved hjælp af EdNet. Vi tror, at ved at samarbejde kan vi have en større indvirkning og yderligere accelerere trenden mod AI-aktiveret uddannelse. At føre eksemplet er nødvendigt for ledelse og inspiration til andre.

Hvad var nogle af resultaterne fra AIED?

Udfordringen løb fra 6. oktober 2020 til 8. januar 2021 via Googles Kaggle-platform, en online-samfund af datavidenskabsmænd og maskinlæringspraktikere.

• For den samlede pris på 100.000 dollars deltog 3.395 hold fra 90 lande i udfordringen, hvilket gjorde det til den mest af nogen 2020 Kaggle-algoritme-konkurrence, der blev afholdt af en virksomhed.
• 52 af Kagles 270 Grandmasters deltog, det højeste forhold for Kaggle-konkurrenter baseret på tidligere præstationer. I sammenligning deltog kun 25 Grandmasters i gennemsnit i 2020-konkurrencerne.
• Gennem denne udfordring blev 64.678 forskellige og kreative Videnstracingsmodeller indsendt.
• Hold fra Korea, Japan og Spanien vandt de tre øverste pladser og modtog henholdsvis 50.000, 30.000 og 10.000 dollars. De tre øverste hold præsenterede deres modeller på AAAI-2021-workshoppen om AI-uddannelse: Forestilling Post-COVID-uddannelse med AI, afholdt og organiseret af forskere hos Riiid.
• Alle vindende løsninger brugte Transformers, en opmærksomhedsbaseret model, der først blev introduceret med brug i maskinoversættelse [AAYN] (Vaswani et al) og blev adopteret af Riiid-forskere. Dette viser, at værdien af Transformers er ret klar, de innovative måder, hvorpå Kagglere brugte dem, var både akademisk og praktisk interessant. Disse var kreative anvendelser af Transformers, der var uventede af vores forskere. Vi var så opmuntret af, at denne type platform kunne fremme så forskellige eksperimentelle tilgange i AI-uddannelse. Vi tror, at dette vil føre til fremgangen i anvendt teknologi som en udvidelse af denne solide grund for forskning.

Hvordan kan AI bedst accelerere personlig læring?

Samlet set analyserer AI-teknologi, baseret på dyb læring-algoritmer, brugerdata og indhold og forudser score og adfærd. Baseret på disse indsighter anbefaler AI personlige studieplaner i realtid.

Og Riiids kerne-AI-teknologier gør netop det: 1) Videnstracering, 2) Scoreforudsigelse, 3) Personlig anbefaling.

1. VIDENSTRACERING: Videnstracering er en af de grundlæggende opgaver i AI-uddannelsesfeltet. At skelne, hvad studerende ved og ikke ved på et tidspunkt, giver grundlaget for at konstruere den optimale læringssti. Og modellen kan forudse korrektheden af en lærers svar på en given spørgsmål. Vores dyb-læringsbaserede Videnstracingsmodel, inspireret af Google Transformer, forudser, om en student vil svare korrekt eller ej på et spørgsmål med den højeste nøjagtighed.
2. Scoreforudsigelsesmodel: Scoreforudsigelsesmodellen forudser en students niveau af præstation under læringsprocessen. Vores model forudser en students score med ± 5% gennemsnitlig forudsigelsesfejl, hvilket kunne udtrykkes som 95% nøjagtighed. Vurdering giver feedback på en students videnstilstand, hvilket muliggør realtidsjusteringer af læringen. Og det giver studerende mulighed for at erkende deres fremgang og præstation, hvilket fremmer selv-vurdering og praksis.
3. Anbefalingssystem: Baseret på Videnstracering og Scoreforudsigelsesmodeller tilbyder vi lærende de elementer, der kræves for den største forbedring. At designe et anbefalingssystem er ikke altid ligetil, og det kræver megen overvejelse og forskning i, hvad der er bedst for lærende. Riiid udviklede Anbefaling til Effektiv Standardiseret Eksamenforberedelse (RCES), en AI-model, der anbefaler spørgsmål, der ikke kun maksimerer Forventede Score, men sikrer, at læring finder sted. Det undgår målet med kun at øge test-scoren i fravær af sand læring ved at reflektere indvirkningen af at erhverve ny viden fra løsningerne af forkert besvarede spørgsmål.

Kunne du diskutere Riiid Santa-apps og hvad brugere kan forvente?

Riiid tilbyder Santa, en mobil testforberedelses-app til den populære engelske kompetenceprøve, Test of English for International Communication (TOEIC). Appen har Riiids proprietære AI-teknologi, der analyserer brugerdata og indhold, forudser score og adfærd og anbefaler personlige studieplaner i realtid for at hjælpe brugere med at maksimere deres læringspotentiale. Appen er blevet brugt af mere end to millioner studerende (2,5 millioner) i Korea og Japan og har nået nr. 1 i salg blandt uddannelsesapps i Japan og Korea. Baseret på brugerdata over et år er den gennemsnitlige score øget med 165 point af en mulig 990 point efter kun 20 timers studie.

Er der noget andet, du gerne vil dele om Riiid eller Riiid Labs?

Med kun seks år under vores bælte har vi kun skrabet overfladen af de uendelige muligheder i AI-uddannelse. Vi har set, hvordan vi kan ændre måden, folk tager til traditionelle læringsmetoder for standardiserede tests. Men vi så også en mulighed for en mere meningsfuld måde at måle en students evner. Og vi tror virkelig, at vi er bedst udstyret til at lede denne revolution.

Vores tro er, at kun gennem at forstå en students daglige læringsadfærd og -sti kan vi vurdere en students sande potentiale og optimere deres læringsoplevelse derefter. Dette var ikke muligt før. Men med AI kan vi analysere det nuværende niveau af lærende og øjeblikkeligt personliggøre undervisning, der passer en enkelt persons behov. Vi kan konstant motivere dem og følge deres fremgang. Vi kan give hver enkelt lærende mulighed for at vokse på deres egen måde, i deres egen fart, hvilket det nuværende system ikke står for. Med denne tilgang kan vi virkelig låse en persons læringspotentiale op.

Vores vision bliver kun realiseret med testforberedelsesservices, men vi er kun i begyndelsen af noget stort. Summative vurdering, der vurderer lærende gennem enkelttests, er ikke det bedste værktøj til vurdering og effektiv læring. Og yderligere er det fysisk ugyldigt på grund af Covid-19, og vi så det enorme marked behov for effektive og praktiske formative vurderingsværktøjer. Derfor arbejder Riiid nu på en dyb-læringsbaseret, domæneuafhængig ‘kapacitetsmålingsmodel’ kaldet “Riiid-Score”. Vi er sikre på, at vi vil transformere kernen i uddannelse ved at støtte formative læring, hvilket refererer til processen med at konstant optimere undervisnings-læringsoplevelsen. Vi tror, at dette er et grundlæggende skridt mod uddannelse, der kan låse en persons potentiale op.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge Riiid Labs.