Yohan Lee, Chief Strategy Officer i Riiid Labs – Intervju-serie

Yohan Lee er Chief Strategy Officer i Riiid Labs, en ledende leverandør av fullt verifiserte og data-drevne AI-teknologier. De samarbeider med globale ledere i utdanning, ferdighetsutdanning og teknologi for å skape bedre læringsopplevelser. De bruker AI for å hjelpe lærende å nå sine mål på den raskeste og mest effektive måten.

Hva var det som først tiltalte deg til AI?

Riiids fokus. Riiid hadde gjort de riktige bevegelsene som et seriøst selskap med stor potensial ville gjøre. Hver skritt var rimelig og inspirerende. For sin AI, startet selskapet rimelig med kollektive filtreringsmetoder, og forbedret jevnt sine algoritmer opp til state-of-the-art Transformer-modeller med deres eget unike evolusjoner. Selskapet holdt på å publisere tankerike papirer som viste fokus, utforskning og fantasi. Selskapets app var i ferd med å konvertere brukere og moneterisere med hell, noe som indikerte sterk markedstilpasning. Bedriften var i ferd med å utvide seg fra en B2C til en B2B-dimensjon med tilleggsverktøy for testforberedelse og en Realtor-app. Deretter publiserte de den største utdanningsdatasetten for å initiere større innovasjon og skape en AI-utdanningsfellesskap (EdNet). Dette er alle bevegelser som et fokusert selskap som gjør de riktige bevegelsene som bare et stort selskap vanligvis gjør. Til slutt var deres offentlig synlige finansieringsrunder en sterk refleksjon av investeringspotensialet for hvor raskt dette selskapet kunne bli en enhjørning.

I din tidligere stilling var du Machine Intelligence og Health Data Science Leader i Google (GOOGL ) Brain, hva var noen av prosjektene du arbeidet med?

Jeg ledet Produktlevering: som er hvordan man designer, konstruerer, måler, systemtestbænk for virkelige bevisstudier. En kombinasjon av avansert testbænk-konstruksjon, forskningsstrategi og avansert systemdesign og implementering. Jeg er ikke en ingeniør, men jeg har vært en sertifisert pro-cloud-arkitekt på flere skyer i mange år nå. Så det var en naturlig passform, spesielt med de mange informasjonssikkerhets- og personvernskravene for PHI og sårbare befolkninger (navnlig barn).

Mange ganger er det en teknisk beredskapsuførighet mellom partnere og teknologigiganter for å nå skala. Det er der jeg driver skala. Jeg lager selvmonterende teknisk infrastruktur designet for ML-motorer som koster 1/10 av prisen og når massiv parallell beregning på latency og kostnad.

Å gjøre prediksjonsalgoritmer tilgjengelige for våre partnere som AIaaS, har vært spennende.

Siden august 2020 har du vært Vice President of Strategy i Riiid Labs, kan du forklare hva Riiid Labs nøyaktig er?

Riiid Labs er en global leder i AI-løsninger for utdanning. Riiid Labs er den globale armen til selskapets moderselskap Riiid og er etablert i Silicon Valley for å bygge på Riiids suksess i Asia og for å utvide sin virksomhet over USA, Sør-Amerika, Midtøsten og utover. Vi består av AI-forskere, data-vitere, ingeniører og forretningsutviklere som arbeider med partnere i ulike vertikaler for å tenke om de tradisjonelle måtene å lære ved å utvide Riiids AI-kompetanse. Uansett om det er en personlig testforberedelsesapplikasjon for college-inntakseksamen i Sør-Amerika eller en AI-tutor-modul for å trene forsikringsagenter i et stort konglomerat i Korea, tilbyr vi B2C/B2B/B2G-kunder våre proprietære teknologier i AI som analyserer brukerens læringsatferd-data, forutsier neste svarvalg og anbefaler personlig læringssti som maksimerer en persons læringspotensiale. Vi har lansert flere produkter allerede, inkludert Santa, en mobil testforberedelsesapplikasjon for den populære engelskproficiency-eksamen, Test of English for International Communication (TOEIC), som har blitt brukt av over to millioner studenter i Korea og Japan. Vi har også lansert en GMAT-forberedelsesapplikasjon i Korea basert på samarbeid med Kaplan og en ACT-forberedelsesapplikasjon i Egypt, Tyrkia, UAE, Jordan og Saudi-Arabia i samarbeid med ConnecME. Riiid er nå i samtaler med en rekke kunder fra private og offentlige sektorer for å implementere vår AI-løsning for utdanningsvurderinger, læring og opplæring.

Hvordan kan AI-verktøy være et skritt fremover i å demokratisere utdanning?

Ifølge FN, selv før koronaviruskrisen, viste prosjektene at over 200 millioner barn ville være utenfor skolen, og bare 60 prosent av unge mennesker ville fullføre videregående utdanning i 2030. Halvparten av den utviklede verdens barn forlot utdanning uten noen anvendelige kvalifikasjoner for arbeidsplassen. ‘En størrelse passer alle’-tilnærmingene til utdanning og høye innsats standardiserte testbaserte vurderinger har ikke klart å tilfredsstille den forventede rollen til utdanning for å vokse talentfulle borgere i samfunnet.

I utviklede økonomier som Korea og USA, har rike samfunn mye større skolebudsjeter enn fattige samfunn. Deretter gjør rike foreldre ekstra investeringer i privat veiledning, privat college-rådgivning, testforberedelse, privat idrettscoaching og utenfor skolelæringsopplevelser i kunst og kultur, som øker gapet mellom deres barn og alle andre. Dette betyr at studenter i mindre rike samfunn ofte har mindre erfarte lærere, mindre tilgang til teknologi, redusert internett-tilgang på skolen og hjemme, og kan ikke motta noen råd om å søke på college. I USA er et barn født inn i en rik familie 10 ganger mer sannsynlig å fullføre en college-grad enn et barn født inn i en fattig familie. Og selv når du holder akademisk evne konstant, er det rikere barnet mye mer sannsynlig å gå på college og å fullføre en grad. Dette har også implikasjoner for økonomisk vekst. Når talent og potensial er vidt fordelt i et samfunn, men mulighetene ikke er det, kan arbeidsmarkedet og økonomien ikke effektivt matche talent med ansettelse, og det bremser innovasjon og kompromitterer nasjonal produktivitet og økonomisk vekst.

Basert på betydelig data, kan AI vurdere og forstå hver enkelt students kunnskapsnivå og unike læringsatferd og gi personlig innhold tilpasset til å hjelpe studenter nå hver læringsmål. AI er evig tålmodig og kan gi alle like, men individuelt oppmerksomhet til en brøkdel av kostnadene til personlige veiledere. Det er mulig at enhver student med en internett-tilkobling og smarttelefon vil kunne delta i en engasjerende, personlig læringsopplevelse uansett hvor de bor. AI kan også hjelpe lærere å personliggjøre læringsopplevelsene til deres studenter, redusere tiden lærerne må bruke på repetitive oppgaver og omgjøre den tiden til å gi individuell oppmerksomhet og personlig læringsressurser tilgjengelig for hver enkelt student 24/7, uansett om skolen er åpen eller ikke.

Kunne du diskutere visjonen bak den første globale kunstig intelligens-utdanningsutfordringen (AIEd)?

Verden trenger en ny paradigme i utdanning for å overvinne den nåværende krisen i utdanning. AI-drevne læringsløsninger som studenter interagerer med på nett kan gi alle like, men individuelt oppmerksomhet til en brøkdel av kostnadene til personlige veiledere, enten brukt for selvstendig læring eller inkorporert i lærer-ledede læringsopplevelser. Vi tror virkelig på vår visjon i AI-utdanning og er sikre på at vi kan transformere utdanning og forbedre livene til studenter. Men vi vet at vi ikke kan oppnå denne visjonen alene. Vi trenger den større AI-samfunnet og utdanningsindustrien til å kjøpe inn i våre ideer og delta også. I fjor offentliggjorde Riiid EdNet, en stor skala-hierarkisk datasett av diverse studentaktiviteter samlet inn fra Riiids AI-tutor-system. Det inneholder data fra over 131 millioner interaksjoner med over 780 000 virkelige studenter. Det er den største blant de AI-utdanningsdatasettene som er offentliggjort så langt. Vi ønsker at de beste hjernene i feltet skal bruke denne dataen til å finne innovative løsninger som kan hjelpe med å takle de globale utfordringene i utdanning. Derfor lanserte Riiid sin første AIEd-utfordring, en global utfordring til å skape og evaluere algoritmer for kunnskaps-sporing ved hjelp av EdNet. Vi tror at ved å samarbeide kan vi ha en større innvirkning og akselerere trenden mot AI-aktivert utdanning. Å føre eksempel er nødvendig for ledelse og inspirasjon til andre.

Hva var noen av resultatene fra AIED?

Utfordringen ble avholdt fra 6. oktober 2020 til 8. januar 2021 via Googles Kaggle-plattform, en nettbasert samfunn av data-vitere og maskinlærings-utøvere.

• For den totale prisen på 100 000 dollar, deltok 3 395 lag fra 90 land i utfordringen, noe som gjorde det til den største av noen 2020 Kaggle-algoritme-konkurranse som ble vertskapet av et bedriftsobjekt.
• 52 av Kagglers 270 Grandmasters deltok, den høyeste andelen for Kaggle-konkurrenter basert på tidligere prestasjoner. I sammenligning deltok gjennomsnittlig bare 25 Grandmasters i 2020-konkurransene.
• Gjennom denne utfordringen ble 64 678 forskjellige og kreative kunnskaps-sporingsmodeller levert.
• Lag fra Korea, Japan og Spania vant de tre øverste plassene og mottok henholdsvis 50 000 dollar, 30 000 dollar og 10 000 dollar. De tre øverste lagene presenterte sine modeller på AAAI-2021-workshoppen om AI-utdanning: Forestill deg post-COVID-19-utdanning med AI, som ble vertskapet og organisert av forskere ved Riiid.
• Alle vinnende løsninger brukte Transformers, en oppmerksomhets-basert modell som først ble introdusert med bruksområder i maskin-oversettelse [AAYN] (Vaswani et al) og som ble adoptert av Riiid-forskere. Dette viser at verdien av Transformers er ganske klar, og de innovative måtene Kagglere brukte dem var både akademisk og praktisk interessante. Disse var kreative anvendelser av Transformers som var uventede av våre forskere. Vi ble så oppmuntret av å se at å tilby denne type plattform kunne fremme så diverse eksperimentelle tilnærminger i AI-utdanning. Vi tror at dette vil føre til fremgangen av anvendbar teknologi som en utvidelse av denne solide grunnlaget for forskning.

Hvordan kan AI best akselerere personlig læring?

I sammenfatning, AI-teknologi basert på dypt læringsalgoritmer, analyserer brukerdata og innhold og forutsier poeng og atferd. Basert på disse innsiktene, anbefaler AI personlige studieplaner i sanntid.

Og Riiids kjerne-AI-teknologier gjør nettopp det: 1) Kunnskaps-sporing, 2) Poeng-forutsigelse, 3) Personlig anbefaling.

1. Kunnskaps-sporing: Kunnskaps-sporing er en av de grunnleggende oppgavene i AI-utdanningsfeltet. Å skille hva studenter vet og ikke vet på et gitt tidspunkt, gir grunnlaget for å konstruere den optimale læringsstien. Og modellen kan forutsi korrektheten av en lærers svar på en spørsmål med den høyeste nøyaktigheten.
2. Poeng-forutsigelsesmodell: Poeng-forutsigelsesmodellen forutsier en students nivå av prestasjon under læringsprosessen. Vår modell forutsier en students poeng med ± 5% gjennomsnittlig forutsigelsesfeil, som kunne uttrykkes som 95% nøyaktighet. Vurdering gir tilbakemelding på en students kunnskaps-tilstand, som muliggjør sanntids justeringer av læringen. Og det lar studenter erkjenne sin fremgang og prestasjon, noe som fremmer selv-vurdering og praksis.
3. Anbefalingssystem: Basert på Kunnskaps-sporing og Poeng-forutsigelsesmodellene, tilbyr vi lærerne elementer som er nødvendige for den største forbedringen. Å designe et anbefalingssystem er ikke alltid rett frem, og det krever mye overveielse og forskning i å forstå hva som er best for læreren. Riiid utviklet Anbefaling for effektiv standardisert eksamen-forberedelse (RCES), en AI-modell som anbefaler spørsmål som ikke bare maksimerer forventede poeng, men også sikrer at læring skjer. Det unngår målet om å øke testpoeng i fravær av sannt læring ved å reflektere innvirkningen av å tilegne seg ny kunnskap fra løsningene av feilaktig besvarte spørsmål.

Kunne du diskutere Riiid Santa-appene og hva brukerne kan forvente?

Riiid tilbyr Santa, en mobil testforberedelsesapplikasjon for den populære engelskproficiency-eksamen, Test of English for International Communication (TOEIC). Applikasjonen har Riiids proprietære AI-teknologi som analyserer brukerdata og innhold, forutsier poeng og atferd og anbefaler personlige studieplaner i sanntid for å hjelpe brukerne maksimere sin læringspotensiale. Applikasjonen har blitt brukt av over to millioner studenter (2,5 millioner) i Korea og Japan og har nådd nummer én i salg blant utdanningsapper i Japan og Korea. Basert på brukerdata over ett år, økte gjennomsnittspoengen med 165 poeng av en mulig 990 poeng etter bare 20 timers studier.

Er det noe annet du ville like å dele om Riiid eller Riiid Labs?

Med bare seks år under vårt belte, har vi bare skrapet overflaten av de ubegrensede prospektene i AI-utdanning. Vi har sett hvordan vi kan endre måten mennesker tar tradisjonelle læringsmetoder for standardiserte tester. Men vi så også en mulighet for en mer meningsfull måling av en students evner. Og vi tror virkelig at vi er best utrustet til å lede denne revolusjonen.

Vår tro er at bare gjennom å forstå students daglige læringsatferd og sti, kan vi vurdere en students sanne potensiale og optimere deres læringsopplevelse deretter. Dette var ikke mulig før. Men med AI, kan vi analysere den nåværende nivået til lærerne og umiddelbart tilpasse instruksjon som passer enkeltpersoners behov. Vi kan konstant motivere dem og holde spor av deres fremgang. Vi kan la hver lærer vokse i sin egen måte, i sin egen takt, noe som det nåværende systemet ikke står for. Med denne tilnærmingen kan vi virkelig låse opp en persons læringspotensiale.

Vår visjon er bare begynt å realiseres med testforberedelsestjenester, men vi er i begynnelsen av noe stort. Summative vurdering, som vurderer lærere gjennom enkelt-tester, er ikke det beste verktøyet for vurdering og effektiv læring. Og videre, er det nå fysisk ugyldig på grunn av Covid-19, og vi så de store markedets behov for effektive og praktiske formativ vurderingsverktøy. Derfor arbeider Riiid nå med en dypt-læring-basert, domene-uavhengig ‘evne-målingsmodell’ kalt “Riiid-Score”. Vi er sikre på at vi vil transformere kernen i utdanning ved å støtte formativ læring, som refererer til prosessen med å konstant optimere lærings-undervisningsopplevelsen. Vi tror at dette er et grunnleggende skritt mot utdanning som kan låse opp enkeltpersoners potensiale.

Takk for det flotte intervjuet, lesere som ønsker å lære mer, bør besøke Riiid Labs.