iMerit käynnistää Scholars-alustan skaalatakseen asiantuntijavetoista tekoälyn koulutusta ja arviointia

Malli voi tuottaa vakuuttavan lääketieteellisen selityksen tai sujuvan vastauksen matematiikan tehtävään ja silti tehdä virheen, jonka vain asiantuntija huomaa. Asiantuntija-arvioinnin tarve on taustalla, kun iMerit lanseeraa iMerit Scholars -alustan, joka on suunniteltu kokoamaan yhteen edistyneitä tekoälymalleja kouluttavat, arvioivat ja haastavat ihmiset.

EXL:n omistama yritys ilmoitti alustan lanseerauksesta 26. lokakuuta. Alusta kokoaa yhteen rekrytoinnin, perehdytyksen, asiantuntijoiden ja tehtävien yhteensovittamisen, projektien jakamisen, yhteydenpidon ja maksut. Ilmoituksen mukaan yrityksen nykyiseen Scholars-ohjelmaan kuuluu yli 30 000 kutsuttua ja taustaltaan tarkistettua ammattilaista 118 maasta, ja he puhuvat 106 kieltä.

Alusta on suunniteltu satojentuhansien asiantuntijoiden hallintaan kysynnän kasvaessa. Tämä kuvaa suunniteltua toimintakapasiteettia, ei yhteisön nykyistä ilmoitettua kokoa. Alustan välitön tavoite on helpottaa erikoistuneen ihmistyöpanoksen koordinointia koko mallien kehitys- ja käyttöönottosyklin ajan.

Mallien kehittämistä tukevan työvoiman rakentaminen

Scholars-yhteisön asiantuntijat toimivat lääketieteen, matematiikan, maatalouden, kielitieteen, autonomisten järjestelmien ja muiden erikoisalojen parissa. He osallistuvat ohjattuun hienosäätöön, mallien arviointiin, red teaming -testaukseen ja ihmispalautteeseen perustuvaan vahvistusoppimiseen, josta käytetään yleisesti lyhennettä RLHF.

Nämä tehtävät edellyttävät erilaista asiantuntija-arviointia. Hienosäätö voi vaatia huolellisesti laadittua esimerkkiä siitä, millaisen vastauksen mallin tulisi tuottaa. Arvioinnissa selvitetään, täyttääkö tuloste määritellyt kriteerit. Red teaming -testauksessa järjestelmää koetellaan tarkoituksella virheiden löytämiseksi, kun taas ihmisiltä saatava palaute voi sisältää mieltymyksiä ja korjauksia, joita hyödynnetään myöhemmässä koulutuksessa.

Siksi oikean henkilön valinta kuhunkin tehtävään on yhtä tärkeää kuin asiantuntijajoukon laajentaminen. Kapeaan erikoisalaan perehtynyt lääkäri saattaa havaita merkittävän virheen, joka jää laaja-alaisesti tietävältä arvioijalta huomaamatta. Kielitieteilijä voi puolestaan tunnistaa monitulkintaisuuden, joka katoaa sanatarkassa käännöksessä.

Uusi alusta yhdistää projektit asiantuntijoiden erikoisosaamiseen ja kognitiivisiin taitoihin sekä tarjoaa hallinnollisen infrastruktuurin, jonka avulla asiantuntijat pysyvät mukana työssä. iMeritin mukaan tavoitteena on rakentaa jatkuva yhteistyösuhde asiantuntijoihin, jotka oppivat työn ja osallistuvat palautekierroksiin.

”Tarvitsemme ihmisiä, joilla on riittävästi osaamista paitsi mallien opettamiseen myös niiden osoittamiseen vääriksi ja niiden korjaamiseen”, sanoi Radha Basu, iMeritin varatoimitusjohtaja ja johtaja EXL:llä.

Ango Hub yhdistää asiantuntija-arviot koulutusdataan

Scholars-alustan taustalla oleva operatiivinen teknologia on Ango Hub, iMeritin datan annotointi- ja mallien arviointialusta. Sen tehtävänä on muuntaa asiantuntijoiden työ jäsennellyiksi ja tarkasteltaviksi tuotoksiksi, joita voidaan käyttää koulutus- tai arviointiputkessa.

Ango Hubin nykyisessä tuotedokumentaatiossa kuvataan muokattavia työnkulkuja, useiden annotointien tekemistä samaan aineistoon, vertailutehtäviä sekä arvioijan työkaluja merkintöjen hyväksymiseen, hylkäämiseen tai korjaamiseen. Projektiohjeet ja ongelmanseurantajärjestelmä auttavat arvioijia ratkaisemaan kysymyksiä, ja roolipohjaiset käyttöoikeudet määrittävät, ketkä voivat käsitellä tiettyjä aineistoja.

Alusta tukee useita aineistomuotoja, kuten kuvia, videoita, ääntä, tekstiä, PDF-tiedostoja ja lääketieteellistä DICOM-dataa. Tämä on tärkeää, koska mallien kehityksessä yhdistetään yhä useammin kieltä visuaaliseen, kliiniseen tai fyysistä maailmaa koskevaan tietoon. Käyttöliittymän ja arviointiprosessin on sovittava aineistoon, jota asiantuntija tarkastelee.

Alustojen välinen ero on hyödyllistä hahmottaa: Scholars koordinoi asiantuntijatyövoimaa ja sen yhteyttä projekteihin, kun taas Ango Hub tarjoaa työkalut ja työnkulut, joiden avulla asiantuntijoiden panos muuttuu hyödynnettäväksi tekoälydataksi.

Vastausten korjaamisesta kokonaisten agenttityönkulkujen arviointiin

iMeritin Deep Reasoning Lab tarjoaa prosessista yksityiskohtaisemman näkymän. Yrityksen mukaan asiantuntijat suunnittelevat monivaiheisia skenaarioita, arvioivat mallien tulosteita, luokittelevat virheitä ja tekevät korjauksia selityksineen. Nämä jäsennellyt esimerkit voivat auttaa kehittäjiä tunnistamaan, missä kohtaa vastaus menee pieleen, ja laatimaan kohdennettua koulutusmateriaalia.

Tällaiset päättelyjäljet ovat tiettyä tehtävää varten koottuja ja arvioituja aineistoja. Niiden ei pidä olettaa paljastavan kaikkia mallin vastauksen tuottaneita sisäisiä laskentavaiheita. Niiden käytännön arvo on siinä, että arviointipolku ja siihen liittyvät korjaukset tehdään riittävän selkeiksi tarkastelua ja uudelleenkäyttöä varten.

Yrityksen agenttien arviointipalvelu laajentaa arvioinnin lopullisen vastauksen lisäksi suunnitteluvaiheisiin, työkalukutsuihin, välitiloihin ja lopputuloksiin. Palvelun kuvauksen mukaan käytössä ovat jäsennellyt arviointikriteerit ja asiantuntijoiden ratkaisut esimerkiksi tehtävän suorittamisesta, työkalujen valinnasta, tietopohjaisuudesta ja toimintaperiaatteiden rajoista.

Tämä on tärkeää, kun tekoäly pystyy toimimaan. Agentti voi tuottaa viimeistellyn yhteenvedon mutta käyttää väärää työkalua tai jättää varsinaisen tehtävän kesken. Toimintosarjan tarkastelu antaa asiantuntijoille keinon tunnistaa tällaiset virheet ja välittää kehittäjille jäsenneltyä palautetta.

Maksuista ja projektien jatkuvuudesta tulee osa infrastruktuuria

Julkaisun yhteydessä mukaan integroitiin myös Trolley maailmanlaajuisia maksusuorituksia varten. iMeritin mukaan integraatio tukee turvallisia maksuja ja vaatimustenmukaisuuteen liittyviä työnkulkuja sen kansainväliselle asiantuntijayhteisölle.

Maksutoiminnot saattavat vaikuttaa kaukaisilta mallien suorituskyvystä, mutta ne vaikuttavat siihen, pystyykö asiantuntija osallistumaan työhön johdonmukaisesti. Rekrytointi, perehdytys, tehtäviin pääsy ja palkkioista huolehtiminen ovat kaikki toiminnan edellytyksiä, kun projektissa hyödynnetään asiantuntijoita monista maista.

Alusta tuo nämä toiminnot yhteen asiantuntijoiden yhdistämisen ja sitouttamisen kanssa sen sijaan, että jokainen projektiryhmä joutuisi järjestämään ne erikseen. Asiakkaille tavoitteena on tarjota johdonmukaisempi työvoima ja arviointiprosessi; asiantuntijoille puolestaan selkeämpi polku projektiin liittymisestä työn tekemiseen ja maksun saamiseen.

”Et vain merkitse dataa, vaan autat muovaamaan sitä, miten nämä järjestelmät päättelevät ja käyttäytyvät omalla alallasi”, sanoi ilmoituksessa patologian erikoislääkäri ja iMerit Scholar terveydenhuollon tekoälyn alalla Pavel Kopach, M.D., Beth Israel Deaconess Medical Centeristä.

EXL tuo kokonaisuuteen yrityskäyttöönoton näkökulman

Julkaisu seurasi sitä, kun EXL sai iMerit-yrityskaupan päätökseen, josta ilmoitettiin 3. elokuuta. EXL kuvaili yhdistelmän perustuvan mallien koulutus- ja arviointiosaamisen yhdistämiseen yritystason dataan, toimintaympäristön tuntemukseen ja tekoälyn käyttöönoton valmiuksiin.

Tämä avaa Scholarsille laajemman tien markkinoille. Basun mukaan iMerit laajentaa toimintaansa edistyneiden mallien kehittämisestä pankki-, terveydenhuolto- ja vakuutusalan työnkulkuihin, joissa toimialakohtainen mukauttaminen sekä luottamus ja turvallisuus vaikuttavat siihen, pystyykö tekoäly toimimaan onnistuneesti tuotantokäytössä.

Uusi alusta ei itsessään osoita, että malli olisi luotettava kaikissa erikoistuneissa käyttöympäristöissä. Se vastaa konkreettisempaan ennakkoedellytykseen: se kokoaa ihmiset, työkalut ja palautteen, joita tarvitaan järjestelmän testaamiseen kyseisen ympäristön vaatimuksia vasten. Kun tekoäly nivoutuu yhä syvemmin ammatillisiin työnkulkuihin, oikean asiantuntijan löytäminen, hyödyllisen korjauksen saaminen ja tämän tiedon palauttaminen kehitystyöhön muodostuvat yhä tärkeämmäksi osaksi teknologiapinoa.