Olga Megorskaya, Oprichter en CEO van Toloka – Interviewreeks

Olga Megorskaya, oprichter en CEO van Toloka, leidt het bedrijf sinds 2020 en heeft het van zijn oorspronkelijke crowd-labeling roots getransformeerd tot een belangrijke speler in AI-gegevensdiensten. Voordat ze Toloka oprichtte en leidde, werkte ze meer dan een decennium bij Yandex, waar ze uiteindelijk de rol van hoofd van Crowdsourcing en Platforms bekleedde, waar ze crowdsourced data-labeling infrastructuur voor machine-learning producten zoals zoekopdrachten, spraak, speech, zelfrijdende auto’s, contentmoderatie en meer bouwde en schaalde. Onder haar leiderschap bij Toloka heeft het bedrijf zichzelf gepositioneerd als een wereldwijde datapartner voor AI – door machine-learning technologie te combineren met menselijke expertise om training, evaluatie en veiligheid voor grote AI-modellen en -agenten te ondersteunen.

Toloka is een in Nederland gevestigd bedrijf met hoofdkantoor in Amsterdam dat hoge kwaliteit, deskundig gecureerde gegevens voor AI-ontwikkeling levert, variërend van annotatie en labeling tot aangepaste datasets voor gesuperviseerde fine-tuning (SFT) en versterking van het leren van menselijke feedback (RLHF). Het bedrijf ondersteunt een breed scala aan modaliteiten – tekst, afbeelding, audio, video – en schakelt domeinexperts in naast een wereldwijde menigte om schaalbare, nauwkeurige datasets voor het trainen en evalueren van geavanceerde AI-agenten en grote taalmodellen te leveren. Hun diensten helpen bij het verbeteren van capaciteiten zoals redeneren, meertalig begrijpen, afbeelding/audio-generatie en AI-veiligheid in verschillende industrieën en toepassingen.

U hebt jarenlang human-in-the-loop systemen gebouwd bij Yandex voordat u Toloka in 2020 mede-oprichtte. Wat was het moment dat u ervan overtuigd raakte dat dit een eigen bedrijf moest worden, en hoe heeft die ervaring uw visie op Toloka’s rol in AI-ontwikkeling gevormd?

Op een bepaald moment realiseerden we ons dat Toloka uitgegroeid was tot zijn oorspronkelijke bedrijf. AI-onderzoekers van over de hele wereld gebruikten het platform, en we erkenden dat het bedrijf meer kon bereiken als een onafhankelijke entiteit. Als gevolg daarvan kon Toloka vertrouwen op de cumulatieve ervaring van honderden AI-teams die trainingsgegevens verzamelden voor het volledige spectrum van AI-oplossingen – van webzoekopdrachten en spraakassistenten tot GenAI-chatbots en AI-agenten. We hebben sindsdien onze expertise in het beheren van menselijke inspanning gecombineerd met het bouwen en trainen van AI-agenten om ons nieuwe product, Tendem, te creëren.

U hebt gezegd dat de echte disruptie in de toekomst niet zal komen van volledig autonome agenten. Wat heeft u ertoe geleid om te concluderen dat hybride agenten – die AI-automatisering combineren met menselijke oordeelsvorming – het model zullen zijn dat uiteindelijk zal winnen?

Hoewel ik geloof dat AI-only oplossingen in veel gebieden binnenkort een geweldig niveau van kwaliteit zullen bereiken om volledig aan de behoeften van klanten te voldoen, zullen er altijd use cases zijn die basismodellen nooit zullen worden geoptimaliseerd. Dit is waar de hybride benadering de overhand zal krijgen boven zowel AI-only als human-only oplossingen voor de voorzienbare toekomst. We hebben hetzelfde patroon herhaaldelijk in de afgelopen decennium gezien: AI kan taken prachtig schalen, maar het worstelt met nuances, context en de soort oordeelsvorming die ertoe doet in echte bedrijfsomgevingen. Professionals willen snelheid, maar ze hebben ook betrouwbaarheid nodig – volledig autonome agenten kunnen dat vandaag nog niet garanderen. Hybride systemen winnen omdat ze beide kanten van de vergelijking oplossen. AI behandelt waar het het beste in is: snelheid, structuur en herhaalbaarheid. Menselijke expertise vult de gaten: ambiguïteit, randgevallen en interpretatie. Wanneer u beide native combineert, krijgt u een workflow die zowel snel als betrouwbaar is. Dat is het model waar professionals uiteindelijk op zullen vertrouwen.

U hebt opgemerkt dat AI faalt bij ambiguïteit en multi-document redenering. Wat voor soort taken laten deze beperkingen het duidelijkst zien?

Lang-horizon taken – taken die het combineren van meerdere bronnen, het verzoenen van tegenstrijdige informatie of het interpreteren van context vereisen, en die uren of zelfs dagen zouden duren om te voltooien – hebben de huidige beperkingen van AI blootgelegd. Voorbeelden zijn marktonderzoek, concurrentieanalyse, het samenvatten van langere documenten, het creëren van originele inhoud uit gemengde invoer of het trekken van inzichten die afhankelijk zijn van menselijke nuances versus patroonherkenning. AI is uitstekend in het produceren van een eerste versie. Maar op het moment dat een taak prioritering, oordeelsvorming of het verzoenen van ambiguïteit vereist, daalt de betrouwbaarheid scherp. Dat is waar menselijke experts essentieel zijn.

Veel professionals gebruiken AI, maar vertrouwen er nog niet volledig op. Hoe bouwt uw benadering vertrouwen op in het delegeren van echt werk aan AI-ondersteunde systemen?

Vertrouwen neemt toe wanneer mensen niet langer AI-uitvoer hoeven te corrigeren. Onze benadering herbouwt vertrouwen door mensen vanaf het begin in de workflow te integreren, niet als een escalatiepad wanneer de AI faalt. Elke taak in Tendem stroomt door een AI-projectmanager die beslist wat geautomatiseerd moet worden en wat menselijke expertise vereist. Vervolgens waarborgen zowel geautomatiseerde controles als menselijke kwaliteitscontrole dat de einduitvoer accuraat, volledig en bedrijfsklaar is. Voor professionals betekent dit dat ze werk kunnen delegeren en daadwerkelijk een geverifieerd resultaat kunnen verwachten, niet een concept dat ze moeten repareren.

Welke mechanismen waarborgen dat menselijke experts in de loop hoogwaardige uitvoer behouden zonder de workflow te vertragen?

Twee dingen maken dit mogelijk:

• Specialisatie op grote schaal. Experts in Tendem’s netwerk zijn vooraf geselecteerd, getraind en gematcht op basis van domeinexpertise. Ze zijn geen algemene freelancers die proberen zich aan te passen – ze zijn al gekwalificeerd voor specifieke soorten taken.
• Gelaagde kwaliteitscontrole en slimme routing. AI behandelt de basisstappen zodat menselijke experts zich alleen richten op de delen die oordeelsvorming vereisen. Vervolgens is er een tweede laag van geautomatiseerde kwaliteitscontrole en menselijke verificatie waar nodig. Dit houdt mensen bezig waar ze het meeste waarde toevoegen, niet waar ze bottlenecks creëren.

Het resultaat is snelheid die de automatisering evenaart, met nauwkeurigheid die expertbeoordeling evenaart.

In branches die accuratesse en compliance eisen, hoe kunnen hybride systemen verifieerbaarheid en auditeerbaarheid bieden die bedrijven kunnen vertrouwen?

Hybride systemen bieden van nature auditeerbaarheid omdat elke stap in de workflow wordt bijgehouden, toegeschreven en gecontroleerd op kwaliteit. U weet welke delen geautomatiseerd zijn, welke door geselecteerde experts zijn uitgevoerd en welke kwaliteitscontrolestappen de uitvoer hebben geverifieerd. In hoog gereguleerde industrieën wordt dit proces essentieel. U vertrouwt niet langer op een black-box AI-beslissing; u heeft een verifieerbare keten van oordeelsvorming, correcties en goedkeuringen. Dat is wat hybride systemen geschikt maakt voor domeinen waar accuratesse en compliance geen optie kunnen zijn.

Welke categorieën van kenniswerk verwacht u het eerst te zien verschuiven naar hybride agenten, en welke zullen het langzaamst adopteren?

Over het algemeen denk ik dat de hybride benadering gemakkelijker te adopteren is dan een AI-only benadering, dus we verwachten dat bijna elk domein kan worden gedekt met dit model – het verschil zal alleen liggen in de verhouding tussen AI en menselijke betrokkenheid. De vroegste adoptanten zijn rollen waar zowel snelheid als accuratesse ertoe doen, maar waar het werk nog steeds zeer repetitief is. We zien al een sterke vraag vanuit consulting, marketing, salesoperaties, onderzoek en contentcreatie. De meest complexe (en waarschijnlijk meest interessante) gebieden om op te lossen zijn die dichter bij de fysieke wereld, zoals architectuur en bouw. Maar ik zie een duidelijke technologische weg om daar te komen.

Vanuit operationeel oogpunt, hoe profiteren organisaties van de overstap van freelancer-beheerd werk naar hybride agenten?

Hybride agenten elimineren twee van de grootste inefficiënties in freelancer-beheerd werk: beheersoverhead en inconsistentie in kwaliteit. Organisaties en professionals hoeven niet langer freelancers te werven, te selecteren, te briefen, te beheren of te corrigeren. De hybride agent beheert workflow-orchestratie automatisch, waarbij de juiste combinatie van AI en menselijke expertise voor elke stap wordt toegewezen. Dit vermindert de doorlooptijd, standaardiseert de uitvoerkwaliteit en schaalt werk zonder het aantal medewerkers te verhogen. Kortom: u krijgt de snelheid van automatisering met de betrouwbaarheid van een expertteam, maar zonder een van beide te beheren.

Wat is de verwachte impact van deze verschuiving op de bredere freelancer- en gig-economie?

We denken dat het de freelancer-economie zal herschikken, niet vervangen. In plaats van dat freelancers tijd besteden aan lage, repetitieve taken, kunnen ze zich aansluiten bij hybride systemen als specialisten in specifieke domeinen. Het werk wordt meer gestructureerd: hogere waarde, meer voorspelbaar en meer stabiel. In plaats van inconsistentie te jagen, kunnen experts bijdragen op grote schaal via platforms zoals Tendem, waar hun vaardigheden worden gematcht met de juiste taken en ondersteund door AI-systemen die saaie werkzaamheden verwijderen.

Kijkend naar de toekomst, wat ziet “delegatie aan AI” eruit als hybride agenten de standaard worden in digitale werk?

Delegatie zal minder aanvoelen als “het gebruik van een tool” en meer als het overdragen van werk aan een capabel team. U beschrijft het gewenste resultaat, en de hybride agent breekt het af, routeert subtaken, past de juiste mix van AI en menselijke expertise toe, verifieert de resultaten en levert een afgewerkt product – alles binnen enkele uren. De verschuiving zal zijn van het gebruik van AI als een hulpmiddel naar het vertrouwen op AI als een projectmanager die een hele workflow beheert. Dat is wanneer echte delegatie plaatsvindt: wanneer professionals het systeem kunnen vertrouwen om de einduitvoer te leveren, niet alleen een beginpunt.

Bedankt voor het geweldige interview, lezers die meer willen leren, kunnen Toloka bezoeken.