Olga Megorskaya, grundlægger og administrerende direktør for Toloka – Interview-serie

Olga Megorskaya, grundlægger og administrerende direktør for Toloka, har ledet virksomheden siden 2020 og har styret den fra dens oprindelige crowd-labeling-rødder til en større spiller i AI-data-tjenester. Før hun grundlagde og ledede Toloka, tilbragte hun mere end et årti hos Yandex, hvor hun kulminerede i en stilling som chef for crowdsourcing og platforme, hvor hun byggede og skalerede crowdsourced data-labeling-infrastruktur for machine-learning-produkter, herunder søgning, tale, talegenkendelse, selvstyrende køretøjer, indholdsmoderation og mere. Under hendes ledelse i Toloka har virksomheden positioneret sig som en global data-partner for AI – kombinerer machine-learning-teknologi med menneskelig ekspertise for at understøtte træning, evaluering og sikkerhed for store AI-modeller og -agenter.

Toloka er et Holland-baseret selskab med hovedkontor i Amsterdam, der tilbyder højkvalitets-, ekspertvalgt data til AI-udvikling, fra annotation og labeling til brugerdefinerede datasæt til overvåget finjustering (SFT) og forstærket læring fra menneskelig feedback (RLHF). Selskabet understøtter en bred vifte af modaliteter – tekst, billeder, lyd, video – og inddrager domæne-eksperter sammen med en global crowd for at levere skalerbare, nøjagtige datasæt til træning og evaluering af avancerede AI-agenter og store sprogmodeller. Deres tjenester hjælper med at forbedre evner såsom resonnering, flersproget forståelse, billed-/lydgenerering og AI-sikkerhed på tværs af brancher og anvendelser.

I tilbragte årevis med at bygge menneske-i-løkkesystemer hos Yandex, før du grundlagde Toloka i 2020. Hvad var det øjeblik, der overbeviste dig om, at dette skulle blive til sin egen virksomhed, og hvordan formede denne oplevelse din vision for Tolokas rolle i AI-udviklingen?

På et bestemt tidspunkt indså vi, at Toloka havde overgået sin oprindelige virksomhed. AI-forskere fra hele verden brugte platformen, og vi erkendte, at virksomheden kunne opnå mere som en uafhængig enhed. Derfor kunne Toloka støtte sig til den samlede erfaring fra hundredvis af AI-hold, der indsamlede træningsdata til hele spektret af AI-løsninger – fra web-søgning og taleassistenter til GenAI-chatbots og AI-agenter. Vi har herefter kombineret vores ekspertise i at håndtere menneskelig indsats med at bygge og træne AI-agenter for at skabe vores nye produkt, Tendem.

Du har sagt, at den virkelige disruption ikke kommer fra fuldt autonome agenter. Hvad førte dig til denne konklusion, og hvorfor mener du, at hybride agenter – der kombinerer AI-automatisering med menneskelig dømmekraft – er den model, der vil sejre i sidste ende?

Mens jeg tror, at AI-kun-løsninger i mange områder snart vil nå et fantastisk niveau af kvalitet for at tilfredse kundernes behov, vil der altid være en lang hale af anvendelsesområder, som grundlæggende modeller aldrig vil være optimeret til. Det er her, hvor den hybride tilgang vil overgå både AI-kun- og menneske-kun-løsninger i den nærmeste fremtid. Vi har set det samme mønster gentage sig gentagne gange i det sidste årti: AI kan skala opgaver smukt, men det kæmper med nuance, kontekst og den slags dømmekraft, der er vigtig i virkelige forretningsmiljøer. Fagfolk ønsker hastighed, men de har også brug for pålidelighed – fuldt autonome agenter kan simpelthen ikke garantere det i dag. Hybride systemer sejrer, fordi de løser begge sider af ligningen. AI håndterer, hvad det er bedst til: hastighed, struktur og gentagelser. Menneskelig ekspertise udfylder hullerne: tvetydighed, kanttilfælde og fortolkning. Når du kombinerer de to naturligt, får du en arbejdsgang, der både er hurtig og troværdig. Det er den model, som fagfolk i sidste ende vil stole på.

Du har bemærket, at AI bryder sammen på tvetydighed og fler-dokument-reasonering. Hvilke opgaver afslører disse begrænsninger mest tydeligt?

Lange-horisont-opgaver – dem, der kræver syntese af multiple kilder, afklaring af modstridende information eller fortolkning af kontekst, og som ville tage mennesker timer eller endda dage at fuldføre – tenderer til at afsløre de nuværende begrænsninger af AI. Eksempler omfatter markedsforskning, konkurrentanalyse, sammenfatning af lang-form-dokumenter, opstilling af originalt indhold fra blandede input eller udtrækning af indsigt, der afhænger af menneskelig nuance versus mønster-genkendelse. AI er fremragende til at producere en første udgave. Men det øjeblik, en opgave kræver prioritering, dømmekraft eller afklaring af tvetydighed, falder pålideligheden skarpt. Det er der, hvor menneskelige eksperter er essentielle.

Mange fagfolk bruger AI, men har stadig ikke fuld tillid til det. Hvordan genskaber din tilgang tillid til at delegere rigtigt arbejde til AI-understøttede systemer?

Tillid forbedres, når mennesker ikke længere behøver at rette AI-udgang. Vores tilgang genskaber tillid ved at integrere mennesker i arbejdsgangen fra starten, ikke som en eskalationsvej, når AI-fejler. Hver opgave i Tendem flyder gennem en AI-projektleder, der beslutter, hvad der skal automatiseres, og hvad der kræver menneskelig ekspertise. Efter det sikrer både automatiserede kontroller og menneskelig QA, at den endelige udgang er nøjagtig, fuldstændig og forretningsklar. For fagfolk betyder det, at de kan delegere arbejde og faktisk forvente en verificeret result, ikke en udgave, de selv må reparere.

Hvad mekanismer sikrer, at menneskelige eksperter i løkken opretholder højkvalitets-udgang uden at langsætte arbejdsgangen?

To ting gør dette muligt:

• Specialisering i stor skala. Eksperter i Tendems netværk er forudgodkendt, trænet og matchet baseret på domæne-ekspertise. De er ikke generelle freelancere, der forsøger at tilpasse sig på faldereb, men de er allerede kvalificerede til bestemte typer opgaver.
• Lagdelt QA og intelligent routing. AI håndterer brød-og-smør-skridt, så menneskelige eksperter kun fokuserer på de dele, der kræver dømmekraft. Så er der et andet lag af automatiseret QA og menneskelig verificering, hvor det er nødvendigt. Dette holder mennesker engageret, hvor de tilfører mest værdi, ikke hvor de skaber flaskehals.

Resultatet er en hastighed, der kan matche automation, med en nøjagtighed, der kan matche ekspert-gennemgang.

I brancher, der kræver nøjagtighed og overholdelse, hvordan kan hybride systemer tilbyde verificerbarhed og gennemsigtighed, som virksomheder kan stole på?

Hybride systemer tillader naturligt gennemsigtighed, fordi hver skridt i arbejdsgangen er sporet, tillagt og kvalitetskontrolleret. Du ved, hvilke dele der blev automatiseret, hvilke blev udført af godkendte eksperter, og hvilke QA-skridt validerede udgangen. I højt regulerede brancher bliver denne proces essentiel. Du er ikke længere afhængig af en sort-boks-AI-beslutning; du har en verificerbar kæde af dømmekraft, korrektioner og godkendelser. Det er, hvad gør hybride systemer egnede til domæner, hvor nøjagtighed og overholdelse ikke kan være valgfri.

Hvilke kategorier af videnarbejde forventer du vil skifte til hybride agenter først, og hvilke vil være langsommest til at antage denne model?

Samlet set tror jeg, at den hybride tilgang er meget lettere at antage end en AI-kun-tilgang, så vi forventer, at næsten ethvert domæne kan dækkes med denne model – forskellen vil blot være i forholdet mellem AI og menneskelig indsats. De tidligste antagere er roller, hvor hastighed og nøjagtighed begge betyder noget, men arbejdet stadig er meget repetitivt. Vi ser allerede stærk træk fra konsulent-, marketing-, salgsoperationer, forskning og indholdsskabelse. De mest komplekse (og sandsynligvis de mest interessante) områder at løse er dem, der er tættere på den fysiske verden, såsom arkitektur og konstruktion. Men jeg ser en tydelig teknologisk vej til at komme dertil.

Set fra et operativt synspunkt, hvordan gavn(er) organisationer, når de skifter fra freelancer-styret arbejde til hybride agenter?

Hybride agenter eliminerer to af de største ineffektiviteter i freelancer-styret arbejde: ledelses-overhoved og inkonsistent kvalitet. Organisationer og fagfolk behøver ikke længere at rekruttere, godkende, briefe, styre eller korrigere freelancere. Den hybride agent håndterer arbejdsgangs-orkestration automatisk, tildeler den rette kombination af AI og menneskelig ekspertise for hvert skridt. Dette reducerer omsvingstid, standardiserer udgangskvalitet og skalerer arbejde uden at skalere antal ansatte. Kort sagt: du får hastigheden fra automation med pålideligheden fra et ekspert-team, men uden at styre nogen af delene.

Når hybride systemer får mainstream-traction, hvilken indvirkning forventer du, denne skift vil have på den bredere freelancer- og gig-økonomi?

Vi tror, det vil omforme freelancer-økonomien, ikke erstatte den. I stedet for at freelancere bruger tid på lav-niveauer, repetitive opgaver, kan de plugge ind i hybride systemer som specialister i bestemte domæner. Arbejdet bliver mere struktureret: højere-værdi, mere forudsigeligt og mere stabilt. I stedet for at jagte inkonsistente projekter kan eksperter bidrage i stor skala gennem platforme som Tendem, hvor deres færdigheder er matchet til de rette opgaver og understøttes af AI-systemer, der fjerner busywork.

Set fremad et par år, hvordan ser “delegering til AI” ud, når hybride agenter bliver standard på tværs af digitalt arbejde?

Delegering vil føles mindre som “at bruge et værktøj” og mere som at give arbejde til et kompetent team. Du vil beskrive den ønskede udgang, og den hybride agent vil bryde det ned, routere underopgaver, anvende den rette blanding af AI og menneskelig ekspertise, verificere resultaterne og levere en færdig produkt – alt inden for få timer. Skiftet vil være fra at bruge AI som en udarbejdning-assistent til at stole på AI som en projektleder, der overvåger en hel arbejdsgang. Det er, når sand delegering sker: når fagfolk kan stole på, at systemet leverer den endelige udgang, ikke kun et startpunkt.

Tak for det store interview, læsere, der ønsker at lære mere, skal besøge Toloka.