Olga Megorskaya, grundlægger og administrerende direktør for Toloka – Interviewserie

Olga Megorskaya, grundlægger og administrerende direktør for Toloka, har ledet virksomheden siden 2020 og har styret den fra dens oprindelige crowd-labeling-rødder til en større spiller i AI-data services. Før hun grundlagde og ledede Toloka, tilbragte hun mere end et årti hos Yandex, hvor hun kulminerede i en stilling som chef for Crowdsourcing og Platforms, hvor hun opbyggede og skalaerede crowdsourced data-labeling-infrastruktur for machine-learning-produkter, herunder søgning, tale, tale, selvstyrende, indholdsmoderation og mere. Under hendes ledelse i Toloka har virksomheden positioneret sig som en global data-partner for AI – kombinerer machine-learning-teknologi med menneskelig ekspertise for at understøtte træning, evaluering og sikkerhed for store AI-modeller og -agenter.

Toloka er et Holland-baseret selskab med hovedsæde i Amsterdam, der tilbyder højkvalitets-, ekspertvalgt data til AI-udvikling, der spænder fra annotation og labeling til brugerdefinerede datasets til supervised fine-tuning (SFT) og forstærkning af læring fra menneskelig feedback (RLHF). Selskabet understøtter en bred vifte af modaliteter – tekst, billede, lyd, video – og inddrager domæneeksperter sammen med en global crowd for at levere skalerbare, nøjagtige datasets til træning og evaluering af avancerede AI-agenter og store sprogmodeller. Deres tjenester hjælper med at forbedre evner såsom resonnering, multilingual forståelse, billede/lyd-generering og AI-sikkerhed på tværs af brancher og anvendelser.

I tilbragte år med at bygge human-in-the-loop-systemer hos Yandex, før du co-grundlagde Toloka i 2020. Hvad var det øjeblik, der overbeviste dig om, at dette behøvede at blive sin egen virksomhed, og hvordan formede denne oplevelse din vision for Tolokas rolle i AI-udviklingen?

På et bestemt tidspunkt indså vi, at Toloka havde overvundet sin oprindelige virksomhed. AI-forskere fra hele verden brugte platformen, og vi erkendte, at selskabet kunne opnå mere som en uafhængig enhed. herefter kunne Toloka støtte sig til den kumulative erfaring fra hundredvis af AI-hold, der indsamlede træningsdata for det fulde spektrum af AI-løsninger – fra web-søgning og taleassistenter til GenAI-chatbots og AI-agenter. Vi har herefter kombineret vores ekspertise i at håndtere menneskelig indsats med opbygning og træning af AI-agenter for at skabe vores nye produkt, Tendem.

Du har udtalt, at den virkelige disruption fremover ikke kommer fra fuldt autonome agenter. Hvad førte dig til denne konklusion, og hvorfor mener du, at hybrid-agenter – kombinerer AI-automatisering med menneskelig dømmekraft – er modellen, der ultimativt vil sejre?

Selvom jeg tror, at AI-kun-løsninger i mange områder snart vil nå et fantastisk niveau af kvalitet for at fuldt ud tilfredsstille kundernes behov, vil der altid være en lang hale af brugs tilfælde, som grundlæggende modeller aldrig vil være optimeret til. Det er her, hvor hybrid-tilgangen vil overgå både AI-kun- og menneske-kun-løsninger for den nærmeste fremtid. Vi har set det samme mønster gentage sig gentagne gange over de sidste ti år: AI kan skala-opgaver smukt, men det kæmper med nuancer, kontekst og den slags dømmekraft, der er vigtig i virkelige forretningsindstillinger. Fagfolk ønsker hastighed, men de har også brug for pålidelighed – fuldt autonome agenter kan simpelthen ikke garantere det i dag. Hybrid-systemer vinder, fordi de løser begge sider af ligningen. AI håndterer, hvad det er bedst til: hastighed, struktur og gentagelse. Menneskelig ekspertise udfylder hullerne: tvetydighed, kanttilfælde og fortolkning. Når du kombinerer de to naturligt, får du en arbejdsgang, der er både hurtig og troværdig. Det er modellen, som fagfolk ultimativt vil stole på.

Du har bemærket, at AI går i stykker på tvetydighed og multi-dokument resonnering. Hvilke slags opgaver afslører disse begrænsninger mest tydeligt?

Lange-horizon-opgaver – dem, der kræver syntese af multiple kilder, afklaring af modsætningsfuld information eller fortolkning af kontekst, og som ville tage mennesker timer eller endda dage at fuldføre – tenderer til at afsløre de nuværende begrænsninger af AI. Eksempler omfatter markedsforskning, konkurrenceanalyse, opsummering af lange dokumenter, udarbejdelse af originalt indhold fra blandede input eller trækning af indsigt, der afhænger af menneskelig nuance versus mønstergenkendelse. AI er fremragende til at producere en første version. Men det øjeblik, en opgave kræver prioritering, dømmekraft eller afklaring af tvetydighed, falder pålideligheden skarpt. Det er her, hvor menneskelig ekspertise er afgørende.

Mange fagfolk bruger AI, men stoler stadig ikke fuldt ud på det. Hvordan genskaber din tilgang tillid til at delegere rigtigt arbejde til AI-understøttede systemer?

Tillid forbedres, når folk ikke længere behøver at rette AI-udgang. Vores tilgang genskaber tillid ved at integrere mennesker i arbejdsgangen fra starten, ikke som en eskalationsvej, når AI fejler. Hver opgave i Tendem flyder gennem en AI-projektleder, der beslutter, hvad der skal automatiseres, og hvad der kræver menneskelig ekspertise. Efter det sikrer både automatiserede kontroller og menneskelig QA, at den endelige udgang er nøjagtig, fuldstændig og forretningsklar. For fagfolk betyder det, at de kan delegere arbejde og faktisk forvente en verificeret resultat, ikke en udskrift, de skal reparere.

Hvad mekanismer sikrer, at menneskelig ekspertise i løkken opretholder højkvalitets-udgang uden at langsætte arbejdsgangen?

To ting gør dette muligt:

• Specialisering i stor målestok. Eksperter i Tendems netværk er forudgodkendt, trænet og matchet på basis af domæne-ekspertise. De er ikke almindelige freelancere, der forsøger at tilpasse sig på flyvetiden – de er allerede kvalificerede til bestemte typer opgaver.
• Lagdelt QA og smart routing. AI håndterer brød-og-smør-skridt, så menneskelig ekspertise kun fokuserer på de dele, der kræver dømmekraft. Så er der en anden lag af automatiseret QA og menneskelig verificering, hvor det er nødvendigt. Dette holder mennesker engageret, hvor de tilfører mest værdi, ikke hvor de skaber flaskehals.

Resultatet er en hastighed, der kan konkurrere med automatisering, med en nøjagtighed, der kan konkurrere med ekspert-gennemgang.

I brancher, der kræver nøjagtighed og overholdelse, hvordan kan hybrid-systemer tilbyde verificerbarhed og gennemsigtighed, som virksomheder kan stole på?

Hybrid-systemer tillader i sig selv gennemsigtighed, fordi hver skridt i arbejdsgangen er sporet, tillagt og kvalitetskontrolleret. Du ved, hvilke dele var automatiseret, hvilke blev udført af godkendte eksperter, og hvilke QA-skridt validerede udgangen. I højt regulerede brancher bliver denne proces essentiel. Du er ikke længere afhængig af en sort-boks-AI-beslutning; du har en verificerbar kæde af dømmekraft, korrektioner og godkendelser. Det er, hvad gør hybrid-systemer egnede til domæner, hvor nøjagtighed og overholdelse ikke kan være valgfrit.

Hvilke kategorier af videnarbejde forventer du vil skifte til hybrid-agenter først, og hvilke vil være langsommest til at antage denne model?

Samlet set tror jeg, at hybrid-tilgangen er meget lettere at antage end en AI-kun-tilgang, så vi forventer, at næsten ethvert domæne kan dækkes med denne model – forskellen vil blot være i forholdet mellem AI og menneskelig indsats. De tidligste adopterer er roller, hvor hastighed og nøjagtighed begge betyder noget, men arbejdet stadig er højst repetitivt. Vi ser allerede stærk træk fra konsulentbranchen, marketing, salgsoperationer, forskning og indholdsskabelse. De mest komplekse (og sandsynligvis de mest interessante) områder at løse er dem, der er tættere på den fysiske verden, såsom arkitektur og byggeindustri. Men jeg ser en klar teknologisk vej til at komme dertil.

Set fra en operativ synsvinkel, hvordan gavner organisationer, når de skifter fra freelancer-styret arbejde til hybrid-agenter?

Hybrid-agenter eliminerer to af de største ineffektiver i freelancer-styret arbejde: ledelsesoverhoved og inkonsistent kvalitet. Organisationer og fagfolk behøver ikke længere at rekruttere, godkende, briefe, lede eller korrigere freelancere. Hybrid-agenten håndterer arbejdsgangs-orkestration automatisk, ved at tildele den rette kombination af AI og menneskelig ekspertise til hvert skridt. Dette reducerer omsvøbningstid, standardiserer udgangskvalitet og skalerer arbejde uden at skale antal ansatte. Med andre ord: du får hastigheden fra automatisering med pålideligheden fra et ekspert-team, men uden at skulle lede nogen af delene.

Når hybrid-systemer får mainstream-traction, hvilken indvirkning forventer du, denne skift vil have på den bredere freelancer- og gig-økonomi?

Vi tror, det vil omforme freelancer-økonomien, ikke erstatte den. I stedet for at freelancere tilbringer tid på lavniveu-, repetitive opgaver, kan de plugge ind i hybrid-systemer som specialister i bestemte domæner. Arbejdet bliver mere struktureret: højere-værdi, mere forudsigeligt og mere stabilt. I stedet for at jagte inkonsistente projekter kan eksperter bidrage i stor målestok gennem platforme som Tendem, hvor deres færdigheder er matchet til de rette opgaver og understøttes af AI-systemer, der fjerner busywork.

Set fremad et par år, hvad ligner “delegation til AI” i, når hybrid-agenter bliver standard på tværs af digitalt arbejde?

Delegation vil føles mindre som “at bruge et værktøj” og mere som at overdrage arbejde til et kompetent team. Du vil beskrive den ønskede udgang, og hybrid-agenten vil bryde det ned, routere underopgaver, anvende den rette blanding af AI og menneskelig ekspertise, verificere resultaterne og levere en færdig produkt – alt inden for få timer. Skiftet vil være fra at bruge AI som en udarbejdning-assistent til at stole på AI som en projektleder, der overvåger en hel arbejdsgang. Det er, når sand delegation sker: når fagfolk kan stole på systemet til at levere den endelige udgang, ikke kun en startpunkt.

Tak for det gode interview, læsere, der ønsker at lære mere, skal besøge Toloka.