Carolyn Harvey, Chief Operations Officer at LXT – Interview Series

Carolyn Harvey ma rozległe doświadczenie w prowadzeniu i rozwoju globalnych operacji w dziedzinie search relevance ranking i adnotacji danych dla ML. Carolyn jest obecnie Chief Operations Officer (COO) w LXT, gdzie kieruje działem operacji globalnych, zapewniając ciągłe dostarczanie wszystkich programów i projektów związanych z danymi AI. Koncentruje się na wysokiej jakości danych w skali, budowaniu wydajności w długoterminowych programach i skalowaniu na dużą liczbę globalnych lokalizacji.

Jako COO w LXT, Carolyn wykorzystuje swoje bogate doświadczenie, aby rozwijać organizację najlepszej klasy.

Czy możesz krótko opisać, co robi LXT i jaka jest Twoja rola jako COO?

Sztuczna inteligencja opiera się na danych, aby istnieć, a LXT jest liderem w dostarczaniu dokładnych, etycznie pozyskanych danych, które napędzają innowacje AI. Jako Chief Operations Officer, moja rola polega na nadzorowaniu, prowadzeniu i rozwijaniu naszych globalnych operacji poprzez strategie, strukturę i procesy, które pozwalają nam dostarczać najwyższej jakości dane AI naszym klientom. Zapewniam, że dostarczamy dane na czas w szerokim zakresie przypadków użycia, od generatywnej AI do search relevance i samochodów autonomicznych, wśród wielu innych.

Jak ewoluowała misja LXT od jej powstania w 2010 roku? 

Nasza misja polega na napędzaniu technologii przyszłości poprzez generowanie i ulepszanie danych we wszystkich językach, kulturach i modalnościach. Naszym celem jest pomoc firmom wszystkich rozmiarów w wykorzystaniu niesamowitych korzyści, jakie dostarcza AI, poprzez zasilanie ich modeli wysokiej jakości danymi. Wraz z ewolucją misji firmy, nasz zakres usług rozwinął się od transkrypcji języka i zbierania danych głosowych do включenia szerokiego zakresu rozwiązań, w tym zbierania i adnotacji danych dla tekstu, obrazu i wideo, usług generatywnej AI i wielu innych. Rozwinęliśmy również naszą globalną sieć obiektów certyfikowanych ISO 27001, aby spełnić rosnące potrzeby naszych klientów w zakresie bezpiecznych usług danych.

Co było kluczowymi czynnikami wzrostu LXT w sektorze danych szkoleniowych AI?

Ciągłe inwestycje w AI ze strony organizacji wszystkich rozmiarów napędzały nasz wzrost. Firmy teraz wiedzą, że AI jest niezbędna, aby pozostać konkurencyjnymi, a dane napędzają AI. Ale nie wszystkie dane są równe, a firmy, które odnoszą sukcesy w AI, wiedzą, że wysokiej jakości dane są kluczowe dla tworzenia bardziej dokładnych modeli AI.

Teraz, gdy generatywna AI jest na ustach wszystkich, ten trend otworzył jeszcze więcej możliwości wzrostu dla LXT. Ludzie są niezbędni, aby zapewnić, że te rozwiązania są dokładne, etyczne i odpowiedzialne. Dostarczamy szereg usług generatywnej AI w obszarach takich jak fine-tuning dużych modeli językowych, tworzenie prompty i wiele innych. Nasi klienci wiedzą, że aby budować zaufanie z użytkownikami końcowymi, wyjście ich produktów generatywnej AI musi być faktualne, reprezentować różnorodną publiczność i być wolne od języka toksycznego. Możemy im pomóc osiągnąć te cele dzięki naszym usługom z ludźmi w pętli.

Jak wybuch generatywnej AI wpłynął na LXT i jej klientów?.

LXT doświadczyła wzrostu zapotrzebowania na dane szkoleniowe AI z powodu generatywnej AI, zarówno dla podstawowych, zorientowanych na język danych, jak i nowszych aspektów związanych z analizą, kreatywnością i myśleniem krytycznym. Widzimy również wzrost zapotrzebowania na wiedzę branżową i specjalistyczne profile dla pracowników projektowych.

Żądania klientów coraz częściej wykraczają poza mikro-zadania wejściowe maszynowego uczenia się z przeszłości w kierunku LLM i bardziej złożonych zbiorów danych wymaganych przez aplikacje takie jak ChatGPT, Gemini i wiele innych. Jesteśmy obecnie zaangażowani w kilku innowacyjnych projektach, w których piszemy prompty ukierunkowane na wprowadzenie w błąd generatywnej AI, aby zobaczyć, jak reaguje, a następnie tworzymy poprawną odpowiedź.

W przyszłości może to ewoluować dalej w kierunku sztucznej inteligencji ogólnej (AGI), gdzie zbiory danych będą mapowane na jeszcze bardziej skomplikowane i zaawansowane działania.

Masz lata doświadczenia w pracy nad wyszukiwaniem i personalizacją, aby pomóc poprawić te algorytmy. Jakie są niektóre z sposobów, w jakie wiodące firmy poprawiają swoją relewantność wyszukiwania, aby zapewnić lepsze doświadczenie użytkownika?.

W świecie, w którym czas jest cenny, a informacje są wszędzie, poprawa relewantności wyszukiwania może wzmocnić lojalność, zwiększyć wskaźniki konwersji i uczynić użytkowników bardziej produktywnymi.

Relevantność wyszukiwania zaczyna się od oczyszczania i organizowania danych naszych klientów, usuwania wszystkiego, co mogłoby generować fałszywe pozytywy, oraz tworzenia dodatkowych pól danych, za pomocą których silniki wyszukiwania i rekomendacji mogą przeszukiwać, aby wygenerować bardziej precyzyjne wyniki. Z pomocą maszynowego uczenia się i przetwarzania języka naturalnego klienci mogą umożliwić swoim silnikom wyszukiwania bardziej intuicyjne ustalenie zamiarów użytkownika i naukę o ich preferencjach w czasie. Efektem jest szybsze doświadczenie wyszukiwania, które prowadzi do bardziej personalizowanych wyników.

Osiągnięcie tego celu wymaga dużych ilości danych szkoleniowych, ze szczególnym uwzględnieniem nauczania algorytmów, jak rozpoznać, sklasyfikować i zwrócić istotne jednostki, oraz jak obsłużyć błędy pisarskie, błędy gramatyczne i inne anomalie danych. Zalecamy również podejście z ludźmi w pętli (HITL), aby zapewnić dokładne dane, zmniejszyć stronniczość i zapewnić lepsze doświadczenie wyszukiwania dla użytkownika końcowego. Z postępami w dziedzinie maszynowego uczenia się w ciągu ostatnich 10 lat, HITL ma zintensyfikowany nacisk na procesy przeglądu jakości, co powoduje potrzebę głębszego doświadczenia ze strony dostawców danych.

Czy możesz wyjaśnić podejście LXT do adnotacji danych i jak zapewnia jakość i dokładność danych szkoleniowych AI?.

Jako zespół operacyjny, musimy najpierw zrozumieć, jak nasi klienci używają danych, które im dostarczamy, w rozwoju swoich produktów i usług, aby upewnić się, że będą one spełniać ich potrzeby. Aby to osiągnąć, musimy znaleźć ekspertów w dziedzinie zarządzania projektami i adnotacji, którzy mają doświadczenie w zakresie wymaganych danych.

Następnie jest to głównie kwestia przygotowania i znalezienia odpowiednich zasobów na początku każdego projektu. Obejmuje to wyrównanie się z klientami w kwestii czynników sukcesu podczas fazy planowania, a także głębokie procesy kwalifikacji i weryfikacji dla adnotatorów projektowych, które uwzględniają ważne szczegóły, takie jak wykształcenie, specjalne zainteresowania, demografia i doświadczenie. Rozwijamy również szczegółowe materiały edukacyjne i odniesienia jako przewodnik, dostosowany do każdego projektu. Stosujemy dojrzałe zarządzanie jakością i procesami w całym cyklu życia projektu. Podejście, które stosujemy, jest zgodne z najlepszymi praktykami branżowymi i informuje je, aby wyniki spełniały oczekiwania klientów.

I wszystkie te metody są środkiem do naszej gwarancji jakości danych.

Jak LXT radzi sobie z wyzwaniem adnotacji niestrukturyzowanych danych, które stanowią ponad 80% wszystkich danych?.

LXT zbudowała wewnętrzną platformę adnotacji, która automatyzuje wiele części procesu adnotacji i zapewnia strukturę i spójny interfejs użytkownika dla pracowników. W fazie pre-procesowania koncentrujemy się na przygotowaniu danych, formatowaniu plików wejściowych i usuwaniu duplikatów, wśród innych rzeczy, a w fazie post-procesowania zajmujemy się pakowaniem danych, składaniem i formatowaniem do dostarczenia do klienta.

Przed rozpoczęciem projektu tworzymy wytyczne, które są przeglądane z klientem i iterowane w całym cyklu życia projektu, gdy rzeczy się zmieniają. Możemy podzielić proces adnotacji danych na wiele zadań, aby odpowiednio skoncentrować się na każdym elemencie projektu. Ponadto wdrożone są metody kontroli jakości, aby wyeliminować błędy w skali.

Wreszcie nasz zespół Operational Excellence jest odpowiedzialny za zaawansowane zarządzanie procesami, aby zapewnić wysoką wydajność i skalowalność naszych projektów na całym świecie.

Jakie są największe wyzwania, z którymi LXT spotyka się przy zbieraniu danych w skali globalnej, i jak je pokonujecie?.

Różnorodność i stronniczość w uczestnikach i w wynikających zbiorach danych są często jednymi z największych wyzwań, z którymi LXT, i każdy dostawca danych szkoleniowych AI, będzie musiał się zmierzyć. Innymi wyzwaniami są niedawne zapotrzebowanie na wiedzę branżową i szybko zmieniający się krajobraz z przesunięciem w kierunku LLM i generatywnej AI.

Pokonujemy te wyzwania poprzez wysoce proaktywne podejście do źródła naszego puli kandydatów, gdzie przeglądamy doświadczenie, wykształcenie, poprzednie role, zainteresowania i demografię, aby utworzyć odpowiednią różnorodność w zespołach według płci lub innych aspektów, takich jak myślenie analityczne lub pisanie kreatywne, wykształcenie itp.

Gdy już pozyskamy odpowiednich kandydatów, przykładamy wielką wagę do regularnego zaangażowania pracowników, aby zbudować bardziej doświadczony, lojalny i zadowolony zespół w długiej perspektywie.

W kwestii oceny AI, jak LXT pracuje nad ograniczeniem stronniczości i zapewnieniem etycznych wyników w systemach AI, które pomaga szkolić?.

Jak wcześniej wspomniano, zapewnienie różnorodności jest wyzwaniem, które musi rozwiązać wiele dostawców danych szkoleniowych AI, i to pomoże znacznie w ograniczeniu stronniczości i zapewnieniu etycznych wyników.

Odnoszę się ponownie do naszych najlepszych praktyk zaangażowania, które obejmują znalezienie różnorodnych i reprezentatywnych adnotatorów oraz staranne wytyczne i środki kontroli jakości. Mamy strategię źródła wpływu, która pozwala nam przywieźć pracę do różnorodnych i nowych grup adnotatorów, takich jak w regionach języka ogonowego.

Celujemy w etyczne wyniki poprzez wykorzystanie najlepszych praktyk branżowych, wyrównanie się z oczekiwaniami naszych klientów i napędzanie wyższych standardów dla naszych menedżerów projektów i adnotatorów. Komunikacja jest niezwykle ważna, a także audyty zgodności, analiza stronniczości i zobowiązanie do przepisów dotyczących regulacji i prywatności danych.

Jaki jest długoterminowy cel LXT i jak widzisz ewolucję firmy w ciągu najbliższych pięciu lat?.

 Nasza wizja polega na dostarczaniu dokładnych, etycznie pozyskanych danych, aby pomóc napędzić wdrożenie AI i technologii przyszłości, które poprawią i udoskonalą doświadczenie ludzi na całym świecie.

Chociaż automacja i technologia są ważne w AI, istnieje również ważny komponent ludzki, który uzupełnia technologię. W miarę przejścia od prostych zadań zautomatyzowanych do dużych modeli językowych (LLM) i od generatywnej AI do ogólnej sztucznej inteligencji (GAI) będzie kluczowe, aby produkty AI wiernie odzwierciedlały ludzi, zarówno tych, którzy generują dane, jak i nasze globalne społeczności.

W LXT dążymy do tego, aby AI była wykorzystywana w pozytywny i transformacyjny sposób, który odzwierciedla te wartości.

Dziękujemy za wspaniałe wywiady, czytelnicy, którzy chcą dowiedzieć się więcej, powinni odwiedzić LXT.