Радха Басу, генеральный директор и основатель iMerit – серия интервью

Радха Басу, основатель и генеральный директор iMerit построила свою карьеру в HP, проработав 20 лет с технологическим гигантом и в конечном итоге возглавив его группу корпоративных решений. Затем она вывела Support.com на биржу в качестве генерального директора. Радха основала Anudip Foundation в 2007 году вместе с Дипаком Басу, а затем основала iMerit в 2012 году. Она считается ведущим технологическим предпринимателем и наставником, а также пионером в сфере программного обеспечения.

iMerit предоставляет мультимодальные решения для обработки данных на основе ИИ, объединяя автоматизацию, экспертную аннотацию и расширенную аналитику для поддержки высококачественной маркировки данных и тонкой настройки моделей в нужном масштабе.

Вы прошли замечательный путь — от создания операций HP в Индии до основания iMerit с миссией поддержки маргинализированной молодежи в Бутане, Индии и Новом Орлеане. Что вдохновило вас на создание iMerit и с какими трудностями вы столкнулись при создании инклюзивной глобальной рабочей силы с нуля?

До основания iMerit я был председателем и генеральным директором SupportSoft, где я руководил компанией через ее первичное и вторичное публичное размещение акций, сделав ее мировым лидером в области программного обеспечения для автоматизации поддержки. Этот опыт показал мне силу объединения людей и технологий с первого дня.

В то время как технологический бум в Индии создал новые возможности, я заметил, что многие талантливые молодые люди из неблагополучных районов остались позади. Я верил в их потенциал и стремление учиться. Как только они увидели, как программное обеспечение может управлять передовыми технологиями, такими как ИИ, они с энтузиазмом приняли эти карьеры.

Мы запустили iMerit с небольшой, разнообразной командой, половина из которой женщины, и с тех пор быстро росли. Адаптивность и обучаемость нашей команды были ключевыми, особенно с учетом того, что ориентированный на данные ИИ увеличил долгосрочный спрос на квалифицированных специалистов.

Сегодня iMerit является глобальным поставщиком решений на основе данных ИИ для критически важных секторов, таких как автономные транспортные средства, медицинский ИИ и технологии. Наша работа гарантирует, что модели ИИ клиентов будут построены на высококачественных, надежных данных, что имеет важное значение в средах с высокими ставками.

В конечном счете, наша сила заключается в прочной технологической основе и команде хорошо обученных, мотивированных сотрудников, которые преуспевают в поддерживающей, обучающейся культуре. Этот подход подпитывал наш рост, поддерживал нас в положительном денежном выражении и принес нам высокие показатели NPS и лояльных клиентов.

iMerit теперь работает с более чем 200 клиентами, включая таких технологических гигантов, как eBay и Johnson & Johnson. Можете ли вы провести нас через путь роста компании — от тех первых дней до превращения в мирового лидера в сфере услуг по обработке данных ИИ?

Мы были в первых рядах в путешествиях наших клиентов в области ИИ, сотрудничая с ранних экспериментов до крупномасштабного производства. Наша работа охватывает стартапы, мировых лидеров в области автономных транспортных средств и крупные предприятия. Обучая их модели с нуля, мы получили беспрецедентное понимание того, что действительно требуется для масштабирования ИИ в реальном мире.

Эта область постоянно и быстро развивалась. Я редко видел, чтобы технологии развивались так резко за столь короткое время. Мы превратились из поставщика аннотаций данных в полнофункциональную компанию по обработке данных на основе искусственного интеллекта, предоставляющую специализированные решения для всего жизненного цикла «человек в контуре» (HITL): аннотация, проверка, аудит и ред-тиминг. Обработка пограничных случаев и исключений имеет жизненно важное значение для реального развертывания, требуя глубоких знаний и тонкого суждения на каждом этапе.

Наша самая большая вертикаль — это автономная мобильность, где мы управляем полным стеком восприятия, включая слияние датчиков по 15 датчикам для пассажирских, доставочных, грузовых и сельскохозяйственных транспортных средств. В здравоохранении мы управляем клиническим ИИ-визуализацией. В сфере высоких технологий мы находимся на переднем крае настройки и проверки GenAI, требуя большей сложности в наших рабочих процессах и талантах.

Успех в этих областях заключается не только в наличии экспертов, но и в развитии экспертных знаний: когнитивной способности бросать вызов, обучать и контекстуализировать модели ИИ. Это то, что отличает наши команды.

Наш рост подпитывается долгосрочным партнерством, и большинство из десяти наших лучших клиентов с нами уже более пяти лет. По мере того, как их потребности становятся все более сложными, мы постоянно повышаем уровень наших знаний в области, инструментов, обучения и решений. И наш технологический стек, и наши люди должны постоянно развиваться.

Слияние программного обеспечения, автоматизации, аннотации и аналитики создает рубрику для очень гибких, быстрых, высокоточных вмешательств с участием человека. 70% новых логотипов находятся в нашем собственном технологическом стеке, что требует огромной внутренней трансформации. Опять же, наша культура гарантирует, что команды жаждут учиться и хотят постоянно расти.

Какие моменты в истории iMerit были наиболее важными — будь то технологические вехи или стратегические решения, — которые помогли сформировать траекторию развития компании?

В то время, когда работа с данными ИИ рассматривалась как краудфандинговая работа, мы заранее сделали ставку на то, что это вырастет в карьеру и потребует сложности и корпоративной направленности. Создав внутренние команды, посвященные продвинутым вариантам использования, мы позволили нашим клиентам быстро масштабироваться, что привело к нашей первой сделке MRR на 1 млн долларов в области автономных транспортных средств, что стало важной вехой, которая подтвердила наш подход.

Изоляция из-за COVID-19 проверила нашу гибкость: мы перешли от полностью офисной работы к полностью удаленной практически за одну ночь, вложив значительные средства в инфраструктуру, безопасность и культуру. В течение нескольких недель клиентские операции восстановились, и в том году мы увеличили как доход, так и численность персонала. Сегодня, когда 70% нашей команды вернулись на место, мы продолжаем использовать удаленные таланты, запустив Scholars, нашу глобальную сеть предметных экспертов для настройки и проверки GenAI. Будь то кардиолог или испанский математик, наша культура высокого уровня контакта привлекает и мотивирует лучших талантов, напрямую повышая качество и согласованность наших решений.

В 2023 году мы приобрели Ango.ai, платформу маркировки данных и автоматизации рабочих процессов на базе ИИ, чтобы запустить следующее поколение инструментов для работы с данными ИИ. Этот поворотный шаг объединил экспертные знания iMerit в области с передовыми инструментами Ango, расширив наши возможности в области радиологии, слияния датчиков и тонкой настройки GenAI. Мы по-прежнему работаем с инструментами клиентов, но многие новые клиенты теперь подключаются напрямую к Ango Hub, привлеченные его удобными рабочими процессами и надежной безопасностью, которые являются важнейшими требованиями в нашей отрасли.

Предприятия постоянно говорят нам, что ищут лучшее из обоих миров: экспертное человеческое понимание для обеспечения качества в сочетании с безопасной масштабируемой платформой, которая обеспечивает автоматизацию и аналитику. Объединение усилий с Ango обеспечивает именно это, уникально позиционируя нас для удовлетворения сложных требований самых амбициозных проектов ИИ сегодняшнего дня и масштабирования с уверенностью.

iMerit глубоко вовлечен в такие передовые области, как автономные транспортные средства, медицинский ИИ и GenAI. С какими уникальными проблемами данных вы сталкиваетесь в этих секторах и как вы их решаете?

Задачи, связанные с данными, обычно составляют почти 80% времени, затрачиваемого на проекты ИИ, что делает их критически важным компонентом конвейера. Часть ИИ, ориентированная на данные, может быть трудоемкой и дорогостоящей, если не обрабатывать ее надлежащим образом и не масштабировать.

Качество данных, и особенно предотвращение грубых ошибок, имеет решающее значение в критически важных секторах, в которых мы работаем. Будь то алгоритм восприятия или детектор опухолей, чистые данные имеют решающее значение в цикле обучения и проверки.

Обработка исключений непропорционально ценна. Человеческое понимание того, почему что-то выходит за рамки нормы или почему сценарий сломал модель, создает огромную ценность для того, чтобы сделать модель более полной и надежной.

Кроме того, контекстные окна становятся больше. Мы обобщаем клинические заметки всей консультации врача и пациента и анализируем аномалии в МРТ не только на основе изображения, но и на основе медицинского контекста пациента. Эксперты в предметной области должны устанавливать рубрики для точного анализа данных и обеспечения качества.

Безопасность, приватность и конфиденциальность — это горячие темы. Наш главный сотрудник по безопасности должен защищать данные от несанкционированного доступа, удаления и хранения. Протоколы Infosec, такие как SOC2, HIPAA и TISAX, стали для нас основными областями инвестиций.

Наконец, наши инженеры и архитекторы решений постоянно работают над индивидуальными интеграциями и отчетами, чтобы уникальные потребности клиентов были отражены на последней миле. Универсальный подход не работает в ИИ.

Вы говорили об объединении робототехники и человеческого интеллекта как о более безопасном пути для ИИ. Можете ли вы подробнее рассказать, как этот рабочий процесс выглядит на практике, и почему вы считаете, что это лучше, чем пытаться устранить творческое расхождение ИИ?

ИИ обеспечивает масштаб, то есть компании разрабатывают инструменты для автоматизации длительных процессов, традиционно выполняемых людьми. Но люди обеспечивают последнюю милю гибкости, определенности и устойчивости. Поскольку услуги, предоставляемые программным обеспечением, продолжают распространяться в ИИ, наиболее успешные компании будут эффективно сочетать робототехнику с практиками Human-in-the-Loop (HITL).

Мы рассматриваем HITL как последовательный слой на каждом этапе жизненного цикла разработки и развертывания ИИ, а также как опору доверия и безопасности. Следовательно, человеческий интеллект будет иметь важное значение для корректировки курса в случае сбоя моделей. Этим критически важным приложениям понадобится человеческий разум для определения того, какие изменения необходимо внести. Именно здесь услуги HITL станут еще более значимыми по мере того, как мы интегрируем ИИ в производственные и полевые операции.

Ваша платформа Ango Hub сочетает автоматизацию с экспертизой человека в контуре. Как эта гибридная модель улучшает качество данных и производительность модели в производственных системах ИИ?

ИИ и автоматизация обеспечивают масштаб и скорость, в то время как люди обеспечивают нюансы, понимание и надзор. HITL обеспечивает участие человека в критических моментах жизненного цикла ИИ — обеспечивая высококачественные входные данные, проверяя выходные данные, выявляя пограничные случаи, настраивая модели для доменов и предоставляя контекстное суждение. Люди помогают обеспечивать точность, просматривая и проверяя выходные данные, отлавливая галлюцинации или логические ошибки до того, как они причинят вред. Они также обеспечивают надзор в этически чувствительных или высокорисковых контекстах, где LLM не должны принимать окончательных решений. Что еще более важно, обратная связь от человека подпитывает непрерывное обучение, помогая системам ИИ со временем более точно соответствовать целям пользователя.

HITL принимает множество форм. Эксперты-люди занимаются целевым аннотированием, применяют сложные рассуждения к пограничным случаям и проверяют контент, сгенерированный ИИ, с помощью структурированных интерфейсов QA. Вместо оценки каждого решения часто внедряются системы контекстной эскалации. Эти системы направляют только малодостоверные результаты или отмеченные аномалии рецензентам-людям, балансируя надзор с эффективностью.

Другим важным применением HITL является тонкая настройка агентов ИИ с помощью Reinforcement Learning from Human Feedback (RLHF). Рецензенты-люди ранжируют, переписывают или предоставляют обратную связь по ответам агентов, что особенно важно в таких чувствительных областях, как здравоохранение, юридические услуги или поддержка клиентов. В тандеме тестирование на основе сценариев и red teaming позволяют оценщикам-людям тестировать агентов в состязательных или необычных условиях для выявления и исправления уязвимостей перед развертыванием.

Полный потенциал ИИ реализуется только тогда, когда люди остаются в цикле, направляя, проверяя и улучшая каждый шаг. Будь то очистка выходов агента, обучение циклов оценки или курирование надежных конвейеров данных, человеческий надзор добавляет структуру и подотчетность, необходимые ИИ для доверия и эффективности.

Благодаря стремительному развитию инструментов генеративного ИИ, как iMerit удается оставаться лидером в предоставлении услуг оценки, RLHF и тонкой настройки?

Недавно мы запустили Ango Hub Deep Reasoning Lab (DRL), единую платформу для настройки генеративного ИИ и интерактивной разработки цепочки рассуждений с учителями ИИ. Наш DRL обеспечивает пошаговые процессы в реальном времени и оценку на основе человеческих предпочтений, что приводит к более последовательным и точным ответам моделей на сложные проблемы.

Достижения в области моделей GenAI и разработки приложений подчеркивают ценность чистых, созданных экспертами и проверенных данных. С помощью Ango Hub DRL эксперты могут тестировать модели, выявлять слабые места и генерировать чистые данные, используя цепочку рассуждений. Они взаимодействуют с моделями в режиме реального времени и отправляют подсказки и исправления обратно шаг за шагом в едином интерфейсе.

Используя iMerit Scholars, Ango Hub DRL совершенствует процессы рассуждения модели. Он использует обширный опыт iMerit с рабочими процессами HITL. Эксперты разрабатывают многошаговые сценарии для сложных задач, таких как создание подсказок цепочки мыслей для сложных математических задач. iMerit Scholars просматривают выходные данные, исправляют ошибки и беспрепятственно фиксируют взаимодействия. Волшебство заключается не в том, чтобы без разбора брать на борт большие числа. Лучшие математики не обязательно являются лучшими учителями. Также не следует относиться к кардиологу как к подсобному рабочему. Подбор и обучение предметных экспертов думать способами, которые приносят наибольшую пользу процессу обучения модели, а также вовлеченность имеют значение.

Что означает «эксперт в контуре» в контексте тонкой настройки генеративного ИИ? Можете ли вы поделиться примерами, когда эта человеческая экспертиза значительно улучшила результаты модели?

Expert-in-the-Loop объединяет человеческий интеллект с роботизированным интеллектом для внедрения ИИ в производство. Он включает в себя экспертов-людей, которые проверяют, совершенствуют и улучшают результаты автоматизированных систем.

В частности, аннотация данных под руководством экспертов гарантирует, что данные обучения точно помечены знаниями, специфичными для предметной области, тем самым повышая точность и надежность предиктивных моделей ИИ. Уменьшая предвзятость и ошибочную классификацию, аннотация данных под руководством экспертов повышает способность модели эффективно обобщать реальные сценарии. Это приводит к тому, что системы ИИ становятся более надежными, интерпретируемыми и соответствуют потребностям конкретной отрасли.

Например, после приобретения большого массива медицинских данных американская многонациональная технологическая компания должна была оценить данные для использования в своем медицинском чат-боте, ориентированном на потребителя, чтобы обеспечить безопасные и точные медицинские консультации для пользователей. Обратившись к iMerit, они задействовали нашу обширную сеть экспертов в области здравоохранения в США и собрали команду медсестер для работы в согласованном рабочем процессе с эскалациями и арбитражем, предоставленными сертифицированным врачом США. Медсестры начали с оценки базы знаний с определениями для оценки точности и риска.

Благодаря обсуждению пограничных случаев и пересмотру руководств медсестры смогли достичь консенсуса в 99% случаев. Это позволило команде пересмотреть дизайн проекта до структуры с одним голосом и 10% аудитом, тем самым сократив затраты на проект более чем на 72%. Работа с iMerit позволила этой компании постоянно находить способы масштабирования аннотации медицинских данных этично и эффективно.

Как вам удается поддерживать качество, производительность и развитие сотрудников в нужном масштабе, имея более 8,000 штатных экспертов по всему миру?

Определение качества всегда подбирается под конкретный вариант использования каждого клиента. Наши команды тесно сотрудничают с клиентами для определения и калибровки стандартов качества, используя индивидуальные процессы, которые гарантируют, что каждая аннотация быстро проверяется экспертами в предметной области. Последовательность важна для разработки высококачественного ИИ. Это поддерживается высоким уровнем удержания сотрудников (90%) и сильным акцентом на аналитике производства, ключевой отличительной чертой в дизайне Ango Hub, сформированной ежедневным пользовательским вкладом нашей команды.

Мы постоянно инвестируем в автоматизацию, оптимизацию и управление знаниями, подкрепленные нашей фирменной платформой обучения iMerit One. Эта приверженность обучению и развитию не только способствует операционному совершенству, но и поддерживает долгосрочный карьерный рост наших сотрудников, способствуя культуре экспертных знаний и роста.

Какой совет вы бы дали начинающим предпринимателям в сфере ИИ, которые хотят создать что-то значимое — как в технологическом плане, так и в плане социального воздействия?

ИИ развивается головокружительно быстро. Выйдите за рамки технологического стека и прислушайтесь к своим клиентам, чтобы понять, что важно для их бизнеса. Поймите их аппетит к скорости, изменениям и риску. Первые клиенты могут попробовать что-то новое. Более крупные клиенты должны знать, что вы здесь, чтобы остаться, и что вы продолжите уделять им приоритетное внимание. Успокойте их своим проактивным подходом к прозрачности, безопасности и подотчетности.

Кроме того, тщательно выбирайте инвесторов и членов совета директоров, чтобы обеспечить соответствие общим ценностям и проблемам. В iMerit мы получили значительную поддержку от нашего совета директоров и инвесторов в сложные времена, такие как COVID-19, что мы приписываем этой согласованности.

Ключевые качества, способствующие успеху предпринимателя в технологической отрасли, выходят за рамки принятия рисков; они включают в себя создание прибыльной, инклюзивной компании.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить iMerit.