Али Ансари, основатель и генеральный директор micro1 — цикл интервью

Али Ансари — основатель и генеральный директор micro1. Он занимается преобразованием человеческой экспертизы в обучающие данные и оценки для передовых систем ИИ. До запуска micro1 в 2022 году он успел создать агентство по разработке программного обеспечения и основать peerlinc. Ансари изучал информатику в UC Berkeley и Stanford, специализируясь на обучении с подкреплением, а теперь разрабатывает системы для поиска и оценки экспертов, а также координации их вклада в развитие ИИ.

micro1 — лаборатория данных, которая помогает обучать передовые модели ИИ и оценивать ИИ-агентов, используя экспертные знания людей и реалистичные рабочие среды. Ее платформа объединяет поиск специалистов, подготовку данных, контроль качества и оценку моделей в таких областях, как право, здравоохранение, финансы, инженерное дело и наука. В этом интервью Ансари рассказывает, почему растет спрос на человеческую экспертизу, как рабочие данные помогают обучению с подкреплением и какие карьерные возможности появляются в сфере обучения и оценки ИИ.

Вы основали micro1 в 2022 году, до этого создав и продав peerlinc. Какую проблему вы изначально пытались решить и как micro1 превратилась в компанию, которая занимается обучением и оценкой передовых моделей ИИ?

Изначально это была проблема, с которой я столкнулся в собственном бизнесе. У меня было агентство по разработке программного обеспечения, и с каждым новым проектом приходилось искать и собеседовать новых инженеров. На это уходила огромная часть моего времени. Чтобы упростить этот процесс, мы создали ИИ-интервьюера Zara, и со временем этот проект превратился в micro1.

Сначала мы продавали программное обеспечение для рекрутинга и создавали маркетплейс проверенных специалистов. Затем к нам обратился клиент, которому требовались сотни инженеров для обучения моделей ИИ. Мы стали разбираться, зачем ему столько людей, и поняли, что за разработкой моделей стоит огромный спрос на человеческую экспертизу.

К тому времени мы уже несколько лет развивали систему, которая позволяла находить и проверять специалистов в больших масштабах. Подготовка данных людьми оказалась очень перспективным применением этой инфраструктуры. Поэтому мы полностью сосредоточились на этом направлении: использовали нашего ИИ-рекрутера для поиска и проверки экспертов, а вокруг него создали другие платформы для работы с данными и системы контроля качества. Теперь мы помогаем лабораториям превращать эту экспертизу в модели с более широкими возможностями.

Вы утверждали, что по мере роста возможностей моделей ИИ спрос на человеческую экспертизу не снижается, а, наоборот, увеличивается. Чем объясняется эта связь?

Здесь действуют сразу несколько факторов. Во-первых, чем лучше становятся модели, тем более сложные задачи мы им поручаем. Модель, которая может ответить на вопрос, полезна. Но модель, способная выполнить целый рабочий процесс, гораздо полезнее, а для этого требуется значительно больше экспертного вклада.

Во-вторых, люди постоянно создают новые виды работы. Если юрист может использовать ИИ для выполнения значительной части повседневных задач, у него остается больше времени на более сложные проблемы или разработку новых услуг для клиентов. Эти совершенно новые функции мы тоже хотим обобщить и перенести в модели. Именно это мы имеем в виду, говоря, что «последней мили не существует». Работа постоянно меняется.

Синтетические данные делают эту задачу еще интереснее. Их можно использовать, чтобы расширять наборы задач и обратной связи, созданные экспертами, и тем самым повышать ценность исходного вклада людей. Думаю, именно поэтому спрос на человеческую экспертизу продолжает расти вместе с возможностями моделей.

micro1 работает с профильными экспертами в таких областях, как право, здравоохранение, финансы, инженерное дело и наука. Что эти специалисты могут привнести в системы ИИ такого, чему нельзя просто научиться на основе уже существующих данных в интернете?

Многие качества, которые делают человека отличным врачом, юристом или инженером, связаны с профессиональным суждением, сформировавшимся в ходе работы. Часть этого опыта задокументирована, но многое проявляется в том, как специалист разбирает необычный случай, замечает недостающую информацию или определяет, какая деталь действительно важна.

Это чрезвычайно ценно для обучения моделей. Эксперт может составить сложную задачу, объяснить, каким должен быть хороший результат, и точно указать, в чем модель не справляется. Ответ может звучать очень убедительно, но при этом упускать то, что важнее всего для человека, который выполняет эту работу.

Нам нужны эксперты, чтобы проводить такие различия. Нужны также разные точки зрения и надежная система проверки, потому что суждения одного человека не охватят все возможные случаи. Наша цель — превратить этот опыт в сигнал, на котором модель сможет учиться. Кроме того, в каждой области есть множество нюансов. Например, юридическая экспертиза неоднородна: она зависит от специализации, конкретного штата или юрисдикции, а также от правовой системы той или иной страны. Каждый уровень требует более специальных знаний и суждений. Такая же глубина характерна для всех областей и их многочисленных подотраслей, поэтому нам нужны эксперты, которые понимают, что эти различия означают на практике.

По мере того как отрасль уделяет все больше внимания постобучению, обучению с подкреплением и оценке, где, на ваш взгляд, сегодня находятся главные препятствия на пути совершенствования передовых моделей?

Думаю, одно из главных препятствий — доступ к реалистичным данным. Компании годами решали проблемы, принимали решения и справлялись с нестандартными ситуациями, и этот опыт зафиксирован в их документах, системах и рабочих процессах. Он невероятно ценен, если вы хотите научить модель выполнять реальную работу.

Именно поэтому мы создали программу Company Data Partnerships (CDP). Мы платим компаниям за лицензирование их операционных данных. К ним могут относиться внутренняя документация, история проектов, записи в CRM-системах и процессы, которым следуют сотрудники при выполнении работы. За ценные массивы корпоративных данных мы платим более 2 миллионов долларов; сумма зависит от данных и условий партнерства.

Мы используем эти материалы, чтобы создавать реалистичные среды для обучения и оценки. Представьте, что нужно решить проблему клиента: может потребоваться изучить историю его учетной записи, найти подходящие правила и определить, какие действия предпринять. Среда, построенная вокруг такого рабочего процесса, позволяет модели отрабатывать эти шаги. Эксперты определяют задачу и критерии оценки успешности ее выполнения. Благодаря этой обратной связи среда становится полезной для обучения с подкреплением.

Компании сохраняют право собственности на исходные данные. Мы согласовываем объем работ и требования к обработке данных, включая меры защиты конфиденциальности, а затем подготавливаем данные для предусмотренного использования.

Ценность заключается в опыте, отраженном в этих записях. CDP позволяет компаниям получать доход от этого опыта и одновременно помогает моделям учиться работать в гораздо более реалистичных условиях.

Как вы думаете, какие формы человеческого суждения или экспертных знаний системам ИИ будет особенно трудно воспроизвести, даже по мере значительного роста возможностей моделей?

Думаю, моделям будет особенно трудно справляться с человеческим вкусом и творчеством. Причина связана с тем, как мы создаем обучающие данные.

Во многих задачах можно собрать экспертов и добиться от них согласия относительно того, что считать хорошим результатом. Это дает полезный ориентир для обучения. Но если спросить людей, что делает изображение прекрасным, фильм — выдающимся, а дизайн — выразительным, то чем больше они обсуждают эти вопросы, тем сильнее могут расходиться их мнения. Не всегда существует единственный ответ, к которому можно прийти.

ИИ все же может стать очень полезным в этих областях. Но решение о том, что создавать, для кого это предназначено и находит ли это отклик у аудитории, во многом требует человеческого суждения. Думаю, по мере того как инструменты упрощают создание контента, такое суждение становится еще важнее.

Вы замечаете, что специалисты все чаще относятся к обучению и оценке ИИ как к полноценной профессиональной деятельности, а не подработке. Может ли это привести к появлению совершенно новой категории занятости и как могут выглядеть такие профессии?

Безусловно. Это уже новая многомиллиардная отрасль. Эксперты применяют знания, накопленные за годы работы, чтобы помогать обучать и оценивать ИИ. Для некоторых это становится значительной частью профессиональной деятельности.

Сама эта работа может быть очень глубокой. Юрист может разработать сложный сценарий и определить, как оценивать ответ модели. Инженер может создать задачу, которая проведет агента через весь цикл разработки программного обеспечения. Кроме того, одни специалисты проверяют данные, другие совершенствуют критерии оценки, а третьи руководят командами экспертов. Такая работа также позволяет людям больше сосредоточиться на том, что изначально привлекло их в выбранной области. В большинстве профессий много времени уходит на административные задачи и обязанности, не связанные с тем, что люди считают наиболее значимым в своей работе. Обучение ИИ в их предметной области позволяет сделать их экспертные знания основой их деятельности: решать сложные задачи, применять профессиональное суждение и делиться опытом. Это возможность больше времени уделять тому, что им интересно и что у них получается лучше всего, и одновременно помогать формировать подход ИИ к такой работе.

Думаю, со временем вокруг всего этого появятся полноценные карьерные траектории. Можно стать специалистом по преобразованию экспертных знаний в своей области в обучающие данные или по управлению конвейером данных и определению того, где моделям требуется помощь. Это ценные навыки, и пока мы только начинаем разбираться, как будут выглядеть все эти профессии.

Когда компании нанимают врачей, юристов, инженеров, ученых и других специалистов, чтобы улучшать модели ИИ, как вы проверяете их квалификацию и обеспечиваете точность и согласованность получаемых обучающих данных?

Мы создали для этого целую систему. Сначала Zara, наш ИИ-рекрутер, помогает находить экспертов и проверять, обладают ли они навыками, необходимыми для проекта. Затем с помощью инструмента Merit мы отслеживаем качество, скорость и надежность их работы с течением времени. Важно понимать и уровень экспертных знаний человека, и то, как они отражаются на создаваемых им данных.

Наша платформа flow объединяет работу экспертов с созданными нами моделями, которые помогают генерировать и проверять данные. Эксперты определяют задачи и критерии хорошего результата. Затем flow gen расширяет исходный набор, создавая новые примеры и варианты. flow qc проверяет данные на наличие проблем, например отсутствующих подтверждений или несоответствия между задачей и критериями ее оценки. А flow grader оценивает работу модели по этим критериям.

Важно то, что происходит, когда эксперт обнаруживает ошибку. Исправление может улучшить обучающие данные, а также помочь нам усовершенствовать сами средства генерации и проверки качества. Повторяющиеся ошибки можно превратить в тесты для следующей версии.

Мы создаём цикл развития синтетических данных. Человеческая экспертиза даёт нам отправную точку и помогает выносить суждения. Наши инструменты позволяют масштабировать этот процесс, а отзывы экспертов помогают улучшать следующий цикл. Затем мы проверяем, действительно ли эти изменения повышают эффективность моделей. Именно это и делает такой цикл ценным.

ИИ-агентам всё чаще приходится выполнять сложные многоэтапные задачи, а не просто генерировать ответы. Чем обучение и оценка таких систем отличаются от работы, необходимой для совершенствования традиционных больших языковых моделей?

Главное отличие — продолжительность задачи. Агенту может потребоваться выполнить множество действий в разных инструментах, прежде чем он получит полезный результат. Он может хорошо справиться с первыми несколькими шагами, но всё равно провалить задачу целиком, потому что ошибки накапливаются.

Поэтому нам нужны среды, в которых модель может отрабатывать весь рабочий процесс, и оценки, которые показывают, на каком этапе она даёт сбой. Нашла ли она нужную информацию? Правильно ли воспользовалась инструментом? Добилась ли в итоге желаемого результата?

Важен и контекст самой компании. Агент, работающий в конкретной организации, должен понимать её процессы и ожидания. Одних лишь общих возможностей недостаточно.

Именно поэтому специалисты в соответствующих областях так важны. Они помогают выявлять причины сбоев и создавать данные для их устранения. Мы проводим оценку, выявляем пробелы, обучаем модель с учётом этих пробелов, а затем снова оцениваем её. Этот процесс продолжается по мере того, как агенту поручают всё больше задач.

По мере того как передовые модели становятся всё более способными, как меняются требования к данным, созданным людьми, на которых их обучают? И какие виды экспертизы или оценки, по вашим ожиданиям, станут значительно ценнее в ближайшие несколько лет?

Всё большее значение приобретают два фактора: продолжительность задачи и её соответствие реальным условиям. По мере совершенствования моделей полезные обучающие данные всё чаще охватывают сложные рабочие процессы с большим количеством решений, более широким контекстом и большим числом возможностей допустить ошибку.

Поэтому профессиональный опыт в операционной деятельности приобретает особую ценность. Человек, который годами выполнял ту или иную работу, понимает исключения и взаимозависимости, которые легко упустить при разработке задачи со стороны. Он также может сказать, будет ли результат работы агента действительно применим в компании.

Думаю, со временем оценка корпоративных ИИ-систем станет огромным рынком, потенциально объёмом в триллион долларов в год. Каждой компании, внедряющей агентов, потребуется понимать, в каких случаях они справляются, где дают сбой и как их улучшать. Люди, способные превращать свои знания в полезные оценки, будут играть в этом ключевую роль. Потребность в таких оценках будет постоянной, потому что компании, модели и сама работа всё время меняются.

Некоторые специалисты фактически могут помогать обучать ИИ-системы выполнять часть их собственной работы. Как вы относитесь к этому противоречию и, по вашему мнению, какими будут отношения между человеческой экспертизой и ИИ в ближайшие три-пять лет?

Думаю, мы недооцениваем, сколько новой работы люди будут создавать, получив доступ к этим инструментам.

Возьмём подбор персонала. Если агент сможет взять на себя большую часть первичного отбора, рекрутер сможет уделять больше времени выстраиванию отношений с кандидатами или поиску способов привлечь людей, до которых компания раньше не могла добраться. Его роль изменится, и за то же время он сможет сделать больше.

Думаю, нечто подобное произойдёт во многих профессиях. В ближайшие три-пять лет агенты будут всё чаще становиться коллегами, которым люди ставят задачи, предоставляют контекст и работу которых оценивают. По мере этого люди будут брать на себя новые обязанности.

Именно поэтому я настроен оптимистично. Мы уже видим, как появляются новые виды работы, связанные с обучением и оценкой ИИ, и думаю, впереди нас ждёт ещё многое — по мере того как люди будут открывать для себя, что с его помощью можно создавать и чего добиваться.

Спасибо за прекрасное интервью. Читателям, которые хотят узнать больше об обучающих данных, подготовленных при участии экспертов, оценке ИИ и возможностях применить свои профессиональные знания, стоит посетить сайт micro1.