Лаборатория агентов: виртуальная исследовательская команда от AMD и Johns Hopkins

Пока все обсуждали агентов ИИ и автоматизацию, AMD и Университет Джонса Хопкинса работали над улучшением сотрудничества между людьми и ИИ в исследованиях. Их новый открытый каркас, Лаборатория агентов, представляет собой полное переосмысление того, как научные исследования могут быть ускорены благодаря сотрудничеству между людьми и ИИ.

После изучения многочисленных каркасов исследований ИИ Лаборатория агентов выделяется своей практической подходом. Вместо того, чтобы пытаться заменить человеческих исследователей (как многие существующие решения), она фокусируется на повышении их возможностей, обрабатывая время-consuming аспекты исследований, сохраняя людей в роли руководителей.

Основная инновация здесь проста, но мощна: Вместо того, чтобы преследовать полностью автономные исследования (которые часто приводят к сомнительным результатам), Лаборатория агентов создает виртуальную лабораторию, где несколько специализированных агентов ИИ работают вместе, каждый обрабатывая разные аспекты процесса исследования, сохраняя привязку к человеческому руководству.

Разбор виртуальной лаборатории

Представьте себе Лабораторию агентов как хорошо скоординированную исследовательскую команду, но с агентами ИИ, играющими специализированные роли. Как и в реальной исследовательской лаборатории, каждый агент имеет конкретные обязанности и экспертизу:

• Агент PhD занимается обзором литературы и планированием исследований
• Агенты постдоков помогают усовершенствовать экспериментальные подходы
• Агенты инженеров ИИ занимаются технической реализацией
• Агенты профессоров оценивают и оценивают результаты исследований

Что делает эту систему особенно интересной, так это ее рабочий процесс. В отличие от традиционных инструментов ИИ, которые работают в изоляции, Лаборатория агентов создает совместную среду, где эти агенты взаимодействуют и строят на основе работы друг друга.

Процесс следует естественному прогрессу исследований:

1. Обзор литературы: Агент PhD изучает академические статьи с помощью arXiv API, собирая и организуя соответствующие исследования
2. Формулирование плана: Агенты PhD и постдоков работают вместе, чтобы создать подробные планы исследований
3. Реализация: Агенты инженеров ИИ пишут и тестируют код
4. Анализ и документация: Команда работает вместе, чтобы интерпретировать результаты и генерировать всесторонние отчеты

Но вот где это становится действительно практичным: Каркас является гибким в отношении вычислительных ресурсов, что означает, что исследователи могут распределять ресурсы на основе доступа к вычислительной мощности и ограничений бюджета. Это делает его инструментом, предназначенным для реальных исследовательских сред.

Schmidgall et al.

Человеческий фактор: где ИИ встречается с экспертизой

Хотя Лаборатория агентов имеет впечатляющие возможности автоматизации, настоящая магия происходит в том, что они называют “сопилотным режимом”. В этом режиме исследователи могут предоставлять обратную связь на каждом этапе процесса, создавая настоящее сотрудничество между человеческой экспертизой и помощью ИИ.

Данные обратной связи в сопилотном режиме показывают некоторые убедительные выводы. В автономном режиме статьи, сгенерированные Лабораторией агентов, получили среднюю оценку 3,8/10 в человеческой оценке. Но когда исследователи участвовали в сопилотном режиме, эти оценки выросли до 4,38/10. Что особенно интересно, так это то, где эти улучшения проявились – статьи получили значительно более высокие оценки за ясность (+0,23) и представление (+0,33).

Но вот реальность: даже с участием человека эти статьи все еще получили оценку примерно на 1,45 балла ниже средней принятой NeurIPS статьи (которая составляет 5,85). Это не является провалом, но это важный урок о том, как ИИ и человеческая экспертиза должны дополнять друг друга.

Оценка показала еще одну интересную вещь: рецензенты ИИ последовательно оценивали статьи примерно на 2,3 балла выше, чем человеческие рецензенты. Этот разрыв подчеркивает, почему человеческий надзор остается важным в оценке исследований.

Schmidgall et al.

Разбор цифр

Что действительно важно в исследовательской среде? Стоимость и производительность. Подход Лаборатории агентов к сравнению моделей показывает некоторые удивительные выигрыши в эффективности в этом отношении.

GPT-4o стал чемпионом по скорости, завершив весь рабочий процесс за 1 165,4 секунды – это 3,2 раза быстрее, чем o1-mini, и 5,3 раза быстрее, чем o1-preview. Но что еще более важно, это стоит только 2,33 доллара за статью. По сравнению с предыдущими автономными методами исследований, которые стоили около 15 долларов, мы видим снижение стоимости на 84%.

Посмотрев на производительность модели:

• o1-preview получил наивысшие оценки за полезность и ясность
• o1-mini достиг наилучших оценок за качество экспериментов
• GPT-4o отстал в метриках, но лидировал в эффективности стоимости

Реальные последствия здесь значительны.

Исследователи теперь могут выбирать свой подход на основе своих конкретных потребностей:

• Нужна быстрая прототипизация? GPT-4o предлагает скорость и эффективность стоимости
• Приоритет экспериментального качества? o1-mini может быть вашим лучшим выбором
• Ищете наиболее отполированный вывод? o1-preview показывает обещания

Эта гибкость означает, что исследовательские команды могут адаптировать каркас к своим ресурсам и требованиям, а не быть запертыми в одном решении.

Новая глава в исследованиях

После изучения возможностей и результатов Лаборатории агентов я убежден, что мы смотрим на значительный сдвиг в том, как будут проводиться исследования. Но это не повествование о замене, которое часто доминирует в заголовках – это что-то гораздо более тонкое и мощное.

Хотя статьи Лаборатории агентов еще не достигают лучших стандартов конференций самостоятельно, они создают новую парадигму для ускорения исследований. Думайте об этом как о команде агентов ИИ-исследователей, которые никогда не спят, каждый из которых специализируется на разных аспектах научного процесса.

Последствия для исследователей глубоки:

• Время, потраченное на обзор литературы и базовое программирование, может быть перенаправлено на творческую идеацию
• Идеи исследований, которые могли быть отложены из-за ограничений ресурсов, становятся жизнеспособными
• Возможность быстро прототипировать и тестировать гипотезы может привести к более быстрым прорывам

Текущие ограничения, такие как разрыв между оценками ИИ и человека, являются возможностями. Каждая итерация этих систем приближает нас к более сложному сотрудничеству между людьми и ИИ.

Взглянув вперед, я вижу три ключевых развития, которые могут изменить научные открытия:

1. Более сложные модели сотрудничества между людьми и ИИ будут появляться, поскольку исследователи научатся эффективно использовать эти инструменты
2. Экономия средств и времени может демократизировать исследования, позволяя меньшим лабораториям и учреждениям преследовать более амбициозные проекты
3. Возможности быстрой прототипизации могут привести к более экспериментальным подходам в исследованиях

Ключ к максимизации этого потенциала? Понимание того, что Лаборатория агентов и подобные каркасы являются инструментами для усиления, а не автоматизации. Будущее исследований не заключается в выборе между человеческой экспертизой и возможностями ИИ – это нахождение инновационных способов их объединения.