SFR-AutoR&D от Salesforce автоматизирует исследование и проверку моделей

Salesforce представила SFR-AutoR&D 11 ноября 2026 года. Компания сообщила, что её агенты создали SFR-Embedding v4 примерно за 80 часов вместо нескольких недель, которые обычно требуются для экспериментов с участием людей. Система предназначена для автономного проведения исследовательского цикла: она может как изменять существующие кодовые базы, так и разрабатывать и тестировать новые методы обучения моделей ИИ.

Эта работа выходит за рамки отдельной демонстрации исследовательских возможностей. До того как исследователи применили SFR-AutoR&D к базовой модели с открытым исходным кодом EmbeddingGemma 2, чтобы создать v4, система уже улучшила SFR-Embedding V3, которую Salesforce использует для поиска в Data Cloud. Модели эмбеддингов преобразуют текст в числовые представления, благодаря которым системы могут находить записи, документы и истории обращений. В архитектуре Salesforce такой поиск предоставляет данные о клиентах, на которых основываются ответы Agentforce, поэтому качество поиска напрямую влияет на последующий ответ агента.

Два агента — единый управляемый исследовательский цикл

Проект SFR-AutoR&D делит работу на четыре этапа: сформулировать проверяемую гипотезу, создать кандидатную модель и сопоставить её с базовой, оценить корректность или качество модели, а затем учесть результаты как успешных, так и неудачных экспериментов. Если кандидатная модель не демонстрирует подтверждённого улучшения, базовая модель остаётся без изменений.

AutoR&D-Engineer получает репозиторий, целевой ориентир и ограничения, а затем создаёт патч-кандидат с результатами бенчмарка. TrainForge начинает работу с базовой моделью, задачей, оценкой и вычислительным бюджетом и выдаёт лучший проверенный чекпойнт вместе с записью о его оценке.

В процессе поиска методов TrainForge генерирует стратегии обучения, а не выбирает варианты только из фиксированного списка рецептов. Codex пишет реализации с чистого рабочего пространства, а проверки подтверждают, что выполняемый код соответствует предложенной идее. Перспективные кандидаты проходят сначала быструю проверку с LoRA, которая обновляет небольшой набор обучаемых параметров, сохраняя базовую модель, затем короткий запуск с полным набором параметров и, наконец, полноценное обучение. Замороженные отложенные наборы данных используются исключительно для оценки.

Оба агента работают на AutoInfra — общей инфраструктуре Salesforce для обучения и инференса. Она распределяет графические процессоры между параллельными экспериментами и сохраняет запросы, ход работы и результаты, чтобы её можно было возобновить после сбоев шлюза. Кроме того, AutoInfra разделяет среды алгоритмов, сервиса обучения и песочницы, защищая целостность системы и предотвращая манипулирование целевой функцией.

«Научный метод по-прежнему лежит в основе работы, но цикл проходит быстрее», — сказал Сильвио Саварезе, исполнительный вице-президент и главный научный сотрудник Salesforce.

Улучшения эмбеддингов и результаты работы с кодовыми базами

В публичной оценке эмбеддингов результат исследовательского чекпойнта Salesforce составил 57,21 против 51,07 у EmbeddingGemma 2 — заявленный прирост на 6,13 пункта по шкале от 0 до 100. Чекпойнт, поддерживаемый в производственной среде, набрал 55,76. Эти показатели представляют собой среднее значение nDCG@10 по 10 задачам поиска в том же наборе MTEB из 41 задачи. Метрика оценивает релевантность 10 лучших результатов, придавая больший вес элементам с более высокими позициями.

Все три модели оценивались с ограничением контекста в 8 192 токена. Salesforce прямо указывает, что это сравнения локальных чекпойнтов, а не официальные места в рейтинге MTEB. Следовательно, результаты показывают улучшение относительно выбранной базовой модели в контролируемых условиях, но не определяют положение модели на фоне более широкого круга решений.

Отдельный автономный сеанс продолжительностью около девяти часов был посвящён эффективности обслуживания моделей. По данным Salesforce, пропускная способность выросла на 36%, а задержка снизилась на 17% при почти полном сохранении качества. Это связывает результаты исследования с затратами и скоростью поиска по большим массивам данных о клиентах.

В результатах инженерных работ также сообщается об ускорении операций свёртки в pandas на данных с типами, допускающими отсутствие значений, максимум в 1,84 раза. Для этих типов отсутствие значения представляется явно. Кроме того, зафиксировано увеличение медианного числа запросов в секунду в hnswlib на 4,1% по результатам трёх сборок индекса и рост пропускной способности USearch на одном ядре на 17,5% при использовании GCC 11.4. Обе библиотеки выполняют векторный поиск — одну из ключевых операций при извлечении данных для ИИ.

В той же документации по инженерным работам зафиксировано 134 064 дифференциальных тестовых случая для патча pandas, поддерживающего типы с допустимыми отсутствующими значениями; различий в значениях, масках, типах данных и исключениях не выявлено. Для входных данных, не соответствующих условиям быстрого пути, используется прежняя реализация pandas. Все три оптимизации pandas отправлены в виде запросов на включение изменений в основной проект. Патч hnswlib повторно использует временную память для каждого рабочего процесса, сохраняя результаты поиска побайтно идентичными. Патч USearch кэширует нормы хранящихся векторов, добавляя по четыре байта на вектор и сохраняя полноту поиска на уровне, зафиксированном в опубликованной оценке.

Ограничения автономности и внедрения

Исследователи по-прежнему задают цели, бюджеты, методы оценки и ограничения на данные. Для моделей, предназначенных для использования в продуктах, применяются только обучающие наборы данных, прошедшие этическую и юридическую проверку; кроме того, улучшенная модель должна соответствовать требованиям к доверию и безопасности в производственной среде. Salesforce сообщила, что работа по внедрению в производство продолжается, поэтому результаты исследования SFR-Embedding v4 ещё не означают, что модель уже внедрена для клиентов.

SFR-AutoR&D сочетает автономные эксперименты с ограничениями и требованиями к доказательной базе, заданными людьми. Непосредственное значение этой разработки — сокращение такого контролируемого исследовательского цикла с недель до дней; следующий важный этап проверки — выяснить, пройдут ли улучшения версии v4 производственную проверку и достигнут ли систем поиска и извлечения данных, от которых зависят корпоративные агенты Salesforce.