Моделі та платформи ШІ
SFR-AutoR&D від Salesforce автоматизує дослідження та перевірку моделей
Додайте Unite.AI до бажаних джерел у Google
Salesforce представила SFR-AutoR&D 11 листопада 2026 року й повідомила, що її агенти створили SFR-Embedding v4 приблизно за 80 годин замість кількох тижнів, які часто потрібні для експериментів за участю людей. Система призначена для автономного проведення дослідницького циклу: вона може змінювати наявні кодові бази, а також розробляти й тестувати нові методи навчання моделей ШІ.
Ця робота виходить за межі окремої дослідницької демонстрації. Ще до того, як дослідники застосували SFR-AutoR&D до базової моделі з відкритим кодом EmbeddingGemma 2, система вже вдосконалила SFR-Embedding V3, яку Salesforce використовує для пошуку в Data Cloud, і на цій основі створила v4. Моделі векторних представлень перетворюють текст на числові подання, щоб системи могли знаходити записи, документи або історії справ. В архітектурі Salesforce результати такого пошуку надають відомості про клієнтів, на яких ґрунтуються відповіді Agentforce, тож якість пошуку впливає на подальшу відповідь агента.
Два агенти — один контрольований дослідницький цикл
Проєкт SFR-AutoR&D поділяє роботу на чотири етапи: сформулювати гіпотезу, яку можна перевірити; створити варіант для порівняння з базовим; оцінити правильність або якість моделі; і зробити висновки як з успішних, так і з невдалих експериментів. Якщо варіант не підтверджує перевіреного покращення, базова модель залишається без змін.
AutoR&D-Engineer отримує репозиторій, ціль і обмеження, а потім створює потенційний патч із підтвердженням результатів тестування. TrainForge починає з базової моделі, завдання, методу оцінювання та бюджету обчислювальних ресурсів і надає найкращу перевірену контрольну версію моделі разом із записом її оцінювання.
Процес пошуку методів у TrainForge генерує стратегії навчання, а не лише вибирає їх із фіксованого переліку рецептів. Codex створює реалізації в порожньому робочому середовищі, а перевірки підтверджують, що виконуваний код відповідає запропонованій ідеї. Перспективні варіанти переходять від швидкого тесту LoRA, під час якого оновлюється невеликий набір параметрів для навчання, а базова модель зберігається, до короткого запуску з повним набором параметрів, а потім — до повноцінного навчання. Заморожені відкладені набори даних призначені для оцінювання.
Обидва агенти працюють на AutoInfra — спільній інфраструктурі Salesforce для навчання та виконання моделей. Вона розподіляє GPU-ресурси між паралельними експериментами й зберігає запити, перебіг роботи та результати, щоб після перебоїв у роботі шлюзу можна було продовжити виконання завдань. AutoInfra також відокремлює середовища алгоритмів, служб навчання та ізольованого тестування, щоб захистити цілісність системи й запобігти маніпулюванню винагородою.
«Науковий метод залишається основою, але цикл відбувається швидше», — сказав Сільвіо Саварезе, виконавчий віцепрезидент і головний науковець Salesforce.
Покращення векторних представлень і результати роботи з кодовими базами
За даними Salesforce, під час публічного оцінювання моделей векторних представлень дослідницька контрольна версія набрала 57,21 бала проти 51,07 у EmbeddingGemma 2 — заявлений приріст становить 6,13 бала за шкалою від 0 до 100. Контрольна версія, підтримувана для виробничого використання, набрала 55,76 бала. Оцінки є середнім значенням nDCG@10 за 10 завданнями пошуку в межах того самого набору MTEB із 41 завдання; ця метрика оцінює релевантність серед 10 перших результатів і надає більшої ваги результатам із вищими позиціями.
Усі три моделі оцінювали з обмеженням контексту в 8 192 токени. Salesforce прямо зазначає, що це локальні порівняння контрольних версій, а не офіційні позиції в рейтингу MTEB. Отже, вони засвідчують покращення порівняно з вибраною базовою моделлю за контрольованим протоколом, але не визначають місце моделі серед ширшого кола систем.
Окремий автономний сеанс тривалістю близько дев’яти годин був присвячений підвищенню ефективності обслуговування запитів. Salesforce повідомляє про збільшення пропускної здатності на 36% і зменшення затримки на 17% за майже незмінної якості. Це пов’язує результати дослідження з вартістю та швидкістю пошуку у великих наборах даних про клієнтів.
Результати інженерної роботи також засвідчують прискорення згортання даних у pandas зі значеннями, що можуть бути відсутніми, до 1,84 раза; такі типи даних явно позначають відсутні значення. У них також зафіксовано медіанне збільшення кількості запитів hnswlib за секунду на 4,1% у трьох збірках індексу та підвищення пропускної здатності USearch на одному ядрі на 17,5% із GCC 11.4. Останні дві бібліотеки виконують пошук за векторами — одну з ключових операцій у системах пошуку на основі ШІ.
У тому самому звіті про інженерні результати задокументовано 134 064 диференційні тестові випадки для патча pandas із підтримкою типів даних, що можуть містити відсутні значення; відмінностей у значеннях, масках, типах даних чи винятках не виявлено. Для вхідних даних, що не відповідають умовам швидкого шляху обробки, використовується наявна реалізація pandas, а всі три оптимізації для pandas подано як запити на внесення змін до основного репозиторію. У патчі hnswlib для кожного робочого процесу повторно використовується тимчасова пам’ять, водночас результати пошуку залишаються побайтно ідентичними. Патч USearch кешує норми збережених векторів, додаючи по чотири байти на вектор і зберігаючи повноту пошуку в описаному оцінюванні.
Обмеження автономності та впровадження
Дослідники й надалі визначають цілі, бюджети, методи оцінювання та обмеження щодо даних. Для моделей, призначених для використання в продуктах, беруть лише навчальні набори даних, що пройшли етичну та юридичну перевірку; крім того, покращена модель має відповідати вимогам виробничої надійності та безпеки. Salesforce повідомила, що роботи з підготовки до виробничого використання тривають, тож дослідницькі результати SFR-Embedding v4 ще не означають, що модель уже впроваджено для клієнтів.
SFR-AutoR&D поєднує автономне експериментування з обмеженнями та вимогами до доказової бази, встановленими людьми. Безпосереднє значення цієї системи полягає в тому, що вона скорочує тривалість такого контрольованого дослідницького циклу з тижнів до днів; наступна важлива перевірка — чи пройдуть покращення v4 виробничу перевірку та чи потраплять вони до систем пошуку й отримання даних, від яких залежать корпоративні агенти Salesforce.
