Лидеры мнений

Почему тестирование нужно встроить в конвейер разработки ИИ с самого начала

Ole Lensmar
Добавьте Unite.AI в избранные источники в Google
Ключевые моментыИИ ускоряет программирование, но обнажает слабое тестирование на последующих этапах и…
Показать больше
  • ИИ ускоряет программирование, но обнажает слабое тестирование на последующих этапах и снижает стабильность поставки.
  • Агенты, которые сами оценивают свои тесты, могут жульничать, редактируя проваливающиеся тесты вместо исправления кода.
  • Тестирование должно быть отдельным этапом вне CI, чтобы каждое изменение получало один и тот же вердикт.

Я создаю инструменты для тестирования уже более двадцати лет, и большую часть этого времени мои разговоры с инженерными командами были очень похожи. Тестировщики чувствовали себя в жизненном цикле разработки ПО людьми второго сорта. Тестирование проводили на поздних этапах, часто втискивая его в оставшееся до выпуска время, а затем добавляли в CI-конвейер, созданный для других задач. ИИ уже изменил то, как мы пишем код, и это определённо повлияло на тестирование — как в лучшую, так и в худшую сторону. Во многом ИИ сделал эту проблему заметнее.

За последние несколько месяцев я побывал на нескольких конференциях по тестированию и облачно-ориентированной разработке (LeadDev, CloudX, StarWest). Почти каждая команда, с которой я общался, работает над той или иной версией одного и того же проекта: жизненным циклом разработки ПО на базе ИИ, в котором агенты выполняют задачи от этапа технического задания до запуска в производственной среде, а люди участвуют в процессе в необходимой мере. Я представляю это как сборочную линию. Одни агенты пишут код, другие проверяют его, а конвейеры собирают и развёртывают его. Люди следят за происходящим. Гораздо реже я слышу о том, какое место в этой цепочке занимает тестирование.

Пока никто не разобрался, как это устроено

Сейчас здесь царит настоящий Дикий Запад. Новые возможности агентов появляются каждые несколько недель, крупные лаборатории ИИ продолжают выпускать новые модели, а команды и поставщики пробуют всё подряд в надежде найти работающие решения.

Некоторые данные указывают на то, что проблемы уже дают о себе знать. В последнем отчёте DORA о разработке ПО с помощью ИИ, подготовленном Google по итогам опроса почти 5 000 специалистов в области технологий, выяснилось, что внедрение ИИ связано с повышением скорости поставки ПО — и это хорошая новость. Однако оно по-прежнему связано и со снижением стабильности поставки. Исследователи объясняют это тем, что ИИ ускоряет разработку и проявляет слабые места на последующих этапах. Они указывают на качественное автоматизированное тестирование как на одну из мер, которые не дают росту объёма изменений привести к ещё большей нестабильности.

Меня это не удивляет. Если пропускать через процесс гораздо больше кода, чем он рассчитан обрабатывать, где-то возникнет замедление или что-то сломается.

Разработчики работают быстрее, но большинство релизов не выходит быстрее

Когда люди представляют, что может пойти не так с кодом, созданным ИИ, они обычно думают об агенте, который отправляет в продакшен что-то ужасное. Уверен, такое случается, и последствия бывают неприятными: ошибки, недовольные клиенты, возможно, даже инцидент с безопасностью. Но, если честно, чаще всего я сталкиваюсь не с этим.

Опрос разработчиков Stack Overflow за 2026 год показывает, в каких областях сегодня чаще всего используют ИИ. Разработчики в основном применяют его для генерации кода в знакомых им областях (67%) и отладки (61%), тогда как лишь 20% используют его для развёртывания, эксплуатации или устранения неполадок в производственных системах. Пока ИИ в основном лишь ускорил написание кода. Проверка этого кода и его выпуск в продакшен по-прежнему во многом происходят так же, как и раньше.

Это совпадает и с тем, что наблюдаю я: команды производят гораздо больше кода, но выпускают релизы не быстрее. Отдельному разработчику или команде может казаться, что они создают вдвое больше функций, однако эти функции застревают на последующих этапах — ожидают проверки, тестирования, среды, где их можно протестировать. Весь этот дополнительный код забивает конвейер и во многих случаях даже замедляет общую поставку результатов командами.

О защитных механизмах спрашивают менеджеры

Хотя риск узких мест в процессе поставки из-за ИИ вполне реален, это не единственное, о чём спрашивают команды. Разработчики в основном хотят знать, как быстрее писать более качественный код. Вопросы о защитных механизмах задают инженерные менеджеры и те, кто настраивает рабочие процессы с участием агентов. Как убедиться, что агенты не выйдут из-под контроля? Как понять, что они не вносят регрессии и не пропускают незаметно работу, которую должны были выполнить? Как проверить, что написанные ими тесты действительно (и честно!) проверяют то, что должны?

Думаю, причина в том, что они смотрят на разные вещи. Разработчик рассматривает по одному запросу на слияние за раз. Инженерный менеджер отвечает за всё, что выпускают многочисленные агенты и люди, и именно ему приходится объяснять, что произошло, когда что-то ломается в продакшене.

И у них есть причины проявлять осторожность. Исследователи создали тестовый набор под названием ImpossibleBench, включив в него задачи программирования, в которых модульные тесты противоречат спецификации, поэтому пройти их можно только обманом. Передовые модели часто именно так и поступали: например, изменяли или удаляли тесты, которые не проходили, вместо того чтобы исправить код (!!). В отдельном исследовании запросов на слияние, созданных агентами, обнаружились недостатки в том, насколько хорошо агенты тестируют собственные изменения. В нём также приводятся результаты предыдущего исследования: почти треть запросов на слияние от агентов, принятых в основную ветку, потребовала последующих исправлений или рефакторинга.

Я пришёл к выводу, что защитные механизмы нельзя ограничивать средой самого агента и нельзя применять только после выпуска кода. Если агент, написавший код, сам же решает, прошёл ли он проверку, такой результат мало о чём говорит. Это не значит, что агентам не следует писать тесты. Это значит, что оценивать результат нужно в месте, на которое агент не может повлиять. Тестирование должно стать отдельной станцией на этой линии, через которую проходит каждое изменение — независимо от того, написано оно человеком или агентом.

Что требуется от этой станции

Ответ — не в совершенно новом подходе к тестированию. В основном нужны те же вещи, о которых команды по обеспечению качества говорят уже давно. Просто теперь они важнее.

Тесты нужно проверять на соответствие требованиям — так же, как и код, который они тестируют. Кроме того, тесты должны запускаться в той же среде, где работает программа. Если тест проходит в изолированной среде агента, это мало что говорит о его работе на этапе подготовки к выпуску или в промышленной среде. Кроме того, в такой среде можно не заметить, какие зависимости были заменены имитациями и каким именно образом. Недавнее исследование почти 180 000 файлов тестов, сгенерированных агентами, показало, что агенты охватывали больше граничных случаев, чем тесты, написанные людьми, но их тесты чаще оказывались нестабильными. Главная причина заключалась в том, что агенты недостаточно знали о среде, в которой должны были выполняться тесты. Ранний запуск тестов на реальной инфраструктуре помогает выявить эту проблему.

Тесты и результаты их выполнения должны сохраняться. Если агент пишет тест, ему следует предоставить существующие тесты и результаты их выполнения в качестве контекста, чтобы он мог учитывать и охват тестами, и возможную нестабильность. Тесты нужно проверять и версионировать, как и любой другой код, чтобы при следующем изменении они запускались снова, а не исчезали по завершении сеанса.

Успешное прохождение теста должно означать одно и то же независимо от того, кто его запустил: конвейер, разработчик или агент. Для этого нужны одни и те же тесты, выполняемые на одной и той же инфраструктуре, а результаты должны храниться в одном месте.

И людям важно сохранять право принимать решения. Я не против поручить агентам рутинные задачи и соединение компонентов. Но решать, что стоит тестировать и что означает сбой, по-прежнему должны люди — по крайней мере пока.

Это также означает, что тестирование не должно ограничиваться CI/CD (если запомните из этой статьи только одну мысль, пусть это будет именно она!). Конвейеры CI создавались для сборки и выпуска кода, а не для масштабного запуска автоматизированных тестов. По мере перехода к агентному жизненному циклу разработки ПО (SDLC) и дальнейшего роста объёма кода CI становится ещё менее подходящим инструментом для запуска тестов. Тестирование должно стать неотъемлемой частью процесса поставки программного обеспечения, а не этапом в конце конвейера. Для этого его нужно оркестрировать как отдельную систему, охватывающую все инструменты и среды, которыми пользуется команда, независимо от того, кто выполняет работу — агент или человек.

С чего начать

У большинства команд уже есть проверенные тесты в Playwright, Cypress, k6, Postman или другом выбранном ими инструменте — с них и стоит начать. Вот несколько рекомендаций:

  1. Проследите, как сейчас изменение проходит путь от запроса до промышленной среды, и отметьте все этапы, на которых запускаются тесты. Если такой этап только один и он находится ближе к концу, я бы начал с него.
  2. Не позволяйте агентам незаметно менять существующие тесты. Исследователи ImpossibleBench обнаружили, что ограничение доступа агентов к тестам снижает вероятность жульничества. Если агенту всё же нужно изменить тест, изменение следует внести через запрос на слияние, который проверит человек, как и любой другой код.
  3. Запускайте тесты как можно раньше в тестовых средах — желательно реальных, а не в изолированных средах агентов. Даже небольшой набор дымовых тестов, выполняемый на этапе подготовки к выпуску для каждого изменения, созданного агентом, уже будет полезен. Если вы используете ИИ для написания тестов, не принимайте их, пока они не будут запущены в такой среде.
  4. Собирайте результаты тестов в одной системе управления — это может быть инструмент отчётности, ваша система мониторинга производительности приложений (APM) или специализированная платформа для тестирования. Убедитесь, что результаты доступны и людям, и агентам.
  5. Оценивайте результаты поставки, а не активность. Количество запросов на слияние мало о чём говорит. Метрики поставки DORA, например время выполнения изменений и доля неудачных изменений, гораздо лучше показывают, помогает ли ИИ.
  6. Позвольте агентам пользоваться той же инфраструктурой тестирования, что и вашей команде, чтобы их работу проверяли по тем же стандартам.

Оптимизм с оговорками

Я склонен смотреть на ИИ с оптимизмом и считаю, что он сделает команды разработчиков ПО гораздо более компетентными и, в конечном счёте, более продуктивными. Но для этого командам нужно достаточно доверять результатам работы агентов, чтобы выпускать их в производство, а также применять комплексный подход к тестированию в агентном жизненном цикле разработки ПО — именно здесь это доверие либо формируется, либо теряется.

Если вы стремитесь перейти к агентному жизненному циклу разработки ПО, какое место тестирование занимает в нём сегодня?

Ole Lensmar является сооснователем и техническим директором Testkube, открытой платформы тестирования для инженерных команд, работающих с ИИ. Он создал SoapUI, один из наиболее широко используемых инструментов тестирования API, и ранее возглавлял OpenAPI Initiative.