Задержка и пропускная способность ИИ: TTFT, токены в секунду и другие метрики

Задержка показывает, сколько времени занимает обработка запроса или токена, а пропускная способность — сколько работы система обслуживания выполняет за единицу времени.

Задержка и пропускная способность ИИ требуют точного объяснения: это понятие обозначает конкретный поток информации, решение на этапе обучения, механизм во время выполнения или границу управления. Если считать его синонимом «продвинутого ИИ», утверждения невозможно проверить. В этом руководстве мы проследим путь от входных данных и исходных допущений до наблюдаемого результата, а затем проверим, чем это понятие отличается от наиболее похожего упрощённого представления.

Задержка и пропускная способность ИИ: определение, границы и назначение

Задержка показывает, сколько времени занимает обработка запроса или токена, а пропускная способность — сколько работы система обслуживания выполняет за единицу времени. Это определение включает три практических условия: можно установить входные данные, преобразование или решение, характерное для задержки и пропускной способности ИИ, и результат, который можно оценить относительно заявленной цели. Если хотя бы одного из этих элементов нет, речь может идти лишь о стремлении, а не о реализованном механизме.

Производительность инференса — свойство системы, на которое влияют архитектура модели, точность вычислений, перемещение данных в памяти, планирование задач, сетевое взаимодействие, оборудование и характер нагрузки. Для задержки и пропускной способности ИИ такой системный подход важен, поскольку на производительность могут влиять окружающие данные, интерфейсы, оборудование, разрешения и люди, даже если сама модель не меняется. Поэтому в хорошем объяснении необходимо отделять усвоенное моделью поведение от продукта, который определяет, когда, где и с какими полномочиями оно используется.

Ближайшее вводящее в заблуждение упрощение — оптимизация одного показателя запросов в секунду, вынесенного на первый план. Он может внешне напоминать метрику задержки и пропускной способности ИИ, но причинно-следственная картина при этом меняется: успех подтверждают другие данные, на стоимость сильнее влияют другие ресурсы, а для предотвращения вреда нужны другие средства контроля. Таким образом, граница здесь определяется практическим применением, а не терминологией.

Пять этапов работы с задержкой и пропускной способностью ИИ

Диаграмма — краткая схема причинно-следственных связей для задержки и пропускной способности ИИ, а не утверждение, что в каждой реализации есть пять программных компонентов. В одних системах этапы объединены, в других — повторяются циклически. Эта схема полезна тем, что требует для каждого изменения информации или полномочий определить ответственного, входные данные, результат и способ проверки.

1. Зафиксировать время постановки в очередь и предварительной обработки: входные данные и допущения при оценке задержки и пропускной способности ИИ

На этом этапе система должна зафиксировать время постановки в очередь и предварительной обработки. Важно выяснить не только, выполняется ли эта операция, но и какие данные она использует, какое состояние меняет и какие свидетельства подтверждают корректность изменений. Проверяющий должен уметь отличить эту операцию от оптимизации одного показателя запросов в секунду, вынесенного на первый план, и воспроизвести результат в тех же заявленных условиях.

На этом этапе задержки и пропускной способности ИИ передача данных начинается с заявленной цели и должна завершаться результатом, позволяющим измерить время до первого полезного вывода. Фиксируйте неопределённость, отклонённые альтернативы, использование ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, применяемые на этой границе. Такой журнал позволяет командам выявить, не приводит ли максимизация пакетной пропускной способности к значительному замедлению первого ответа для отдельного пользователя, прежде чем тот же недостаток скажется на результате с серьёзными последствиями.

2. Измерить время до первого полезного вывода: представление данных или решение при оценке задержки и пропускной способности ИИ

На этом этапе система должна измерить время до первого полезного вывода. Важно выяснить не только, выполняется ли эта операция, но и какие данные она использует, какое состояние меняет и какие свидетельства подтверждают корректность изменений. Проверяющий должен уметь отличить эту операцию от оптимизации одного показателя запросов в секунду, вынесенного на первый план, и воспроизвести результат в тех же заявленных условиях.

Переход к этому этапу работы с задержкой и пропускной способностью ИИ начинается с фиксации временных меток при постановке запросов в очередь и предварительной обработки, а завершаться он должен результатом, позволяющим отслеживать скорость между токенами или обработки отдельных элементов. Фиксируйте неопределенность, отвергнутые альтернативы, использование ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, примененные на этом этапе. По этой записи команды могут определить, не приведет ли максимизация пропускной способности пакетов к значительному замедлению первого ответа отдельному пользователю, прежде чем та же проблема скажется на важном результате.

3. Отслеживайте скорость между токенами или обработки отдельных элементов: отличительная трансформация в работе с задержкой и пропускной способностью ИИ

На этом этапе работы с задержкой и пропускной способностью ИИ система должна отслеживать скорость между токенами или обработки отдельных элементов. Важно не просто установить, выполняется ли эта операция, но и выяснить, какую информацию она использует, какое состояние изменяет и какие доказательства подтверждают корректность этого изменения. Проверяющий должен иметь возможность отличить саму операцию от оптимизации одного броского показателя запросов в секунду и воспроизвести ее результат в тех же заявленных условиях.

Переход к этому этапу работы с задержкой и пропускной способностью ИИ начинается с измерения времени до первого полезного результата, а завершаться он должен результатом, позволяющим подсчитывать объем выполненной работы во всем парке систем. Фиксируйте неопределенность, отвергнутые альтернативы, использование ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, примененные на этом этапе. По этой записи команды могут определить, не приведет ли максимизация пропускной способности пакетов к значительному замедлению первого ответа отдельному пользователю, прежде чем та же проблема скажется на важном результате.

4. Подсчитывайте объем выполненной работы во всем парке систем: граница ограничений и проверки в работе с задержкой и пропускной способностью ИИ

На этом этапе работы с задержкой и пропускной способностью ИИ система должна подсчитывать объем выполненной работы во всем парке систем. Важно не просто установить, выполняется ли эта операция, но и выяснить, какую информацию она использует, какое состояние изменяет и какие доказательства подтверждают корректность этого изменения. Проверяющий должен иметь возможность отличить саму операцию от оптимизации одного броского показателя запросов в секунду и воспроизвести ее результат в тех же заявленных условиях.

Переход к этому этапу работы с задержкой и пропускной способностью ИИ начинается с отслеживания скорости между токенами или обработки отдельных элементов, а завершаться он должен результатом, позволяющим анализировать средние значения и хвостовые перцентили вместе. Фиксируйте неопределенность, отвергнутые альтернативы, использование ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, примененные на этом этапе. По этой записи команды могут определить, не приведет ли максимизация пропускной способности пакетов к значительному замедлению первого ответа отдельному пользователю, прежде чем та же проблема скажется на важном результате.

5. Анализируйте средние значения и хвостовые перцентили вместе: результат, обратная связь и правило остановки в работе с задержкой и пропускной способностью ИИ

На этом этапе работы с задержкой и пропускной способностью ИИ система должна анализировать средние значения и хвостовые перцентили вместе. Важно не просто установить, выполняется ли эта операция, но и выяснить, какую информацию она использует, какое состояние изменяет и какие доказательства подтверждают корректность этого изменения. Проверяющий должен иметь возможность отличить саму операцию от оптимизации одного броского показателя запросов в секунду и воспроизвести ее результат в тех же заявленных условиях.

Переход к этому этапу работы с задержкой и пропускной способностью ИИ начинается с подсчета объема выполненной работы во всем парке систем, а завершаться он должен результатом, позволяющим вести мониторинг или принять окончательное решение. Фиксируйте неопределенность, отвергнутые альтернативы, использование ресурсов, а также любые меры контроля со стороны человека или программного обеспечения, примененные на этом этапе. По этой записи команды могут определить, не приведет ли максимизация пропускной способности пакетов к значительному замедлению первого ответа отдельному пользователю, прежде чем та же проблема скажется на важном результате.

Изучайте схему работы с задержкой и пропускной способностью ИИ в прямом направлении, чтобы понять, как система работает в производственной среде, и в обратном — чтобы диагностировать сбои. При анализе в прямом направлении выясняют, как один этап обеспечивает следующий. При анализе в обратном направлении начинают с неверного, медленного, дорогостоящего или небезопасного результата и прослеживают, какое допущение на предыдущем этапе привело к нему. Именно при таком обратном анализе команда нередко обнаруживает, что решающая ошибка произошла еще до того, как модель что-либо выдала.

Пример работы с задержкой и пропускной способностью ИИ

Интерактивный помощник может отдавать приоритет времени до первого токена, тогда как автономное задание по созданию эмбеддингов — количеству обрабатываемых элементов в секунду.

Этот пример полезен, поскольку работу с задержкой и пропускной способностью ИИ можно оценивать по наблюдаемым входным данным, промежуточным состояниям и результату, а не по эффектной демонстрации. Тщательная проверка должна включать обычные, сложные и намеренно вводящие в заблуждение случаи, относящиеся к рассматриваемому сценарию, предусматривать базовый вариант без этой методики и фиксировать как среднюю производительность, так и серьезность отдельных сбоев.

Измените одно допущение в примере работы с задержкой и пропускной способностью ИИ и повторите анализ. Уберите обязательный входной параметр, добавьте противоречащий сигнал, ограничьте вычислительные ресурсы, измените состав пользователей или заставьте систему воздержаться от ответа. Если механизм работает только в рамках одной тщательно подготовленной демонстрации, это еще не доказывает, что он будет работать в реальных условиях эксплуатации.

Задержка и пропускная способность ИИ: сравнение с самым распространенным упрощенным подходом

Задержку и пропускную способность ИИ часто сводят к оптимизации одного показателя — числа запросов в секунду. Такое упрощение стирает саму границу, которая определяет суть этих понятий. Из-за этого покупатели могут сравнивать несопоставимые продукты, исследователи — преувеличивать то, что доказывает эксперимент, а специалисты по эксплуатации — отслеживать не тот показатель после развертывания.

При сравнении также следует определить единицу анализа. В исследовании задержки и пропускной способности ИИ могут рассматриваться отдельно модель или алгоритм, тогда как в развернутый сервис добавляются поиск и извлечение данных, маршрутизация, кэширование, политики, идентификация, пользовательские интерфейсы и мониторинг. Два продукта могут использовать один и тот же основной термин, но реализовывать разные компоненты этого стека. Следует выяснить, какой компонент выполняет определяющее преобразование и какие другие компоненты необходимы для получения заявленного результата.

Почему задержка и пропускная способность ИИ важны для современных систем ИИ

Задержка и пропускная способность ИИ важны сегодня, поскольку системам ИИ предоставляют более длинный контекст, больше модальностей, больше вычислительных ресурсов во время выполнения, более широкий доступ к инструментам и более тесные связи с организационными решениями. В таких условиях то, что прежде казалось исследовательской деталью, может определять задержку, безопасность, доступность, экологические издержки, качество продукта или юридическую ответственность.

Важно не то, может ли выбранный подход к задержке и пропускной способности ИИ дать один впечатляющий результат. Важно, улучшает ли он значимый результат в репрезентативных условиях и делает ли это эффективнее, чем более простой базовый вариант. Вместо того чтобы сводить все результаты к одному среднему значению, приводите распределения, категории сбоев, задержку на хвосте распределения, использование ресурсов и данные по затронутым группам.

Проводите тестирование на реальном распределении запросов при реалистичной конкурентной нагрузке. Указывайте время до первого результата, скорость в установившемся режиме, задержку на хвосте распределения, пропускную способность, качество, степень использования ресурсов, количество сбоев и стоимость одного полезного результата. Если применять этот подход именно к задержке и пропускной способности ИИ, полученные данные можно использовать в других условиях: другая команда сможет оценить, сохранится ли заявленный прирост при использовании другой модели, языка, аппаратной платформы, набора данных, пользовательской аудитории или уровня допустимого риска.

Какие преимущества могут дать задержка и пропускная способность ИИ

Главная причина учитывать задержку и пропускную способность ИИ — возможность напрямую устранить предполагаемое узкое место. В зависимости от реализации преимущества могут выражаться в более надежной привязке к источникам данных, более точном представлении, лучшей способности к обобщению, меньшей задержке, сокращении перемещения данных в памяти, более прозрачной ответственности или более безопасной границе между предложением модели и реальным действием.

Преимущества следует формулировать через решения и измеримые показатели. «Более интеллектуальный» — не критерий приемки для задержки и пропускной способности ИИ. Полезная целевая метрика может учитывать частоту ошибок в сложных случаях, восстановление после появления противоречащих данных, стоимость на заданном процентиле трафика, время проверки человеком, калибровку или долю действий, остающихся в пределах установленного лимита полномочий.

Сбой, определяющий задержку и пропускную способность ИИ

Главное ограничение состоит в том, что максимизация пропускной способности при пакетной обработке может значительно замедлить первый ответ отдельному пользователю. Этот риск нельзя считать второстепенным и упоминать лишь после завершения разработки. Он должен с самого начала влиять на сбор данных, архитектуру, разрешения, оценку, критерии выпуска и мониторинг систем задержки и пропускной способности ИИ.

Механизм управления задержкой и пропускной способностью ИИ полезен, только если срабатывает до наступления дорогостоящих или необратимых последствий. Определите самый ранний наблюдаемый признак сбоя, установите пороговое значение или правило, назначьте ответственного и проверьте, как система восстанавливается после сбоя. В зависимости от сценария использования восстановление может означать отказ от ответа, переключение на более простую систему, запрос дополнительных данных, передачу вопроса специалисту, откат модели или полный отказ от выполнения действия.

План оценки задержки и пропускной способности ИИ

Начните оценку задержки и пропускной способности ИИ с формулировки решения, которое должны обосновать собранные данные. Определите целевую совокупность пользователей или случаев применения, последствия ошибочного результата, информацию, реально доступную на момент принятия решения, и наиболее простую заслуживающую доверия альтернативу. Это не позволит превратить бенчмарк в самоцель лишь потому, что его легко запустить.

Для контролируемых сравнений используйте тестовый набор, который не применялся ранее, а затем проверяйте задержку и пропускную способность ИИ в поэтапно вводимой в эксплуатацию среде. Офлайн-оценка позволяет сопоставлять варианты; теневой режим, канареечные развертывания, ограничения частоты запросов или этапы утверждения показывают, как на поведение системы влияют реальный трафик, циклы обратной связи и люди. Для этапа развертывания следует заранее определить условие остановки, а не считать, что каждое улучшение заслуживает полномасштабного внедрения.

Для воспроизводимой оценки задержки и пропускной способности ИИ сохраняйте версии всех необходимых входных данных: исходных данных, этапа предобработки, токенизатора или кодировщика, весов модели, конфигурации, запроса или политики, поискового индекса, набора для оценки, предположений об аппаратном обеспечении и кода обслуживания модели, если это применимо. Без такой истории команда не сможет определить, вызвано ли изменение результата применённым методом, средой или незамеченным изменением в конвейере обработки данных.

Наконец, спросите себя, какой результат опроверг бы утверждение, что задержка и пропускная способность ИИ полезны. Если никакой результат не может изменить решение о внедрении, такая оценка — маркетинг. Заранее установленные пороговые значения приемлемости и сохранённая контрольная выборка превращают эту работу в сбор доказательств.

Что следует спросить перед внедрением решений для снижения задержки и повышения пропускной способности ИИ

• Цель: Какое измеримое узкое место призвано устранить решение для снижения задержки и повышения пропускной способности ИИ?
• Механизм: На каком из пяти этапов происходит ключевое преобразование?
• Базовый вариант: Как это решение соотносится с оптимизацией одного показательного значения запросов в секунду или с другой, более простой альтернативой?
• Доказательства: Какие типичные, сложные, состязательные случаи и случаи из отдельных подгрупп проверялись?
• Эксплуатация: Какие затраты на задержку, память, вычисления, энергию, обслуживание и проверку возникают при масштабировании?
• Риск: Как команда обнаружит, что максимизация пропускной способности при обработке пакетов может значительно замедлить первый ответ для отдельного пользователя?
• Восстановление: Может ли система отказаться от ответа, переключиться на запасной вариант, выполнить откат или передать вопрос специалисту до того, как будет причинён вред?

Основные источники для изучения задержки и пропускной способности ИИ

К числу авторитетных отправных источников по части стека ИИ, связанной с задержкой и пропускной способностью, относятся статья о FlashAttention, vLLM и PagedAttention, исследования спекулятивного декодирования. Изучайте их вместе с документацией по конкретной модели, набору данных, аппаратному обеспечению и юрисдикции. Общий источник может объяснить принцип работы, однако пригодность конкретной реализации можно подтвердить только данными, полученными в условиях её развертывания.

Что важно помнить о задержке и пропускной способности ИИ

Задержка и пропускная способность ИИ — это определённый механизм внутри более широкой социотехнической системы. Его ценность состоит в улучшении конкретного результата при явно заданных условиях, а не в самом названии. Схема из пяти этапов наглядно показывает движение информации, сравнение позволяет понять, чем этот механизм не является, а путь управления показывает, где ответственный оператор может вмешаться.

Практическое правило для работы с задержкой и пропускной способностью ИИ: определить цель, сравнить решение с заслуживающим доверия базовым вариантом, проверить наиболее важный сценарий сбоя и сохранить данные, необходимые для отслеживания изменений. При наличии этих составляющих концепцию можно оценивать как инженерное решение и вариант управления. Без них это лишь многообещающее название, за которым скрывается неизвестный эксплуатационный риск.