Разумное принятие решений на дороге: может ли NVIDIA Alpamayo решить проблему «крайних случаев» в автономном вождении?

Автономные транспортные средства сделали значительный прогресс за последнее десятилетие, проехав миллионы миль и показав хорошую производительность на автомагистралях, в контролируемых тестовых зонах и в отдельных городских районах. Однако даже в 2026 году реальное вождение продолжает выявлять критические ограничения. Например, незащищенные левые повороты во время сильного дождя, зоны строительства с затертыми или отсутствующими дорожными разметками, и перекрестки, где сотрудники экстренных служб используют импровизированные жесты, могут по-прежнему представлять проблему для продвинутых систем автономного вождения.

Эти ситуации не являются редкими аномалиями, которые можно решить, собрав больше данных. Скорее, они подчеркивают более глубокую проблему в текущей технологии автономных транспортных средств. Современные системы хорошо справляются с обнаружением объектов и картографированием окружающей среды, но они испытывают трудности с рассуждениями о будущих событиях, интерпретацией намерений других участников дорожного движения и принятием контекстно-зависимых решений. Следовательно, восприятие alone недостаточно для обеспечения безопасности в сложных, непредсказуемых сценариях.

Чтобы решить эту проблему, NVIDIA представила Alpamayo на выставке CES 2026. Эта семья открытых моделей Vision-Language-Action включает явный слой рассуждений над восприятием. Объединив восприятие и рассуждение, Alpamayo позволяет транспортным средствам более безопасно ориентироваться в редких и сложных ситуациях вождения, предоставляя при этом интерпретируемые объяснения для каждого решения. Таким образом, это представляет собой значительный шаг к автономным системам, которые могут мыслить, объяснять и адаптироваться, а не просто наблюдать.

Понимание проблемы «крайних случаев» в автономном вождении

Крайние случаи являются одной из наиболее сложных проблем в самоходных автомобилях. Это редкие ситуации, когда наиболее безопасное действие зависит от тонкого контекста, неписаных социальных правил и реального взаимодействия с другими участниками дорожного движения. Например, пешеход может подать сигнал автомобилю, чтобы он проехал через перекресток, даже если у него формально есть право проезда. Или зона строительства может иметь затертые дорожные разметки, которые противоречат временным конусам. Эти ситуации не происходят часто, может быть, один раз в несколько тысяч миль, но они вызывают значительную часть инцидентов безопасности и системных ошибок.

Отчеты о деактивации 2024 года в Калифорнии четко показывают это. Среди 31 лицензированной компании, занимающейся автономными транспортными средствами, более 2 800 испытательных транспортных средств проехали сотни тысяч миль. Однако многие неудачи произошли в необычных дорожных расположениях, импровизированном управлении трафиком или когда поведение человека было непредсказуемым. Это именно те редкие ситуации, с которыми традиционные модели автономного вождения испытывают трудности. Люди, с другой стороны, могут ориентироваться в них, используя опыт, быстрое мышление и суждение в моменте. Автономные системы часто терпят неудачу, когда реальный мир выглядит по-другому, чем то, что они видели во время обучения.

Современная технология автономного вождения очень хороша в восприятии. Системы могут обнаруживать транспортные средства, велосипедистов, пешеходов и дорожные знаки с высокой точностью, используя камеры, лидар и радар. Кроме того, модели «от начала до конца» преобразуют данные с датчиков непосредственно в команды управления рулем и тормозами. На знакомых дорогах это позволяет транспортным средствам двигаться гладко и безопасно.

Однако восприятие alone не может справиться со всеми ситуациями. Оно не может ответить на важные вопросы, которые возникают в сложных или непредсказуемых сценариях. Например, выйдет ли пешеход на дорогу? Более безопасно ли уступить в этот момент или принять небольшой риск? Почему один маневр более безопасен, чем другой? Модели «черного ящика» делают эти вопросы более трудными, поскольку они не могут объяснить свои решения. В результате команды безопасности и регулирующие органы могут испытывать трудности с доверием к этим системам.

Планирование на основе правил также имеет ограничения. Хотя они предоставляют четкие инструкции, программирование правил для каждой редкой ситуации быстро становится невозможным. Следовательно, полагаться только на восприятие или фиксированные правила оставляет пробелы в безопасности и принятии решений.

Эти проблемы показывают, почему слой рассуждений необходим для автономных транспортных средств. Такая система может понять ситуацию, предвидеть, что может произойти дальше, и принимать решения, которым могут доверять люди и регулирующие органы. Кроме того, модели рассуждений могут производить объяснения, которые можно просмотреть, увеличивая доверие к действиям транспортного средства.

NVIDIA Alpamayo и сдвиг в сторону рассуждений, основанных на автономии

NVIDIA представляет Alpamayo, платформу, ориентированную на рассуждения, предназначенную для решения «крайних случаев», которые продолжают препятствовать прогрессу в сторону автономного вождения уровня 4. Однако, вместо того, чтобы работать как полностью самоходная система внутри транспортного средства, Alpamayo функционирует как открытая среда исследования и разработки. Она объединяет три тесно связанных компонента: модели Vision-Language-Action, основанные на фундаменте, каркас симуляции AlpaSim и большие физические наборы данных AI вождения. Все эти элементы поддерживают изучение, тестирование и совершенствование политик вождения, которые должны работать в условиях неопределенности и социальной сложности, оставаясь при этом понятными для человеческих рецензентов.

Ядром этой платформы является Alpamayo 1. В этой модели примерно 10 миллиардов параметров объединяют обширный фундамент видения и языка с посвященным модулем предсказания действия и траектории. В результате система может обрабатывать входные данные от нескольких камер, предсказывать будущее движение транспортного средства и генерировать четкие, естественно-языковые объяснения для каждого решения. Эти объяснения следуют структурированной последовательности. Сначала система идентифицирует ближайших участников дорожного движения. Далее она оценивает их вероятные намерения. Затем она оценивает пределы видимости и риски безопасности. Наконец, она выбирает подходящий маневр. Например, когда транспортное средство для доставки блокирует часть полосы, модель может рассмотреть возможность появления пешехода из-за него. Затем она проверяет движение в соседних полосах. Следовательно, она может выбрать осторожное изменение траектории вместо внезапного изменения полосы. Этот процесс рассуждений тесно отражает, как бы осторожный человеческий водитель подумал над той же ситуацией.

Методы обучения еще больше укрепляют этот акцент на рассуждениях. Первоначально Alpamayo развивает общее причинно-следственное понимание из больших многомодальных наборов данных. После этого она совершенствуется с помощью конкретных данных из реальных записей и симуляций. Кроме того, физическая симуляция обеспечивает соблюдение ограничений безопасности, таких как поддержание достаточного тормозного пути и избежание небезопасных предположений о ответственности. В то же время система оценивает альтернативные будущие результаты вместо того, чтобы полагаться на один прогноз. Следовательно, учитывая, что может произойти дальше и отдавая предпочтение осторожным реакциям, модель снижает риск неудачи в незнакомых условиях.

В отличие от этого, системы, основанные на восприятии, часто работают хорошо в обычных условиях, но испытывают трудности, когда дорожные расположения, погода или поведение человека отличаются от предыдущего опыта. Производя объяснения, которые можно просмотреть, Alpamayo дает инженерам более четкое понимание причин неудач. Кроме того, она предоставляет регулирующим органам более прозрачную основу для оценки безопасности, что поддерживает прогресс за пределами ограниченных пилотных развертываний.

Как Alpamayo применяет цепочку рассуждений к «крайним случаям»

Alpamayo решает сложные ситуации вождения посредством явных, реальных рассуждений, адаптирующихся к реальному поведению на дороге. Вместо того, чтобы реагировать на сцены в целом, система разбивает каждую ситуацию на последовательность логических шагов. Следовательно, решения не производятся как единый вывод, а как результат структурированного анализа. Этот подход отражает человеческое рассуждение и снижает неожиданное поведение в незнакомых условиях.

Сначала модель идентифицирует всех соответствующих агентов в сцене, включая транспортные средства, пешеходов, велосипедистов и временные объекты. Далее она выводит вероятные намерения, изучая закономерности движения, контекст и социальные сигналы. После этого она оценивает пределы видимости, ослепления и возможные скрытые опасности. Кроме того, она учитывает контрфактические результаты, такие как то, что может произойти, если пешеход внезапно выйдет на дорогу. Только после этого она сравнивает несколько возможных траекторий с ограничениями безопасности, прежде чем выбрать окончательное действие. В то же время система производит четкое, естественно-языковое след рассуждений, объясняющее каждый шаг в порядке.

Этот процесс становится критическим в неоднозначных средах. Например, когда транспортное средство для доставки блокирует часть узкой городской полосы, Alpamayo не полагается исключительно на выученную закономерность. Вместо этого она рассуждает над ситуацией шаг за шагом. Она идентифицирует ослепленную область за транспортным средством. Затем она предвидит возможное появление пешехода или велосипедиста. После этого она проверяет наличие встречного движения в течение короткого горизонта времени. Следовательно, она может выбрать незначительное боковое изменение, которое сохраняет буфер безопасности, вместо того, чтобы совершить полный переход на другую полосу. Это решение поддерживается рассуждениями, а не только оценками уверенности.

Кроме того, цепочка рассуждений улучшает прозрачность во время тестирования и анализа неудач. Инженеры могут проверить точно, где путь принятия решения потерпел неудачу, например, неправильное вывод намерений или слишком оптимистичная оценка риска. В результате ошибки становятся легче диагностировать и исправлять. Это отличается от моделей «черного ящика», где поведение можно наблюдать, но не объяснить осмысленно.

Симуляция еще больше укрепляет этот процесс рассуждений. Через каркас AlpaSim Alpamayo работает в замкнутых средах, где каждое действие влияет на будущие состояния. Разработчики могут ввести редкие, но реалистичные «крайние случаи», включая внезапное появление пешехода под бликом, агрессивные слияния крупных транспортных средств или перекрестки, где водители полагаются на жесты вместо сигналов. Поскольку восприятие, рассуждение и действие работают вместе, система должна рассуждать под давлением, а не проигрывать статические сценарии.

Наконец, масштабируемость достигается посредством структуры «учитель-ученик». Большие модели Alpamayo выполняют цепочку рассуждений в центрах обработки данных и генерируют траектории вместе с следами рассуждений по реальным и симулированным данным. Меньшие модели затем учатся на этих выходных данных и переносят ту же структуру рассуждений в развертывание на аппаратном обеспечении транспортного средства. Следовательно, причинная логика сохраняется даже при ограничениях вычислительных ресурсов. В то же время стандартизированные следы рассуждений поддерживают последовательное тестирование и регулирующий обзор. Все эти механизмы укрепляют надежность и приближают автономные системы к безопасной работе в реальных «крайних случаях».

Закрытие разрыва в длинном хвосте данных посредством рассуждений и симуляции

Системы, основанные на рассуждениях, такие как Alpamayo, не решают проблему «крайних случаев», просто собирая больше данных о вождении. Вместо этого они меняют, как существующие данные интерпретируются, расширяются и тестируются. Следовательно, прогресс зависит от более эффективного использования данных, а не только от увеличения пробега. NVIDIA решает эту проблему посредством тесной интеграции своих физических наборов данных AI вождения с средой симуляции AlpaSim, оба из которых предназначены для поддержки разработки, ориентированной на рассуждения.

Физические наборы данных AI вождения NVIDIA включают более 1 700 часов синхронизированных данных вождения, собранных в 25 странах и тысячах городов. Данные объединяют входные данные от камер, лидара и радара, чтобы захватить широкий спектр реального поведения на дороге. Важно, что эти записи выходят за рамки одного региона или культуры вождения. В результате они отражают разные нормы движения, погодные условия, проекты дорог и неформальные практики вождения. Этот разнообразие подвергает модели реалистичным примерам редких и запутанных ситуаций, таких как неясные перекрестки, поврежденные дорожные разметки или дороги, где переговоры заменяют строгое соблюдение правил. Следовательно, модели рассуждений обучаются на условиях, которые более близко соответствуют реальной сложности.

Однако реальные данные alone не могут представить каждую редкую ситуацию. По этой причине симуляция играет центральную роль в закрытии разрыва в длинном хвосте. Через AlpaSim разработчики могут генерировать大量 контролируемых, но реалистичных сценариев, отражающих сложные и необычные ситуации. Эти могут включать частичную деградацию датчиков, непредсказуемое движение пешеходов или незнакомые опасности окружающей среды. Поскольку симуляция работает в замкнутом цикле, каждое решение о вождении влияет на то, что происходит дальше. Следовательно, система должна рассуждать над эволюционирующими условиями, а не реагировать на статические входные данные.

Проверка также становится более структурированной в этой среде. В дополнение к измерению точности траектории разработчики могут проверить, остаются ли следы рассуждений последовательными и достоверными под давлением. Это позволяет оценить не только то, что транспортное средство повело себя безопасно, но и то, что процесс принятия решений был правильным, тем самым смещая оценку безопасности с проб и ошибок на систематическое рассуждение. Объединив разнообразные реальные данные с рассуждениями, осведомленными о симуляции, Alpamayo помогает снизить проблему длинного хвоста в измеримой, проверяемой форме, поддерживая более безопасный прогресс в сторону продвинутого автономного вождения.

Влияние на отрасль и продолжающиеся проблемы

Alpamayo соответствует более широкой стратегии NVIDIA в области автономного вождения, интегрируя крупномасштабное обучение, симуляцию и развертывание транспортных средств. Обучение и оценка происходят на высокопроизводительных системах GPU в центрах обработки данных. Тем временем меньшие модели, полученные из этой работы, работают на автомобильном оборудовании, таком как платформа DRIVE Thor, обеспечивая принятие решений в реальном времени в транспортных средствах. Аналогично, связанные системы распространяются на робототехнику через платформы на основе Jetson. Следовательно, Alpamayo позволяет как дорожным транспортным средствам, так и другим физическим системам делиться общей основой разработки.

Интерес отрасли отражает этот подход. Несколько производителей и исследовательских групп тестируют Alpamayo в качестве слоя рассуждений над существующими системами восприятия. Например, Mercedes-Benz планирует изучить интеграцию в будущих транспортных средствах, в то время как Jaguar Land Rover изучает его использование для оценки сложных ситуаций вождения. В то же время организации, такие как Lucid, Uber и Berkeley DeepDrive, применяют Alpamayo для тестирования политики и проверки безопасности. Следовательно, платформа рассматривается не как замена автономных стеков, а как инструмент для улучшения логики безопасности и поддержки целей уровня 4.

Несмотря на эти достижения, несколько ключевых проблем остаются, и они требуют тщательного внимания. В частности, цепочка рассуждений может описывать решения после факта, а не отражать фактический внутренний процесс, что осложняет расследования аварий. Кроме того, передача осторожного поведения от крупных моделей в меньшие модели транспортных средств рискует ослабить запасы безопасности, если проверка недостаточна. Следовательно, тщательное тестирование имеет решающее значение для поддержания последовательного поведения под жесткими вычислительными ограничениями.

Различия в распределении создают продолжающиеся риски. Рассуждения, обученные в структурированных городских средах, могут не передаваться гладко в регионы с неформальным движением, густыми азиатскими перекрестками или непAVED сельскими дорогами. Следовательно, тщательная местная проверка и адаптация имеют важное значение для поддержания безопасности в различных условиях. Кроме того, общественное доверие и регулирующее одобрение зависят от демонстрации того, что выходы рассуждений приводят к реальным улучшениям в безопасности, таким как снижение деактиваций, почти столкновений и нарушений правил.

Хотя открытый подход Alpamayo к разработке поощряет сотрудничество, ее интеграция с экосистемой NVIDIA вызывает вопросы о долгосрочной зависимости от NVIDIA. Тем не менее, общий сдвиг в сторону автономии, основанной на рассуждениях, очевиден, и, подчеркивая прозрачность, подотчетность и измеримые результаты безопасности, этот подход приближает системы автономного вождения к безопасному развертыванию за пределами контролируемых пилотных программ.

Итог

Автономное вождение достигло точки, где восприятие alone больше не достаточно. Хотя транспортные средства могут видеть дорогу с высокой точностью, сложные ситуации все еще требуют понимания, суждения и объяснения. Следовательно, системы, основанные на рассуждениях, такие как Alpamayo, представляют собой важный сдвиг в том, как эти проблемы решаются. Объединив структурированные рассуждения, реалистичную симуляцию и прозрачную оценку, этот подход нацеливается на «крайние случаи», которые имеют наибольшее значение для безопасности.

Кроме того, он предоставляет инструменты, которые инженеры и регулирующие органы могут проверить и поставить под вопрос, что имеет важное значение для доверия. Однако рассуждения не удаляют все риски. Тщательная проверка, местное тестирование и регулирующее наблюдение остаются необходимыми. Тем не менее, сосредоточившись на том, почему принимаются решения, а не только на том, какие действия выполняются, автономия, основанная на рассуждениях, приближает технологию автономного вождения к безопасному и ответальному развертыванию на реальных дорогах.