Интервью

Эндрю Нассар, технический директор IC Realtime — серия интервью

Antoine Tardif
Добавьте Unite.AI в избранные источники в Google
Andrew Nassar, CTO of IC Realtime, against a light gray background.
Ключевые моментыBunker выполняет основной ИИ-анализ на локальном шлюзе NVIDIA Jetson, чтобы снизить…
Показать больше
  • Bunker выполняет основной ИИ-анализ на локальном шлюзе NVIDIA Jetson, чтобы снизить зависимость от облака и ускорить оповещения.
  • Нассар отказывается создавать функции биометрической идентификации, поскольку наблюдение должно описывать события, а не профилировать людей.
  • Периферийный ИИ не является политикой конфиденциальности, так как облачные сервисы по-прежнему обеспечивают удалённый доступ и хранение истории видео.

Эндрю Нассар — технический директор IC Realtime. Он помогал компании адаптироваться к переходу от аналоговых камер к цифровой записи, удалённому видеонаблюдению и анализу видео с помощью ИИ. Более 20 лет работая в сфере видеонаблюдения, он сосредоточен на том, чтобы превращать достижения в области компьютерного зрения и периферийных вычислений в практические инструменты для понимания происходящего, поиска видеозаписей и повышения эффективности систем безопасности.

IC Realtime разрабатывает системы видеонаблюдения и программное обеспечение для жилых и коммерческих объектов. Платформа Bunker дополняет совместимые системы видеонаблюдения анализом с помощью ИИ, который выполняется на специальном шлюзе на базе NVIDIA Jetson. Это позволяет отправлять контекстные оповещения и искать видео с помощью запросов на естественном языке. Платформа сочетает локальный анализ с облачными сервисами удалённого доступа и хранения истории видео.

Вы помогали IC Realtime пройти путь от аналоговых камер к цифровой записи и удалённому видеонаблюдению, а теперь — к ИИ. Что убедило вас в том, что ИИ способен коренным образом изменить сферу видеонаблюдения, и какие достижения сделали сложный анализ видео на периферийных устройствах практически осуществимым?

Мы уже много лет используем машинное обучение и компьютерное зрение в наших камерах. Эти технологии стали гораздо полезнее, когда система научилась помогать человеку понимать, что произошло, и находить нужные видеозаписи, а не просто создавать больше видео для просмотра. Владельцу дома важно знать, на что стоит обратить внимание. Компании нужно находить записи об инцидентах, не тратя на поиски часы.

Bunker переносит этот подход на специальный шлюз NVIDIA Jetson, установленный на объекте. Если выполнять основные аналитические задачи ближе к камерам, можно меньше зависеть от передачи каждой из них в облако и повысить скорость отклика. Практическое преимущество заключается в сочетании локальных вычислений и программного обеспечения, которое превращает видео в контекстные оповещения и события, доступные для поиска.

Для меня главный критерий — доказанная практическая ценность. Технология должна решать реальную проблему в тех условиях, в которых клиент будет её использовать. Удачная демонстрация — только начало этого процесса.

На примере Bunker расскажите, пожалуйста, что происходит с момента, когда камера фиксирует событие, до получения пользователем оповещения. Какие функции ИИ выполняются локально, для чего всё ещё требуется облако и какие данные покидают объект?

В общих чертах процесс устроен так: совместимая камера передаёт видео на шлюз Bunker, где на самом объекте выполняется основной анализ с помощью ИИ. Платформа связывает обнаруженную активность с видеособытиями и может отправить контекстное оповещение со снимком и описанием простым языком. После этого пользователь может просмотреть видео в приложении.

В Bunker используется гибридная архитектура. Подключение к облаку обеспечивает удалённый доступ, услуги по подписке и хранение истории видео, поэтому было бы неверно называть платформу полностью независимой от облака или утверждать, что видео не покидает объект. Важно то, как защищаются данные, когда они всё же передаются за его пределы. Все данные шифруются при передаче, в том числе видео в реальном времени: оно остаётся зашифрованным на всём пути от шлюза до экрана пользователя. Промежуточная инфраструктура только передаёт видео и не может его просматривать. Каждый шлюз проходит аутентификацию с помощью собственного сертификата; общие учётные данные не используются. Видеозаписи, хранящиеся в облаке, также зашифрованы.

Клиенты должны получать чёткое объяснение того, как передаются данные, в том числе какие функции зависят от интернета и что происходит при потере соединения.

Камеры видеонаблюдения работают под дождём, в темноте и при ярком свете, а условия постоянно меняются. С каким самым серьёзным сбоем в реальных условиях вы сталкивались и как вы оцениваете, позволяют ли улучшения сократить число ложных тревог, не увеличивая количество пропущенных инцидентов?

Я работаю в этой отрасли более 20 лет, и технологии камер значительно улучшились, особенно при съёмке в условиях слабого освещения и в сложной обстановке. Теперь ночные и зашумлённые изображения по чёткости почти не уступают дневным. Тем не менее дождь, блики, туман и снег всё ещё могут снижать точность моделей ИИ. Более совершенные датчики не устраняют влияние этих факторов.

Поэтому мы выбрали динамический подход, который адаптируется к меняющимся условиям и времени суток, вместо того чтобы полагаться на одну неизменную конфигурацию. За последние два года разработки мы потратили тысячи часов на испытания в реальных условиях эксплуатации, а не только на стендовые тесты камер, и создали систему с учётом того, чему нас научил этот опыт.

Я бы не стал оценивать улучшение только по снижению числа уведомлений. Важно понять, позволяет ли оно отсечь несущественные оповещения и при этом не пропускать важные инциденты. Снижение числа ложных срабатываний имеет смысл, только если система остаётся полезной, когда происходит что-то действительно важное.

Обнаружить человека или транспортное средство — не то же самое, что определить, представляет ли поведение опасность. Как вы определяете аномалию, адаптируете это определение к каждому объекту и не допускаете, чтобы система принимала безобидную активность за угрозу?

Само по себе обнаружение объекта ещё не говорит о том, что возникла проблема. Доставка к главному входу и активность в закрытой зоне могут быть связаны с одним и тем же типом объекта, но требовать совершенно разной реакции. Отправной точкой должны быть задача клиента и особенности конкретного объекта.

Я бы отделил событие, которое стоит проверить, от вывода о том, что кто-то представляет угрозу. Система должна помогать человеку понять, что было замечено и почему на это обратили внимание, предоставляя доступ к исходной видеозаписи. Она не должна побуждать пользователя считать любое незнакомое действие свидетельством правонарушения.

По мере того как такие системы становятся функциональнее, важно научиться использовать этот контекст, не преувеличивая возможности ИИ. Человеческое суждение по-прежнему важно, особенно если оповещение может привести к серьезным последствиям.

Поиск на естественном языке обещает избавить от необходимости часами вручную просматривать записи. Как ваша система сопоставляет описание пользователя с нужным видео и как вы проверяете, не пропущены ли события, нет ли ошибочных совпадений и не содержат ли описания, созданные ИИ, сведений, которые не подтверждаются видеозаписью?

Идея состоит в том, чтобы видео можно было искать так, как человек сформулировал бы запрос в обычной речи. По мере обнаружения активности Bunker создает описания с временными метками и связывает их с соответствующими видеоэпизодами. Запрос пользователя используется для поиска в этом индексированном архиве и показа релевантных фрагментов видео. Так пользователь получает отправную точку и ему не нужно вручную просматривать всю запись.

Проверять результат нужно по самой видеозаписи. Созданное описание помогает ориентироваться, но его не следует считать более достоверным, чем то, что действительно зафиксировала камера.

При тестировании я бы разделил три вопроса. Пропустила ли система важное событие? Нашла ли она что-то, не соответствующее запросу? Содержит ли описание сведения, которые не подтверждаются видеозаписью? Это разные типы сбоев. Недостаточно оценивать только то, выдает ли поиск ответ, который выглядит правдоподобно.

Какие компромиссы, связанные с оборудованием NVIDIA Jetson, приходится учитывать в отношении размера модели, точности, энергопотребления и количества анализируемых видеопотоков с камер? Как вы обеспечиваете надежную работу со старыми камерами сторонних производителей, при достижении предела вычислительных возможностей или при потере интернет-соединения?

При проектировании важно понять, как обеспечить полезный анализ в пределах ресурсов, доступных на объекте. Сложность модели, объем обрабатываемого видео и требуемое время отклика должны укладываться в рабочие ограничения шлюза. Поэтому одно лишь число поддерживаемых видеопотоков не дает полного представления о производительности.

На момент запуска Bunker поддерживает до 10 видеопотоков с камер. Благодаря совместимости с камерами ONVIF клиенты могут сохранить имеющееся оборудование, однако совместимость необходимо проверять для каждой установки. Важны профили, прошивка, качество изображения и используемые функции.

Важно также точно говорить об устойчивости системы к сбоям. Локальная обработка и сервисы, подключенные к облаку, — это разные части системы; наличие периферийного шлюза не означает, что при отключении интернета все функции будут работать в обычном режиме. Надежность зависит и от обновлений. Перед установкой каждого обновления шлюз проверяет его цифровую подпись и целостность; старые уязвимые версии отклоняются, а после неудачного обновления система автоматически возвращается к предыдущей версии. Неудачное обновление не должно становиться причиной отключения системы безопасности на объекте.

Локальная обработка данных сама по себе не снимает всех вопросов о конфиденциальности. Где Bunker хранит видеозаписи, поисковые запросы и метаданные, созданные ИИ, как долго они сохраняются и кто может получить к ним доступ? Как вы совершенствуете модели, не предполагая, что у вас есть доступ к частным видеозаписям клиентов?

Согласен. «ИИ на периферии» — это еще не полноценная политика конфиденциальности. Клиенты должны понимать, куда передаются их данные, что сохраняется и кто может получить к этому доступ. Это касается не только видео, но и поисковых запросов и созданных описаний.

Видеозаписи и базы данных, лежащие в основе сервиса, зашифрованы при хранении. Пароли хранятся в виде хешей, а срок действия сеансов истекает, поэтому даже утечка базы данных не позволит злоумышленникам получить действующие учетные данные. Шлюз также зашифрован, так что украденное устройство не даст доступа ни к видеозаписям, ни к учетным данным. В стартовое предложение Bunker входили 60 дней хранения видео в облаке в тарифе Standard и 365 дней в тарифе Premium, а также Video Vault для фрагментов, которые клиент решит сохранить.

Мы не используем видеозаписи клиентов для обучения моделей и не создаем биометрические шаблоны людей, попавших в кадр. Использование клиентом нашего продукта не означает, что мы получили разрешение повторно использовать его личные видеозаписи.

Споры вокруг Flock Safety привлекли внимание к вопросам о том, кто может искать данные видеонаблюдения и своевременно ли ему закрывают доступ. Хотя ваша модель развертывания отличается, какие выводы применимы к вашим системам и какие меры защиты должны быть обязательными, а не опциональными?

Критика Flock связана не столько с ИИ, сколько с тем, кто может войти в систему и искать данные. Значительная часть претензий касалась безопасности учетных записей; в частности, законодатели спрашивали, почему многофакторная аутентификация не была обязательной. Если для поиска в системе видеонаблюдения достаточно украденного пароля, неважно, где работает модель.

В Bunker доступ к данным системы имеют только те пользователи, которым его предоставил владелец этой системы. Мы не передаем данные третьим лицам, не используем данные клиентов для обучения моделей и не создаем биометрические шаблоны.

Безопасность должна начинаться на устройстве и распространяться вплоть до учетной записи. Каждый шлюз Bunker поставляется с собственной криптографической идентичностью, поэтому нет паролей по умолчанию, которые нужно менять или которые злоумышленник мог бы выяснить. Прошивка проверяется при каждой загрузке, обновления подписываются и проверяются перед установкой, а вход в систему защищен многофакторной аутентификацией. Кроме того, доступ следует своевременно отзывать, когда в нем больше нет необходимости, а конфиденциальные действия должны фиксироваться в журнале, пригодном для аудита. Доверие зависит от возможности объяснить, кто и что сделал.

Люди, попавшие в объектив камеры, часто не являются теми, кто ее купил. Как системы видеонаблюдения с ИИ должны учитывать право на конфиденциальность соседей, сотрудников, посетителей и случайных прохожих? Есть ли возможности, которые вы сознательно отказались бы разрабатывать?

Установка должна иметь четко определенную цель, и именно она должна определять, что записывается, что анализируется и кто может видеть результаты. Желание обезопасить вход не означает, что вся деятельность на соседнем участке должна попадать в доступный для поиска архив.

Одна из установленных нами границ касается идентификации личности. Bunker не создает биометрические шаблоны и не связывает обнаруженных людей с конкретными личностями. Система описывает произошедшее, а не то, кем является человек. Благодаря этому она сосредоточена на событиях, а не на отслеживании людей или составлении их профилей.

Больше возможностей не обязательно означает большую ценность. Если функция создает серьезную проблему с точки зрения доверия и при этом не решает конкретную проблему клиента, это повод не разрабатывать ее.

Если заглянуть на три—пять лет вперед, какие значимые возможности, помимо обнаружения и поиска, доступных сегодня, по вашему мнению, откроет периферийный ИИ — и какую техническую проблему или проблему доверия нужно решить, прежде чем эта технология получит широкое распространение?

Откровенно говоря, будущее ИИ сейчас непредсказуемо, а события развиваются быстрее всего, с чем я сталкивался за свою карьеру. Мы почти ежедневно следим за этими изменениями и изучаем, где они могут принести реальную пользу пользователям нашей платформы.

Для нас важнее всего контекст, понимание и системы, которые постоянно обучаются и совершенствуются. Их ценность в том, что они помогают человеку разобраться в развивающейся ситуации и определить, на что нужно обратить внимание, вместо того чтобы собирать воедино цепочку отдельных уведомлений.

Техническая задача — обеспечить надежную работу в меняющихся условиях и в пределах возможностей локального оборудования. Задача, связанная с доверием, — сделать ограничения системы и принципы работы с данными понятными. Люди должны знать, что система наблюдала, какие выводы сделала и в каких случаях решение должен принять человек.

Спасибо за прекрасное интервью. Читателям, желающим узнать больше о профессиональных камерах видеонаблюдения, видеорегистраторах и системах видеонаблюдения на базе ИИ, стоит посетить сайт IC Realtime.

Антуан — дальновидный лидер и партнёр-основатель Unite.AI, движимый неизменной страстью к формированию и продвижению будущего ИИ и робототехники. Как предприниматель, основавший несколько компаний, он верит, что ИИ изменит общество столь же радикально, как электричество, и часто с воодушевлением говорит о потенциале прорывных технологий и общего искусственного интеллекта (AGI).

Как футуролог, он стремится исследовать, как эти инновации будут формировать наш мир. Кроме того, он основатель Securities.io — платформы, посвящённой инвестициям в передовые технологии, которые переопределяют будущее и преобразуют целые отрасли.