Backboard.io представила стек инфраструктуры ИИ, ориентированный на эффективность, контроль предприятия и суверенный развертывание

Когда организации спешат принять искусственный интеллект, разговор все чаще смещается от сырой производительности модели к более практическому вопросу: как можно ли chạy ИИ при более низких затратах, сохраняя при этом контроль над своими данными? Ottawa-based Backboard.io считает, что ответ лежит не в все более крупных кластерах GPU, а в том, чтобы сделать существующую инфраструктуру ИИ значительно более эффективной.

В День Канады компания представила четыре основных технологии, охватывающие сжатие модели, разработку программного обеспечения с помощью ИИ, доступ к нескольким моделям ИИ и долгосрочную память ИИ. Хотя объявление подчеркивает канадские корни компании, более широкая история заключается в инфраструктуре, предназначенной для предприятий, которые хотят сократить затраты на ИИ, сохраняя при этом чувствительные рабочие нагрузки внутри своих собственных сред.

Сделать существующие GPU более эффективными

Возможно, наиболее технически значимым объявлением является BackboardQuant (BBQ), технология сжатия модели, которую компания утверждает, может уменьшить размеры моделей ИИ до 70%, сохраняя при этом почти идентичное качество вывода.

Сжатие модели стало все более важной областью исследований ИИ, поскольку организации борются с растущими затратами на вывод. Меньшие модели потребляют меньше памяти, требуют меньше аппаратных ресурсов и могут часто выполняться быстрее, позволяя организациям развертывать передовые модели без постоянного расширения емкости GPU.

По данным Backboard.io, внутреннее тестирование показывает, что BBQ может обеспечить до 2,7 раза более быстрое вывод, фактически позволяя одному GPU выполнять работу, которая могла бы потребовать нескольких ускорителей. Вместо замены существующих фундаментальных моделей технология предназначена для оптимизации их для производственных развертываний.

Конкуренция в разработке программного обеспечения с помощью ИИ

Компания также представила Backboard Studio, платформу кодирования ИИ, ориентированную прямо на один из самых конкурентных рынков ИИ сегодня.

Вместо разработки собственной модели языка передового уровня Backboard использует другой архитектурный подход. Платформа находится поверх существующих моделей, пытаясь улучшить эффективность за счет оркестровки, управления контекстом, рекурсивных рабочих процессов и оптимизации токенов. Разработчики могут выбирать из ведущих коммерческих моделей или открытых альтернатив, в то время как платформа управляет контекстом проекта, выполнением рабочего процесса и генерацией кода, ориентированного на производство.

Backboard утверждает, что платформа достигает результатов бенчмарка, сопоставимых с ведущими помощниками кодирования, при этом снижая использование токенов до 30%, что является все более важным фактором, поскольку предприятия стремятся управлять эксплуатационными затратами на ИИ.

Компания также подчеркивает гибкость развертывания предприятия. Backboard Studio может работать либо как облачная служба, либо внутри инфраструктуры организации, позволяя проприетарный исходный код оставаться внутри корпоративных сред вместо передачи его третьим сторонам – поставщикам ИИ.

Nash консолидирует тысячи моделей ИИ

Третьим компонентом объявления является Nash, унифицированное приложение для чата, которое обеспечивает доступ к тысячам текстовых и изображений моделей ИИ через единый интерфейс.

Концепция решает растущую проблему предприятия, известную как “тень ИИ”, когда сотрудники самостоятельно принимают потребительские инструменты ИИ вне утвержденных корпоративных систем. Вместо того, чтобы пытаться заблокировать использование ИИ, Backboard позиционирует Nash как централизованную платформу, которая дает организациям доступ к широкому спектру моделей, сохраняя при этом контроль над данными пользователей и организационной памятью.

Базовая инфраструктура также поддерживает Bring Your Own Key (BYOK), адаптивное управление контекстом и маршрутизацию через тысячи доступных моделей через единую платформу.

Отношение к памяти как к инфраструктуре ИИ

Одним из определяющих технических фокусов Backboard с момента его запуска была постоянная память ИИ.

Большие языковые модели остаются фундаментально безсостоятельными, то есть разговоры, предпочтения и исторический контекст обычно исчезают, если разработчики не создают дополнительную инфраструктуру вокруг них. Backboard позиционировал себя как посвященный слой памяти, который работает на разных моделях ИИ и приложениях, а не блокирует пользователей в единой экосистеме.

Компания утверждает, что ее система памяти в настоящее время занимает первое место в обоих LoCoMo и LongMemEval, двух широко используемых оценках, которые измеряют контекстно-зависимое рассуждение и производительность постоянной памяти. Ранее в этом году Backboard описал память как фундаментальную инфраструктуру, а не просто еще одну функцию, наложенную на существующие модели.

Эта архитектура позволяет организациям сохранять историю пользователей, предпочтения и контекстные знания даже при переключении между разными языковыми моделями.

ИИ, который остается внутри границ предприятия

На протяжении всех четырех объявлений появляется последовательная философия проектирования: предприятия все чаще хотят системы ИИ, которые работают под их собственным управлением.

Платформа Backboard может быть развернута внутри частного облака клиента, позволяя организациям сохранять владение своими данными, используя при этом современные возможности ИИ. Этот подход особенно актуален для отраслей, которые занимаются чувствительной информацией, включая здравоохранение, финансовые услуги, государственные органы и критическую инфраструктуру, где нормативные требования часто ограничивают использование внешних услуг ИИ.

Вместо того, чтобы рассматривать суверенитет исключительно как национальный вопрос, архитектура компании фокусируется на контроле предприятия – сохранении моделей, памяти и данных приложений внутри сред, управляемых клиентами.

Растущая канадская история инфраструктуры ИИ

Хотя большая часть глобального разговора об ИИ по-прежнему сосредоточена на разработчиках фундаментальных моделей в долине Кремния, Backboard представляет собой другую категорию компаний ИИ, набирающих обороты: строители инфраструктуры, ориентированные на то, чтобы сделать существующие модели более практичными для производственных сред.

Основанная Робом Имбо, ранее сооснователем канадской компании по программному обеспечению для цепочки поставок Assent, Backboard сосредоточилась на улучшении экономики и эксплуатационных характеристик ИИ предприятия, а не на конкуренции за создание следующей модели языка передового уровня. Ранее в этом году компания привлекла раунд финансирования до семян для продолжения разработки своей платформы инфраструктуры ИИ.

Когда ИИ предприятия созревает, технологии, которые сокращают затраты на вывод, улучшают память, упрощают развертывание нескольких моделей и позволяют создавать самообслуживаемые среды ИИ, могут стать все более важными наряду с достижениями в возможностях моделей. Последние выпуски Backboard отражают этот более широкий сдвиг – от построения все более крупных моделей к построению инфраструктуры, которая помогает организациям извлекать больше ценности из моделей, которые они уже используют.