Backboard.io представляє штабель штучної інфраструктури, орієнтованої на ефективність, корпоративний контроль та суверенну розгортку

Оскільки організації спішать прийняти штучний інтелект, розмова все частіше зосереджується не на сирій продуктивності моделі, а на більш практичному питанні: як підприємства можуть використовувати штучний інтелект за нижчою вартістю, зберігаючи контроль над своїми даними? Оттавська компанія Backboard.io вважає, що відповідь лежить не в усе більших кластерах GPU, а в тому, щоб зробити існуючу штучну інфраструктуру значно більш ефективною.

У Канадський день компанії було представлено чотири основні технології, що охоплюють стиснення моделей, штучну допомогу в розробці програмного забезпечення, багатомодельний доступ до штучного інтелекту та довгострокову пам’ять штучного інтелекту. Хоча оголошення підкреслює канадські корені компанії, ширша історія полягає в інфраструктурі, призначеній для підприємств, які хочуть зменшити витрати на штучний інтелект, зберігаючи чутливі робочі процеси всередині власних середовищ.

Розширення можливостей існуючих GPU

Можливо, найбільш технічно значуще оголошення – це BackboardQuant (BBQ), технологія стиснення моделей, яка, на думку компанії, може зменшити розміри моделей штучного інтелекту до 70%, зберігаючи майже ідентичну якість виводу.

Стиснення моделей стало все більш важливою областю досліджень штучного інтелекту, оскільки організації борються з зростаючими витратами на висновок. Менші моделі споживають менше пам’яті, вимагають менше апаратних ресурсів і можуть часто виконуватися швидше, що дозволяє організаціям розгортати просунуті моделі без постійного розширення потужності GPU.

За даними Backboard.io, внутрішнє тестування показало, що BBQ може забезпечити до 2,7-кратне прискорення висновку, що дозволяє одному GPU виконувати роботу, яка інакше могла б потребувати кілька прискорювачів. Замість заміни існуючих фундаментальних моделей технологія призначена для оптимізації їх для виробничих розгортань.

Конкуренція в штучній допомозі розробці програмного забезпечення

Компанія також представила Backboard Studio, платформу штучної допомоги в розробці програмного забезпечення, орієнтовану безпосередньо на один з найконкурентніших ринків штучного інтелекту.

Замість розробки власної моделі мови компанії Backboard обирає інший архітектурний підхід. Платформа розташовується поверх існуючих моделей, намагаючись покращити ефективність за допомогою оркестрації, управління контекстом, рекурсивних робочих процесів та оптимізації токенів. Розробники можуть вибирати з провідних комерційних моделей або відкритих альтернатив, тоді як платформа керує проектним контекстом, виконанням робочих процесів та генерацією виробничого коду.

Backboard стверджує, що платформа досягає результатів, які конкурують з провідними інструментами штучної допомоги в розробці програмного забезпечення, зменшуючи використання токенів до 30%, що є все більш важливим фактором, оскільки підприємства намагаються керувати операційними витратами на штучний інтелект.

Компанія також підкреслює гнучкість розгортання підприємства. Backboard Studio може працювати як хмарний сервіс або всередині інфраструктури організації, що дозволяє пропрієтарному вихідному коду залишатися всередині корпоративних середовищ замість передачі його третім сторонам, що надають послуги штучного інтелекту.

Nash консолідує тисячі моделей штучного інтелекту

Третій компонент оголошення – це Nash, уніфікована чат-додаток, який надає доступ до тисяч текстових та зображень моделей штучного інтелекту через єдиний інтерфейс.

Концепція вирішує зростаючу проблему підприємств, відомою як “тіньовий штучний інтелект”, коли співробітники самостійно приймають споживчі інструменти штучного інтелекту поза затвердженими корпоративними системами. Замість того, щоб намагатися заблокувати використання штучного інтелекту, Backboard позиціонує Nash як централізовану платформу, яка надає організаціям доступ до широкого спектра моделей, зберігаючи контроль над користувацькими даними та організаційною пам’яттю.

Базова інфраструктура також підтримує Bring Your Own Key (BYOK), адаптивне управління контекстом та маршрутизацію через тисячі доступних моделей через єдину платформу.

Обробка пам’яті як інфраструктури штучного інтелекту

Одним з визначальних технічних напрямів Backboard з моменту її заснування була тривала пам’ять штучного інтелекту.

Багатомодельні мови залишаються фундаментально безстанними, тобто розмови, уподобання та історичний контекст зазвичай зникають, якщо розробники не будують додаткову інфраструктуру навколо них. Backboard позиціонує себе як спеціалізований шар пам’яті, який працює з різними моделями штучного інтелекту та додатками, а не блокує користувачів у єдиній екосистемі.

Компанія стверджує, що її система пам’яті зараз займає перше місце як на LoCoMo, так і на LongMemEval, двох широко відомих оцінках, які вимірюють довгострокове розуміння контексту та продуктивність пам’яті. Раніше цього року Backboard описала пам’ять як фундаментальну інфраструктуру, а не просто ще одну функцію, накладену на існуючі моделі.

Ця архітектура дозволяє організаціям зберігати історію користувача, уподобання та контекстну інформацію навіть при перемиканні між різними мовними моделями.

Штучний інтелект, який залишається всередині корпоративних меж

У всіх чотирьох оголошеннях виникає послідовна філософія проектування: підприємства все частіше хочуть системи штучного інтелекту, які працюють під їхнім контролем.

Платформа Backboard може бути розгорнута всередині приватного хмара клієнта, що дозволяє організаціям зберігати володіння своїми даними, одночасно використовуючи сучасні можливості штучного інтелекту. Цілий підхід особливо актуальний для галузей, які обробляють чутливу інформацію, включаючи охорону здоров’я, фінансові послуги, уряд та критичну інфраструктуру, де нормативні вимоги часто обмежують використання зовнішніх послуг штучного інтелекту.

Замість того, щоб розглядати суверенітет лише як національну проблему, архітектура компанії зосереджена на корпоративному контролі – збереженні моделей, пам’яті та даних додатків всередині середовищ, керованих клієнтами.

Ростуча канадська історія інфраструктури штучного інтелекту

Хоча значна частина глобальної розмови про штучний інтелект залишається центрованою на розробниках фундаментальних моделей у Кремнієвій долині, Backboard представляє іншу категорію компаній штучного інтелекту, які набирають імпульс: будівельники інфраструктури, орієнтовані на те, щоб зробити існуючі моделі більш практичними для виробничих середовищ.

Заснована Робом Імбо, раніше співзасновником канадської компанії з програмного забезпечення для ланцюгів постачання Assent, Backboard зосередилася на покращенні економіки та операційних характеристик підприємства штучного інтелекту, а не на конкуренції з наступною моделлю мови. Раніше цього року компанія залучила попередній раунд фінансування, щоб продовжити розвиток своєї платформи інфраструктури штучного інтелекту.

Когда підприємницький штучний інтелект дозріває, технології, які зменшують витрати на висновок, покращують пам’ять, спрощують багатомодельне розгортання та дозволяють самозахистні середовища штучного інтелекту, можуть стати все більш важливими поряд з вдосконаленням можливостей моделей. Останні випуски Backboard відображають той же широкий зсув – від будівництва усе більших моделей до будівництва інфраструктури, яка допомагає організаціям витягувати більше цінності з моделей, які вони вже використовують.