Не строите свой корпоративный ИИ на заимствованном доступе

Все приложения ИИ и корпоративные развертывания были построены до сих пор с предположением, что доступ к передовым моделям ИИ останется возможным и几乎 неограниченным. Это было правильным подходом, пока что. Тенденция заключалась в том, что новые возможности передовых моделей были коммодитизированы или открыты в течение 6 месяцев, и поэтому внимание было сосредоточено только на понимании будущих возможностей как можно раньше. Компании, команды или люди, которые могли создавать продукты, понимая и адаптируясь к новым передовым возможностям как можно раньше, чтобы создавать приложения, выигрывали. Однако несколько сигналов могут указывать на то, что эта эпоха скоро закончится. Решение Министерства торговли США ограничить доступ к моделям Fable и Mythos Anthropic для иностранных граждан было только первым сигналом. Однако это ограничение было позже снято после координации с Anthropic, показав, насколько быстро условия доступа могут измениться и насколько важно иметь адаптируемые корпоративные системы ИИ.

Четыре причины, почему доступ к передовым моделям не гарантирован

Менталитет построения только для передовых моделей может перестать быть правильным, если их доступность перестанет быть гарантированной. Есть хотя бы четыре причины, почему это может произойти. Первая, экономика передового ИИ построена на субсидированных ценах, которые не продлятся. Недавние приготовления к IPO от OpenAI и Anthropic заставили их открыть книги и明чно показать реальную стоимость текущих спонсируемых услуг ИИ, которая может не быть экономически жизнеспособной после IPO. Слухи говорят, что частная подписка Anthropic на $200 на самом деле стоит компании несколько тысяч. Следовательно, цены на токены, вероятно, будут продолжать расти, и эпоха искусственно дешевого доступа к передовым моделям закончится.

Вторая, передовые модели не становятся дешевле в эксплуатации. В отличие от классического вычисления, где закон Мура стабильно снижал стоимость любой операции с течением времени, ИИ, кажется, не следует этой кривой. Модели становятся больше, но также более требовательными к вычислениям. Все наши инженеры исчерпали свои кредиты Claude в течение 10 минут после (временного) выпуска fable 5. Это может намекнуть, что следующие передовые модели будут требовать больше токенов, больше вычислений и больше инфраструктуры с каждой итерацией.

Третья, кажется, что все меньше и меньше игроков фактически остаются в гонке за真正щие передовые модели. Mistral, когда-то надежда Европы конкурировать на глобальной арене передовых моделей, пересмотрел свои амбиции и стал скромным последователем. Китайские модели являются быстрыми последователями, но продолжают отставать от лучших выпусков ведущих лабораторий.

Наконец, передовые модели могут быть просто слишком опасными для использования в каждом приложении. Мы не используем миниатюризированные ядерные реакторы в автомобилях, частично потому, что это поле высоко регулируется и опасно. Эксперименты Anthropic показывают, что очень трудно держать передовую модель под контролем, чтобы гарантировать, что она остается безвредной, сохраняя при этом ее возможности. Это может быть долгосрочным реальным уроком и основной причиной регулирования Fable 5 в США. В любом случае, вероятно, что передовые модели будут рассматриваться как стратегические активы государствами и, следовательно, не будут так свободно доступны, как сейчас.

Следовательно, мы можем вступать в мир, где стоимость токенов имеет значение, и где передовые модели не будут доступны для всех приложений во всех странах.

Входит слой приложения

В мире, где не каждый вызов модели идет к лучшей доступной модели, как мы можем гарантировать, что каждая задача будет решена надежно и с лучшим возможным уровнем производительности? Ответ может лежать в так называемом “слое приложения”.

CEO NVIDIA Дженсен Хуанг описал ИИ как 5-слойный торт: энергия, чипы, центры данных, модели и приложения. Он утверждает, что слой приложения является одновременно наиболее важным и тем, который все еще в значительной степени отсутствует.

Для некоторых приложений, таких как чат-боты, этот слой чрезвычайно тонок – по сути, просто интерфейс чата. В других, таких как передовые промышленные и инженерные приложения, он намного более важен и критичен. Это определяющий слой в цепочке создания ценности. Поскольку доступ к конкретной передовой модели больше не будет гарантирован, роль слоя приложения будет заключаться в унификации результатов по моделям и контроле стоимости токенов.

Конкретно, если я хочу выполнить сложную, критически важную задачу, такую как переработка моей производственной цепочки для новой модели самолета, я попрошу мощную передовую модель помочь мне. Модель может быть в состоянии выяснить, как это сделать самостоятельно, создать инструмент планирования для меня и сообщить результат всем моим командам. Однако, если я переключусь на другую модель, более мощную, менее дорогую или от другого поставщика, я могу потерять производительность или потерять последовательность в моем окончательном выводе. Во многих практических случаях в корпоративных настройках эта непредсказуемость недопустима. Вот где слой приложения играет критическую роль: вместо того, чтобы позволять модели работать в открытом пространстве и полагаться на ее сырые возможности, чтобы произвести результат, слой приложения определяет четкую картину, ограниченный набор доступных действий и определенный периметр, внутри которого он может работать. Модель больше не просится выяснить все с нуля, ей предоставляется хорошо определенная картина, которая значительно повысит вероятность того, что любая модель будет работать хорошо.

С точки зрения стоимости, моя модель также может решить выполнить очень низкоуровневые действия, чтобы достичь своей цели. Она может переписать алгоритм планирования с нуля, создать новый интерфейс для меня, чтобы визуализировать свою работу, или даже разработать новый оптимизационный решатель. Но это может быть невероятно дорого в токенах, тогда как хорошие рекомендации или предварительно построенные инструменты могут помочь модели достичь того же результата с меньшим количеством токенов. Это роль слоя приложения. Хорошая новость заключается в том, что модели склонны быть ленивыми и искать более короткие пути, поэтому нам, возможно, не придется слишком сильно ограничивать их, как только они получат доступ к правильному набору навыков, инструментов и вычислительных ресурсов.

Вкратце, хороший слой приложения обеспечит четкие навыки, инструменты и рекомендации для модели, чтобы работать надежно и эффективно. Кроме того, это означает снижение зависимости от конкретной модели. если вы встроите свой интеллект в слой приложения, а не в саму модель, базовая модель становится взаимозаменяемой. Во многих случаях это может быть тем, что делает разницу между экспериментальным и масштабируемым корпоративным ИИ.

Призыв к действию для корпоративных лидеров

По всем отраслям мы встречаемся каждый день с корпоративными лидерами, работающими над установлением своего стека ИИ. Большинство компаний начинают с одного или нескольких поставщиков передовых моделей, чтобы установить необходимый слой моделей в своем стеке. Для слоя приложения они либо полагаются на самодельные инструменты, полностью приобретенные возможности или смесь обоих.

Запрет Anthropic был напоминанием о том, что этот стек может быть нарушен за одну ночь. Архитектуры компаний должны быть готовы к тому, когда это произойдет снова. Чтобы быть готовыми, компании должны учитывать скорость развертывания, но также строить решения, которые смягчат последствия изменений моделей, а также растущих затрат на токены. Это не простой путь, но мой совет будет:

• Инвестируйте в свое приложение стратегически и рано. Компании, которые пропускают поезд, всегда будут иметь пробел по сравнению с ранними принимающими
• Сделайте агностичность модели принципом дизайна, а не обходным путем
• Стоимость переключения моделей не должна быть экзистенциальным вопросом для ваших операций
• Партнерьте с специализированными компаниями, которые могут оценить модели, проверить производительность в нескольких настройках и помочь обеспечить долгосрочные гарантии производительности.

Компании, которые выиграют игру в следующей фазе корпоративного ИИ, не обязательно будут теми, у которых есть доступ к лучшим моделям, они будут теми, кто построит правильный слой вокруг них.