Джейсон Найт – сооснователь и вице-президент по машинному обучению в OctoAI – Интервью

Джейсон Найт – сооснователь и вице-президент по машинному обучению в OctoAI, платформа, которая предоставляет полный стек для разработчиков приложений, чтобы запускать, настраивать и масштабировать свои приложения искусственного интеллекта в облаке или на месте.

OctoAI была создана на основе технологий Университета Вашингтона оригинальными создателями Apache TVM, открытого стека для переносимости и производительности машинного обучения. TVM позволяет моделям машинного обучения работать эффективно на любом аппаратном обеспечении, и быстро стал ключевой частью архитектуры популярных потребительских устройств, таких как Amazon Alexa.

Можете ли вы поделиться вдохновением, лежащим в основе создания OctoAI, и основной проблемой, которую вы стремились решить?

Искусственный интеллект традиционно был сложной областью, доступной только тем, кто комфортно чувствует себя с математикой и высокопроизводительным вычислением, необходимыми для создания чего-либо с его помощью. Но искусственный интеллект открывает конечные вычислительные интерфейсы, такие как текст, голос и изображения, запрограммированные на примерах и обратной связи, и приносит полную силу вычислений каждому человеку на Земле. До искусственного интеллекта только программисты могли заставить компьютеры делать то, что они хотели, написав тексты на арканном программном языке.

OctoAI была создана, чтобы ускорить наш путь к этой реальности, чтобы больше людей могли использовать и получать пользу от искусственного интеллекта. И люди, в свою очередь, могут использовать искусственный интеллект, чтобы создать еще больше пользы, ускоряя науку, медицину, искусство и многое другое.

Вспоминая ваш опыт в Intel (INTC ), как ваши предыдущие роли подготовили вас к сооснованию и руководству разработкой в OctoAI?

Intel и стартапы в области искусственного интеллекта и биотехнологий до этого дали мне перспективу, чтобы увидеть, насколько искусственный интеллект сложен даже для самых передовых технологических компаний, и насколько он может быть ценен для тех, кто смог его использовать. И увидеть, что разрыв между теми, кто пользуется искусственным интеллектом, и теми, кто еще не пользуется, в основном заключается в инфраструктуре, вычислительных ресурсах и лучших практиках – а не в магии.

Что отличает OctoStack от других решений для развертывания искусственного интеллекта, доступных на рынке сегодня?

OctoStack – это первый в отрасли полный технологический стек, предназначенный специально для обслуживания моделей генеративного искусственного интеллекта где угодно. Он предлагает готовую платформу для производства, которая обеспечивает высоко оптимизированное вывод, настройку модели и управление активами в масштабе предприятия.

OctoStack позволяет организациям достичь автономии искусственного интеллекта, запуская любую модель в своей предпочитаемой среде с полным контролем над данными, моделями и оборудованием. Он также обеспечивает беспрецедентную производительность и экономическую эффективность, с экономией до 12 раз по сравнению с другими решениями, такими как GPT-4.

Можете ли вы объяснить преимущества развертывания моделей искусственного интеллекта в частной среде с помощью OctoStack?

Модели в настоящее время повсюду, но сборка правильной инфраструктуры для запуска этих моделей и применения их с вашими собственными данными – это то место, где бизнес-ценность начинает вращаться. Использование этих моделей с вашими наиболее чувствительными данными, а затем превращение их в идеи, лучшую инженерию подсказок, конвейеры RAG и тонкая настройка – это то место, где вы можете получить максимальную пользу от генеративного искусственного интеллекта. Но это все еще сложно для всех, кроме самых передовых компаний, сделать это самостоятельно, что является местом, где решение, такое как OctoStack, может ускорить вас и объединить лучшие практики в одном месте для ваших практиков.

Развертывание моделей искусственного интеллекта в частной среде с помощью OctoStack предлагает несколько преимуществ, включая повышенную безопасность и контроль над данными и моделями. Клиенты могут запускать приложения генеративного искусственного интеллекта внутри своих собственных VPC или на месте, обеспечивая, что их данные остаются безопасными и в их выбранной среде. Этот подход также обеспечивает бизнесу гибкость для запуска любой модели, будь то открытая, настраиваемая или проприетарная, при этом пользуясь экономией затрат и улучшением производительности.

Какие проблемы вы столкнулись при оптимизации OctoStack для поддержки широкого спектра оборудования, и как эти проблемы были преодолены?

Оптимизация OctoStack для поддержки широкого спектра оборудования включала обеспечение совместимости и производительности на различных устройствах, таких как NVIDIA (NVDA ) и AMD GPU и AWS Inferentia. OctoAI преодолела эти проблемы, используя свой глубокий опыт в области систем искусственного интеллекта, разработанный за годы исследований и разработок, для создания платформы, которая непрерывно обновляет и поддерживает дополнительные типы оборудования, случаи использования генеративного искусственного интеллекта и лучшие практики. Это позволяет OctoAI обеспечить ведущую производительность и экономическую эффективность.

Кроме того, получение последних возможностей генеративного искусственного интеллекта, таких как многомодальность, вызов функций, строгое следование схеме JSON, эффективное размещение тонкой настройки и многое другое, в руки ваших внутренних разработчиков ускорит вашу точку взлета искусственного интеллекта.

OctoAI имеет богатую историю использования Apache TVM. Как этот каркас повлиял на возможности вашей платформы?

Мы создали Apache TVM, чтобы сделать легко для опытных разработчиков писать эффективные библиотеки искусственного интеллекта для GPU и ускорителей более легко. Мы сделали это, потому что получение максимальной производительности от оборудования GPU и ускорителей было критически важным для вывода искусственного интеллекта тогда, как и сейчас.

Мы с тех пор использовали тот же подход и опыт для всего стека обслуживания генеративного искусственного интеллекта, чтобы обеспечить автоматизацию для более широкого круга разработчиков.

Можете ли вы обсудить какие-либо значительные улучшения производительности, которые предлагает OctoStack, такие как 10-кратное улучшение производительности в крупномасштабных развертываниях?

OctoStack предлагает значительные улучшения производительности, включая экономию до 12 раз по сравнению с другими моделями, такими как GPT-4, без жертвования скоростью или качеством. Он также обеспечивает 4-кратное улучшение использования GPU и 50-процентное снижение операционных затрат, позволяя организациям запускать крупномасштабные развертывания эффективно и экономически.

Можете ли вы поделиться некоторыми заметными случаями, когда OctoStack значительно улучшил развертывание искусственного интеллекта для ваших клиентов?

Заметным случаем является Apate.ai, глобальная служба, борющаяся с телефонными мошенничествами с помощью генеративного разговорного искусственного интеллекта. Apate.ai использовала OctoStack для эффективного запуска своей коллекции языковых моделей в нескольких географиях, пользуясь гибкостью, масштабируемостью и безопасностью OctoStack. Это развертывание позволило Apate.ai предоставить настраиваемые модели, поддерживающие несколько языков и региональных диалектов, удовлетворяя их производственным и безопасным требованиям.

Кроме того, мы обслуживаем сотни тонких настроек для нашего клиента OpenPipe. Если бы они запустили выделенные экземпляры для каждой из них, случаи использования их клиентов были бы невозможны, поскольку они растут и развивают свои случаи использования и непрерывно переобучают свои параметро-эффективные тонкие настройки для максимального качества вывода по экономически эффективным ценам.

Спасибо за отличное интервью, читатели, которые хотят узнать больше, должны посетить OctoAI.