Jason Knight es Co-fundador y Vicepresidente de Aprendizaje Automático en OctoAI – Serie de Entrevistas

Jason Knight es Co-fundador y Vicepresidente de Aprendizaje Automático en OctoAI, la plataforma entrega una pila completa para que los constructores de aplicaciones ejecuten, ajusten y escalen sus aplicaciones de inteligencia artificial en la nube o en las instalaciones.

OctoAI se creó a partir de la Universidad de Washington por los creadores originales de Apache TVM, una pila de código abierto para la portabilidad y el rendimiento de la inteligencia artificial. TVM permite que los modelos de inteligencia artificial se ejecuten de manera eficiente en cualquier hardware de backend, y se ha convertido rápidamente en una parte clave de la arquitectura de dispositivos de consumo populares como Amazon Alexa.

¿Puede compartir la inspiración detrás de la creación de OctoAI y el problema central que intentó resolver?

La inteligencia artificial ha sido tradicionalmente un campo complejo accesible solo para aquellos que se sienten cómodos con las matemáticas y la informática de alto rendimiento necesarias para crear algo con ella. Pero la inteligencia artificial desbloquea las interfaces de computación definitivas, es decir, texto, voz y programación de imágenes mediante ejemplos y retroalimentación, y lleva el poder completo de la computación a todos en la Tierra. Antes de la inteligencia artificial, solo los programadores podían hacer que las computadoras hicieran lo que querían escribiendo textos de lenguaje de programación arcano.

OctoAI se creó para acelerar nuestro camino hacia esa realidad para que más personas puedan usar y beneficiarse de la inteligencia artificial. Y las personas, a su vez, pueden usar la inteligencia artificial para crear aún más beneficios al acelerar las ciencias, la medicina, el arte y más.

Reflexionando sobre su experiencia en Intel (INTC ), ¿cómo sus roles anteriores lo prepararon para co-fundar y liderar el desarrollo en OctoAI?

Intel y las startups de hardware y biotecnología de inteligencia artificial antes de ella me dieron la perspectiva para ver lo difícil que es la inteligencia artificial incluso para las empresas de tecnología más sofisticadas, y sin embargo, lo valiosa que puede ser para aquellos que han descubierto cómo usarla. Y al ver que la brecha entre aquellos que se benefician de la inteligencia artificial en comparación con aquellos que no es principalmente una cuestión de infraestructura, cómputo y mejores prácticas, y no magia.

¿Qué diferencia a OctoStack de otras soluciones de implementación de inteligencia artificial disponibles en el mercado hoy en día?

OctoStack es la primera pila de tecnología completa diseñada específicamente para servir modelos de inteligencia artificial generativa en cualquier lugar. Ofrece una plataforma de producción de nivel empresarial que proporciona inferencia altamente optimizada, personalización de modelos y administración de activos a escala empresarial.

OctoStack permite a las organizaciones lograr la autonomía de la inteligencia artificial al ejecutar cualquier modelo en su entorno preferido con control total sobre los datos, los modelos y el hardware. También ofrece un rendimiento y una eficiencia de costo sin precedentes, con ahorros de hasta 12 veces en comparación con otras soluciones como GPT-4.

¿Puede explicar las ventajas de implementar modelos de inteligencia artificial en un entorno privado utilizando OctoStack?

Los modelos de hoy en día son ubicuos, pero ensamblar la infraestructura correcta para ejecutar esos modelos y aplicarlos con sus propios datos es donde comienza a girar la rueda de valor empresarial. Al utilizar estos modelos con sus datos más sensibles y convertirlos en conocimientos, mejores ingenierías de prompts, pipelines RAG y ajustes finos es donde puede obtener el mayor valor de la inteligencia artificial generativa. Pero todavía es difícil para todas las empresas, excepto las más sofisticadas, hacer esto solas, lo que es donde una solución integral como OctoStack puede acelerar y reunir las mejores prácticas en un solo lugar para sus practicantes.

Implementar modelos de inteligencia artificial en un entorno privado utilizando OctoStack ofrece varias ventajas, incluyendo una mayor seguridad y control sobre los datos y los modelos. Los clientes pueden ejecutar aplicaciones de inteligencia artificial generativa dentro de sus propios VPC o en las instalaciones, asegurando que sus datos permanezcan seguros y dentro de sus entornos elegidos. Este enfoque también proporciona a las empresas la flexibilidad para ejecutar cualquier modelo, ya sea de código abierto, personalizado o propiedad, mientras se benefician de reducciones de costos y mejoras en el rendimiento.

¿Qué desafíos enfrentó al optimizar OctoStack para admitir una amplia gama de hardware, y cómo se superaron estos desafíos?

Optimizar OctoStack para admitir una amplia gama de hardware implicó garantizar la compatibilidad y el rendimiento en varios dispositivos, como NVIDIA (NVDA ) y AMD GPUs y AWS Inferentia. OctoAI superó estos desafíos aprovechando su profunda experiencia en sistemas de inteligencia artificial, desarrollada a través de años de investigación y desarrollo, para crear una plataforma que se actualiza continuamente y admite nuevos tipos de hardware, casos de uso de GenAI y mejores prácticas. Esto permite a OctoAI ofrecer un rendimiento y una eficiencia de costo líderes en el mercado.

Además, obtener las últimas capacidades en inteligencia artificial generativa, como la multimodalidad, la llamada a funciones, el seguimiento estricto del esquema JSON, el alojamiento eficiente de ajustes finos y más, en manos de sus desarrolladores internos acelerará su punto de despegue de la inteligencia artificial.

OctoAI tiene una rica historia de aprovechar Apache TVM. ¿Cómo ha influido este marco en las capacidades de su plataforma?

Creamos Apache TVM para hacer que sea fácil para los desarrolladores sofisticados escribir bibliotecas de inteligencia artificial eficientes para GPUs y aceleradores más fácilmente. Lo hicimos porque obtener el mejor rendimiento de la hardware de GPU y acelerador era crítico para la inferencia de la inteligencia artificial entonces, al igual que lo es ahora.

Desde entonces, hemos aprovechado la misma mentalidad y experiencia para toda la pila de servidores de Gen AI para ofrecer automatización para un conjunto más amplio de desarrolladores.

¿Puede discutir alguna mejora significativa del rendimiento que ofrece OctoStack, como el impulso de rendimiento de 10 veces en implementaciones a gran escala?

OctoStack ofrece mejoras significativas del rendimiento, incluyendo ahorros de hasta 12 veces en comparación con otros modelos como GPT-4 sin sacrificar la velocidad o la calidad. También ofrece una mejor utilización de la GPU 4 veces y una reducción del 50 por ciento en los costos operativos, lo que permite a las organizaciones ejecutar implementaciones a gran escala de manera eficiente y rentable.

¿Puede compartir algunos casos de uso notables donde OctoStack ha mejorado significativamente la implementación de la inteligencia artificial para sus clientes?

Un caso de uso notable es Apate.ai, un servicio global que combate los estafas telefónicas utilizando inteligencia artificial conversacional generativa. Apate.ai aprovechó OctoStack para ejecutar de manera eficiente su conjunto de modelos de lenguaje en varias geografías, beneficiándose de la flexibilidad, la escalabilidad y la seguridad de OctoStack. Esta implementación permitió a Apate.ai ofrecer modelos personalizados que admiten varios idiomas y dialectos regionales, cumpliendo con sus requisitos de rendimiento y seguridad.

Además, servimos a cientos de ajustes para nuestro cliente OpenPipe. Si ellos tuvieran que iniciar instancias dedicadas para cada uno de estos, los casos de uso de sus clientes serían inviables a medida que crecen y evolucionan sus casos de uso y vuelven a entrenar continuamente sus ajustes finos de manera eficiente en parámetros para la máxima calidad de salida a precios rentables.

Gracias por la gran entrevista, los lectores que deseen aprender más pueden visitar OctoAI.