Nuevas fronteras en IA generativa: lejos de la nube

Al principio existía Internet, que cambió nuestras vidas para siempre: la forma en que nos comunicamos, compramos y hacemos negocios. Y luego, por razones de latencia, privacidad y rentabilidad, Internet se trasladó al borde de la red, dando lugar al "Internet de las cosas".

Ahora existe la inteligencia artificial, que hace que todo lo que hacemos en Internet sea más fácil, más personalizado y más inteligente. Sin embargo, para utilizarlo se necesitan servidores grandes y una gran capacidad informática, por lo que está confinado a la nube. Pero las mismas motivaciones (latencia, privacidad, rentabilidad) han impulsado a empresas como Hailo a desarrollar tecnologías que permiten la IA en el borde.

Sin duda, el próximo gran paso es IA generativa. La IA generativa presenta un enorme potencial en todas las industrias. Se puede utilizar para agilizar el trabajo y aumentar la eficiencia de varios creadores: abogados, redactores de contenido, diseñadores gráficos, músicos y más. Puede ayudar a descubrir nuevos fármacos terapéuticos o ayudar en procedimientos médicos. La IA generativa puede mejorar la automatización industrial, desarrollar nuevos códigos de software y mejorar la seguridad del transporte mediante la síntesis automatizada de video, audio, imágenes y más.

Sin embargo, la IA generativa tal como existe hoy está limitada por la tecnología que la habilita. Esto se debe a que la IA generativa ocurre en la nube: grandes centros de datos con procesadores informáticos costosos y que consumen energía, muy alejados de los usuarios reales. Cuando alguien envía un mensaje a una herramienta de inteligencia artificial generativa como ChatGPT o alguna nueva solución de videoconferencia basada en inteligencia artificial, la solicitud se transmite a través de Internet a la nube, donde los servidores la procesan antes de que los resultados se devuelvan a través de la red.

A medida que las empresas desarrollan nuevas aplicaciones para la IA generativa y las implementan en diferentes tipos de dispositivos (cámaras de video y sistemas de seguridad, robots industriales y personales, computadoras portátiles e incluso automóviles), la nube es un cuello de botella en términos de ancho de banda, costo y conectividad.

Y para aplicaciones como asistencia al conductor, software para computadoras personales, videoconferencias y seguridad, el movimiento constante de datos a través de una red puede representar un riesgo para la privacidad.

La solución es permitir que estos dispositivos procesen IA generativa al mismo tiempo. Edge. De hecho, la IA generativa basada en el borde beneficiará a muchas aplicaciones emergentes.

La IA generativa va en aumento

Considere que en junio, Mercedes-Benz dijo introduciría ChatGPT en sus coches. En un Mercedes mejorado con ChatGPT, por ejemplo, un conductor podría pedirle al auto, con las manos libres, una receta para la cena basada en ingredientes que ya tiene en casa. Es decir, si el coche está conectado a internet. En un estacionamiento o en una ubicación remota, todas las apuestas están canceladas.

En los últimos años, las videoconferencias se han convertido en algo natural para la mayoría de nosotros. Las empresas de software ya están integrando formas de IA en soluciones de videoconferencia. Tal vez sea para optimizar la calidad de audio y vídeo sobre la marcha, o para “colocar” a las personas en el mismo espacio virtual. Ahora, las videoconferencias generativas impulsadas por IA pueden crear automáticamente actas de reuniones o extraer información relevante de fuentes de la empresa en tiempo real a medida que se discuten diferentes temas.

Sin embargo, si un automóvil inteligente, un sistema de videoconferencia o cualquier otro dispositivo de borde no puede regresar a la nube, entonces la experiencia de IA generativa no puede ocurrir. Pero ¿y si no fuera necesario? Parece una tarea desalentadora teniendo en cuenta el enorme procesamiento de la IA en la nube, pero ahora se está volviendo posible.

IA generativa en el borde

Ya existen herramientas de inteligencia artificial generativa, por ejemplo, que pueden crear automáticamente presentaciones de PowerPoint ricas y atractivas. Pero el usuario necesita que el sistema funcione desde cualquier lugar, incluso sin conexión a Internet.

De manera similar, ya estamos viendo una nueva clase de asistentes “copilotos” basados ​​en IA generativa que cambiarán fundamentalmente la forma en que interactuamos con nuestros dispositivos informáticos al automatizar muchas tareas rutinarias, como crear informes o visualizar datos. Imagínese abrir una computadora portátil, que la computadora lo reconozca a través de su cámara y luego genere automáticamente un curso de acción para el día/semana/mes basado en sus herramientas más utilizadas, como Outlook, Teams, Slack, Trello, etc. Pero para mantener los datos privacidad y una buena experiencia de usuario, debe tener la opción de ejecutar IA generativa localmente.

Además de enfrentar los desafíos de las conexiones poco confiables y la privacidad de los datos, la IA perimetral puede ayudar a reducir las demandas de ancho de banda y mejorar el rendimiento de las aplicaciones. Por ejemplo, si una aplicación de IA generativa crea contenido rico en datos, como un espacio de conferencia virtual, a través de la nube, el proceso podría retrasarse dependiendo del ancho de banda disponible (y costoso). Y ciertos tipos de aplicaciones de IA generativa, como seguridad, robótica o atención médica, requieren respuestas de alto rendimiento y baja latencia que las conexiones en la nube no pueden manejar.

En seguridad por video, la capacidad de volver a identificar a las personas mientras se mueven entre muchas cámaras (algunas ubicadas donde las redes no pueden llegar) requiere modelos de datos y procesamiento de inteligencia artificial en las cámaras reales. En este caso, la IA generativa se puede aplicar a descripciones automatizadas de lo que ven las cámaras a través de consultas simples como: "Encuentra al niño de 8 años con la camiseta roja y la gorra de béisbol".

Fue IA generativa en el borde.

Desarrollos en la IA perimetral

Mediante la adopción de una nueva clase de procesadores de IA y el desarrollo de modelos de datos de IA generativos más ágiles y eficientes, aunque no menos potentes, se pueden diseñar dispositivos de borde para operar de manera inteligente donde la conectividad a la nube es imposible o indeseable.

Por supuesto, el procesamiento en la nube seguirá siendo un componente crítico de la IA generativa. Por ejemplo, los modelos de IA de entrenamiento permanecerán en la nube. Pero el acto de aplicar las entradas del usuario a esos modelos, llamado inferencia, puede (y en muchos casos debería) ocurrir en el borde.

La industria ya está desarrollando modelos de IA más ágiles, más pequeños y más eficientes que pueden cargarse en dispositivos periféricos. Empresas como Hailo fabricar procesadores de IA diseñados específicamente para realizar procesamiento de redes neuronales. Estos procesadores de redes neuronales no sólo manejan modelos de IA increíblemente rápido, sino que también lo hacen con menos energía, lo que los hace energéticamente eficientes y aptos para una variedad de dispositivos de vanguardia, desde teléfonos inteligentes hasta cámaras.

El procesamiento de IA generativa en el borde también puede equilibrar eficazmente las cargas de trabajo crecientes, permitir que las aplicaciones escalen de manera más estable, aliviar a los centros de datos en la nube del procesamiento costoso y ayudarlos a reducir su huella de carbono.

La IA generativa está preparada para cambiar la informática nuevamente. En el futuro, el LLM de su computadora portátil puede actualizarse automáticamente de la misma manera que lo hace su sistema operativo hoy y funcionar de manera muy similar. Pero para llegar allí, necesitaremos habilitar el procesamiento generativo de IA en el borde de la red. El resultado promete ser un mayor rendimiento, eficiencia energética y privacidad y seguridad. Todo lo cual conduce a aplicaciones de IA que cambian el mundo tanto como la propia IA generativa.