Novas Fronteiras em IA Gerativa — Longe da Nuvem

No início, havia a internet, que mudou nossas vidas para sempre — a forma como nos comunicamos, compramos, realizamos negócios. E então, por motivos de latência, privacidade e eficiência de custo, a internet se moveu para a borda da rede, dando origem à “internet das coisas”.

Agora, há a inteligência artificial, que torna tudo o que fazemos na internet mais fácil, personalizado e inteligente. Para usá-la, no entanto, são necessários servidores grandes e capacidade de processamento alta, então ela é confinada à nuvem. Mas as mesmas motivações — latência, privacidade, eficiência de custo — impulsionaram empresas como Hailo a desenvolver tecnologias que permitem IA na borda.

Sem dúvida, a próxima grande coisa é IA gerativa. A IA gerativa apresenta um enorme potencial em várias indústrias. Ela pode ser usada para otimizar o trabalho e aumentar a eficiência de vários criadores — advogados, escritores de conteúdo, designers gráficos, músicos e mais. Ela pode ajudar a descobrir novos medicamentos terapêuticos ou auxiliar em procedimentos médicos. A IA gerativa pode melhorar a automação industrial, desenvolver novo código de software e melhorar a segurança do transporte por meio da síntese automática de vídeo, áudio, imagem e mais.

No entanto, a IA gerativa como existe hoje é limitada pela tecnologia que a possibilita. Isso ocorre porque a IA gerativa acontece na nuvem — grandes centros de dados de processadores de computador caros e consumidores de energia, longe dos usuários reais. Quando alguém emite um prompt para uma ferramenta de IA gerativa como ChatGPT ou alguma nova solução de videoconferência baseada em IA, o pedido é transmitido via internet para a nuvem, onde é processado por servidores antes que os resultados sejam retornados pela rede.

À medida que as empresas desenvolvem novas aplicações para IA gerativa e as implantam em diferentes tipos de dispositivos — câmeras de vídeo e sistemas de segurança, robôs industriais e pessoais, laptops e até carros — a nuvem é um gargalo em termos de largura de banda, custo e conectividade.

E para aplicações como assistente de direção, software de computador pessoal, videoconferência e segurança, mover constantemente dados sobre uma rede pode ser um risco para a privacidade.

A solução é permitir que esses dispositivos processem IA gerativa na borda. De fato, a IA gerativa baseada em borda está prestes a beneficiar muitas aplicações emergentes.

IA Gerativa em Ascensão

Considere que, em junho, Mercedes-Benz disse que introduziria ChatGPT em seus carros. Em um Mercedes com ChatGPT, por exemplo, um motorista poderia pedir ao carro — sem usar as mãos — uma receita de jantar com base em ingredientes que já tem em casa. Isso é, se o carro estiver conectado à internet. Em um estacionamento ou local remoto, todas as apostas estão fora.

Nos últimos dois anos, a videoconferência se tornou segunda natureza para a maioria de nós. Já, empresas de software estão integrando formas de IA em soluções de videoconferência. Talvez seja para otimizar a qualidade de áudio e vídeo em tempo real, ou para “colocar” pessoas no mesmo espaço virtual. Agora, videoconferências com IA gerativa podem criar automaticamente atas de reunião ou buscar informações relevantes de fontes da empresa em tempo real à medida que diferentes tópicos são discutidos.

No entanto, se um carro inteligente, sistema de videoconferência ou qualquer outro dispositivo de borda não puder alcançar a nuvem, então a experiência de IA gerativa não pode acontecer. Mas e se não tivessem que fazer isso? Soa como uma tarefa desafiadora, considerando o enorme processamento de IA na nuvem, mas agora está se tornando possível.

IA Gerativa na Borda

Já existem ferramentas de IA gerativa, por exemplo, que podem criar automaticamente apresentações do PowerPoint ricas e envolventes. Mas o usuário precisa que o sistema funcione de qualquer lugar, mesmo sem conexão com a internet.

Da mesma forma, estamos vendo uma nova classe de assistentes “copiloto” baseados em IA gerativa que mudarão fundamentalmente a forma como interagimos com nossos dispositivos de computação, automatizando muitas tarefas rotineiras, como criar relatórios ou visualizar dados. Imagine abrir um laptop, o laptop reconhecer você por meio de sua câmera e, em seguida, gerar automaticamente um curso de ação para o dia/semana/mês com base nas ferramentas mais usadas, como Outlook, Teams, Slack, Trello, etc. Mas para manter a privacidade de dados e uma boa experiência do usuário, você deve ter a opção de executar IA gerativa localmente.

Além de atender aos desafios de conexões instáveis e privacidade de dados, a IA de borda pode ajudar a reduzir as demandas de largura de banda e melhorar o desempenho de aplicativos. Por exemplo, se um aplicativo de IA gerativa estiver criando conteúdo rico em dados, como um espaço de conferência virtual, por meio da nuvem, o processo pode ser lento, dependendo da largura de banda disponível (e cara). E certos tipos de aplicações de IA gerativa, como segurança, robótica ou saúde, exigem respostas de alto desempenho e baixa latência que as conexões de nuvem não podem lidar.

Na segurança de vídeo, a capacidade de reidentificar pessoas à medida que elas se movem entre muitas câmeras — algumas colocadas onde as redes não podem alcançar — exige modelos de dados e processamento de IA nas próprias câmeras. Nesse caso, a IA gerativa pode ser aplicada a descrições automatizadas do que as câmeras veem por meio de consultas simples, como “Encontre a criança de 8 anos com a camiseta vermelha e boné de beisebol”.

Essa é a IA gerativa na borda.

Desenvolvimentos em IA de Borda

Por meio da adoção de uma nova classe de processadores de IA e do desenvolvimento de modelos de IA gerativa mais leves, eficientes, embora não menos poderosos, os dispositivos de borda podem ser projetados para operar inteligentemente onde a conectividade de nuvem é impossível ou indesejável.

É claro que o processamento de nuvem permanecerá um componente crítico da IA gerativa. Por exemplo, o treinamento de modelos de IA permanecerá na nuvem. Mas o ato de aplicar entradas de usuário a esses modelos, chamado de inferência, pode — e em muitos casos deve — acontecer na borda.

A indústria já está desenvolvendo modelos de IA mais leves, menores e mais eficientes que podem ser carregados em dispositivos de borda. Empresas como Hailo fabricam processadores de IA projetados especificamente para realizar processamento de rede neural. Esses processadores de rede neural não apenas lidam com modelos de IA de forma incrivelmente rápida, mas também o fazem com menos energia, tornando-os eficientes em termos de energia e adequados para uma variedade de dispositivos de borda, desde smartphones até câmeras.

Processar IA gerativa na borda também pode efetivamente equilibrar as cargas de trabalho em crescimento, permitir que os aplicativos sejam escalados de forma mais estável, aliviar os centros de dados de nuvem do processamento caro e ajudá-los a reduzir sua pegada de carbono.

A IA gerativa está prestes a mudar a computação novamente. No futuro, o LLM no seu laptop pode ser atualizado automaticamente da mesma forma que o sistema operacional hoje — e funcionar de forma muito semelhante. Mas para chegar lá, precisaremos habilitar o processamento de IA gerativa na borda da rede. O resultado promete ser um desempenho maior, eficiência de energia, privacidade e segurança. Tudo isso leva a aplicações de IA que mudam o mundo tanto quanto a própria IA gerativa.