Novas fronteiras em IA generativa – longe da nuvem

No início existia a internet, que mudou nossas vidas para sempre – a forma como nos comunicamos, fazemos compras, conduzimos negócios. E então, por razões de latência, privacidade e economia, a Internet migrou para a borda da rede, dando origem à “Internet das coisas”.

Agora existe a inteligência artificial, que torna tudo o que fazemos na internet mais fácil, mais personalizado, mais inteligente. Para utilizá-lo, porém, são necessários grandes servidores e alta capacidade computacional, por isso fica confinado à nuvem. Mas as mesmas motivações – latência, privacidade, eficiência de custos – levaram empresas como a Hailo a desenvolver tecnologias que permitem a IA no limite.

Sem dúvida, a próxima grande novidade é IA generativa. A IA generativa apresenta um enorme potencial em todos os setores. Ele pode ser usado para agilizar o trabalho e aumentar a eficiência de vários criadores – advogados, redatores de conteúdo, designers gráficos, músicos e muito mais. Pode ajudar a descobrir novos medicamentos terapêuticos ou auxiliar em procedimentos médicos. A IA generativa pode melhorar a automação industrial, desenvolver novos códigos de software e aumentar a segurança do transporte por meio da síntese automatizada de vídeo, áudio, imagens e muito mais.

No entanto, a IA generativa tal como existe hoje é limitada pela tecnologia que a permite. Isso ocorre porque a IA generativa acontece na nuvem – grandes centros de dados com processadores de computador caros e que consomem energia, muito distantes dos usuários reais. Quando alguém emite um aviso para uma ferramenta generativa de IA como o ChatGPT ou alguma nova solução de videoconferência baseada em IA, a solicitação é transmitida pela Internet para a nuvem, onde é processada pelos servidores antes que os resultados sejam retornados pela rede.

À medida que as empresas desenvolvem novas aplicações para IA generativa e as implementam em diferentes tipos de dispositivos – câmaras de vídeo e sistemas de segurança, robôs industriais e pessoais, computadores portáteis e até automóveis – a nuvem é um estrangulamento em termos de largura de banda, custo e conectividade.

E para aplicações como assistência ao motorista, software de computador pessoal, videoconferência e segurança, a movimentação constante de dados em uma rede pode ser um risco à privacidade.

A solução é permitir que esses dispositivos processem IA generativa no Beira. Na verdade, a IA generativa baseada na borda pode beneficiar muitas aplicações emergentes.

IA generativa em ascensão

Considere que em junho, Mercedes-Benz disse introduziria o ChatGPT em seus carros. Em um Mercedes aprimorado pelo ChatGPT, por exemplo, um motorista poderia pedir ao carro – com as mãos livres – uma receita de jantar baseada em ingredientes que já tem em casa. Isto é, se o carro estiver conectado à internet. Em um estacionamento ou local remoto, todas as apostas estão canceladas.

Nos últimos anos, a videoconferência tornou-se uma segunda natureza para a maioria de nós. As empresas de software já estão integrando formas de IA em soluções de videoconferência. Talvez seja para otimizar a qualidade de áudio e vídeo rapidamente ou para “colocar” pessoas no mesmo espaço virtual. Agora, videoconferências generativas alimentadas por IA podem criar automaticamente atas de reuniões ou obter informações relevantes de fontes da empresa em tempo real, à medida que diferentes tópicos são discutidos.

No entanto, se um carro inteligente, um sistema de videoconferência ou qualquer outro dispositivo de ponta não conseguir chegar à nuvem, a experiência de IA generativa não poderá acontecer. Mas e se eles não precisassem? Parece uma tarefa difícil, considerando o enorme processamento da IA ​​na nuvem, mas agora está se tornando possível.

IA generativa no Edge

Já existem ferramentas generativas de IA, por exemplo, que podem criar automaticamente apresentações em PowerPoint ricas e envolventes. Mas o usuário precisa que o sistema funcione de qualquer lugar, mesmo sem conexão com a internet.

Da mesma forma, já estamos vendo uma nova classe de assistentes “copilotos” generativos baseados em IA que mudarão fundamentalmente a forma como interagimos com nossos dispositivos de computação, automatizando muitas tarefas rotineiras, como a criação de relatórios ou a visualização de dados. Imagine abrir um laptop, o laptop reconhecendo você através de sua câmera e, em seguida, gerando automaticamente um curso de ação para o dia/semana/mês com base nas ferramentas mais usadas, como Outlook, Teams, Slack, Trello, etc. privacidade e uma boa experiência do usuário, você deve ter a opção de executar IA generativa localmente.

Além de enfrentar os desafios de conexões não confiáveis ​​e privacidade de dados, a IA de ponta pode ajudar a reduzir as demandas de largura de banda e melhorar o desempenho dos aplicativos. Por exemplo, se uma aplicação generativa de IA estiver criando conteúdo rico em dados, como um espaço de conferência virtual, por meio da nuvem, o processo poderá atrasar dependendo da largura de banda disponível (e cara). E certos tipos de aplicações generativas de IA, como segurança, robótica ou saúde, exigem respostas de alto desempenho e baixa latência que as conexões em nuvem não conseguem suportar.

Na segurança por vídeo, a capacidade de reidentificar pessoas à medida que elas se movem entre muitas câmeras – algumas colocadas onde as redes não conseguem alcançá-las – requer modelos de dados e processamento de IA nas câmeras reais. Nesse caso, a IA generativa pode ser aplicada a descrições automatizadas do que as câmeras veem por meio de consultas simples como “Encontre a criança de 8 anos com camiseta vermelha e boné de beisebol”.

É isso que o IA generativa na borda.

Desenvolvimentos em Edge AI

Através da adoção de uma nova classe de processadores de IA e do desenvolvimento de modelos de dados de IA generativos mais enxutos e eficientes, embora não menos poderosos, os dispositivos de borda podem ser projetados para operar de forma inteligente onde a conectividade em nuvem é impossível ou indesejável.

É claro que o processamento em nuvem continuará a ser um componente crítico da IA ​​generativa. Por exemplo, os modelos de IA de treinamento permanecerão na nuvem. Mas o ato de aplicar informações do usuário a esses modelos, chamado de inferência, pode — e em muitos casos deveria — acontecer no limite.

A indústria já está desenvolvendo modelos de IA mais enxutos, menores e mais eficientes que podem ser carregados em dispositivos de ponta. Empresas como Hailo fabricar processadores de IA projetados especificamente para realizar processamento de redes neurais. Esses processadores de redes neurais não apenas lidam com modelos de IA de forma incrivelmente rápida, mas também o fazem com menos energia, tornando-os energeticamente eficientes e aptos para uma variedade de dispositivos de ponta, de smartphones a câmeras.

O processamento de IA generativa na borda também pode equilibrar efetivamente cargas de trabalho crescentes, permitir que os aplicativos sejam escalonados de forma mais estável, aliviar os data centers em nuvem do processamento dispendioso e ajudá-los a reduzir sua pegada de carbono.

A IA generativa está preparada para mudar a computação novamente. No futuro, o LLM do seu laptop poderá ser atualizado automaticamente da mesma forma que o seu sistema operacional faz hoje – e funcionar da mesma maneira. Mas para chegar lá, precisaremos habilitar o processamento generativo de IA na borda da rede. O resultado promete ser maior desempenho, eficiência energética, além de privacidade e segurança. Tudo isto leva a aplicações de IA que mudam o mundo tanto quanto a própria IA generativa.