Yubei Chen, Co-Fundador da Aizip Inc – Série de Entrevistas

Yubei Chen é co-fundador da Aizip inc., uma empresa que constrói os menores e mais eficientes modelos de IA do mundo. Ele também é professor assistente no Departamento de ECE da Universidade da Califórnia, Davis. A pesquisa de Chen está na interseção da neurociência computacional e do aprendizado profundo auto-supervisionado, aprimorando nossa compreensão dos princípios computacionais que regem o aprendizado de representação auto-supervisionado em cérebros e máquinas, e redefinindo nossas percepções sobre estatísticas de sinais naturais.

Antes de se juntar à UC Davis, Chen fez seu estudo de pós-doutorado com o Prof. Yann LeCun no NYU Center for Data Science (CDS) e Meta Fundamental AI Research (FAIR). Ele completou seu Ph.D. no Redwood Center for Theoretical Neuroscience e Berkeley AI Research (BAIR), UC Berkeley, orientado pelo Prof. Bruno Olshausen.

Aizip desenvolve soluções de IA ultra-eficientes otimizadas para dispositivos de borda, oferecendo modelos compactos para aplicações de visão, áudio, série temporal, linguagem e fusão de sensores. Seus produtos permitem tarefas como reconhecimento de face e objeto, detecção de palavras-chave, análise de ECG/EEG e chatbots no dispositivo, todos alimentados por TinyML. Por meio de sua plataforma de nanofábrica de IA, Aizipline, a empresa acelera o desenvolvimento de modelos usando modelos de fundação e gerativos para impulsionar a automação completa do design de IA. A série de modelos de linguagem pequenos da Aizip (300M-2B parâmetros) suporta uma ampla gama de dispositivos, trazendo capacidades inteligentes para a borda.

Você fez seu pós-doutorado com Yann LeCun no NYU e Meta FAIR. Como o trabalho com ele e sua pesquisa na UC Berkeley moldaram sua abordagem para construir soluções de IA para o mundo real?

Em Berkeley, meu trabalho estava profundamente enraizado na investigação científica e na rigorosidade matemática. Minha pesquisa de Ph.D., que combinava engenharia elétrica, ciência da computação e neurociência computacional, se concentrou em entender os sistemas de IA de uma perspectiva “white-box”, ou desenvolvendo métodos para revelar as estruturas subjacentes dos dados e dos modelos de aprendizado. Eu trabalhei no desenvolvimento de modelos de IA interpretáveis e de alto desempenho e técnicas de visualização que ajudavam a abrir os sistemas de IA de caixa preta.

No Meta FAIR, o foco estava em engenharia de sistemas de IA para alcançar o desempenho de ponta em escala. Com acesso a recursos computacionais de classe mundial, eu explorei os limites do aprendizado auto-supervisionado e contribuí para o que agora chamamos de “modelos do mundo” — sistemas de IA que aprendem com dados e imaginam ambientes possíveis. Essa experiência dupla — compreensão científica em Berkeley e escalabilidade de engenharia no Meta — me deu uma perspectiva abrangente sobre o desenvolvimento de IA. Ela destacou a importância que tanto a visão teórica quanto a implementação prática têm quando você está desenvolvendo soluções de IA para aplicações do mundo real.

Sua pesquisa combina neurociência computacional com IA. Como as percepções da neurociência influenciam o modo como você desenvolve modelos de IA?

Na neurociência computacional, estudamos como o cérebro processa informações medindo suas respostas a vários estímulos, muito como fazemos ao estudar os mecanismos internos dos modelos de IA. No início de minha carreira, eu desenvolvi técnicas de visualização para analisar embeddings de palavras — quebrando palavras como “maçã” em seus elementos semânticos constituintes, como “fruta” e “tecnologia”. Mais tarde, essa abordagem se expandiu para modelos de IA mais complexos, como transformadores e grandes modelos de linguagem, o que ajudou a revelar como eles processam e armazenam conhecimento.

Esses métodos paralelizam técnicas em neurociência, como usar eletrodos ou fMRI para estudar a atividade cerebral. Investigar as representações internas de um modelo de IA permite que entendamos suas estratégias de raciocínio e detectemos propriedades emergentes, como neurônios de conceito que se ativam para ideias específicas (como a característica da Ponte Golden Gate que a Anthropic encontrou ao mapear Claude). Essa linha de pesquisa agora é amplamente adotada na indústria porque comprovou ser capaz de habilitar tanto a interpretabilidade quanto as intervenções práticas, removendo vieses dos modelos. Portanto, as abordagens inspiradas na neurociência essencialmente nos ajudam a tornar a IA mais explicável, confiável e eficiente.

O que o inspirou a co-fundar a Aizip? Pode compartilhar a jornada desde o conceito até o lançamento da empresa?

Como um pesquisador fundamental de IA, muito do meu trabalho era teórico, mas eu queria pontuar a lacuna entre a pesquisa e as aplicações do mundo real. Eu co-fundei a Aizip para trazer inovações de IA de ponta para uso prático, particularmente em ambientes com recursos limitados. Em vez de construir grandes modelos de fundação, nos concentramos em desenvolver os menores e mais eficientes modelos de IA, otimizados para dispositivos de borda.

A jornada basicamente começou com uma observação-chave: Embora os avanços em IA estivessem escalando rapidamente, as aplicações do mundo real frequentemente exigiam modelos leves e altamente eficientes. Então, vimos uma oportunidade de pioneirar uma nova direção que equilibrasse rigor científico com implantação prática. Aproveitando insights do aprendizado auto-supervisionado e arquiteturas de modelos compactos, a Aizip conseguiu entregar soluções de IA que operam de forma eficiente na borda e abrem novas possibilidades para a IA em sistemas incorporados, IoT e além.

A Aizip se especializa em modelos de IA pequenos para dispositivos de borda. Qual lacuna no mercado você viu que levou a esse foco?

A indústria de IA se concentrou principalmente em escalar os modelos, mas as aplicações do mundo real frequentemente exigem o oposto — alta eficiência, baixo consumo de energia e latência mínima. Muitos modelos de IA de hoje são computacionalmente caros demais para serem implantados em dispositivos pequenos e incorporados. Vimos uma lacuna no mercado para soluções de IA que pudessem entregar um desempenho sólido enquanto operavam dentro de restrições de recursos extremas.

Reconhecemos que não é necessário que todas as aplicações de IA rodem em modelos maciços, e também não seria escalável confiar em modelos desse tamanho para tudo. Em vez disso, nos concentramos em otimizar algoritmos para alcançar a máxima eficiência enquanto mantêm a precisão. Ao projetar modelos de IA personalizados para aplicações de borda — seja em sensores inteligentes, dispositivos vestíveis ou automação industrial — habilitamos a IA a rodar em lugares onde os modelos tradicionais seriam impraticáveis. Nossa abordagem torna a IA mais acessível, escalável e energeticamente eficiente, desbloqueando novas possibilidades para inovação impulsionada por IA além da nuvem.

A Aizip está à frente do desenvolvimento de Modelos de Linguagem Pequenos (SLMs). Como você vê os SLMs competindo ou complementando modelos maiores, como o GPT-4?

SLMs e modelos maiores, como o GPT-4, não estão necessariamente em competição direta, pois atendem a necessidades diferentes. Modelos maiores são poderosos em termos de generalização e raciocínio profundo, mas exigem recursos computacionais substanciais. SLMs são projetados para eficiência e implantação em dispositivos de borda de baixa potência. Eles complementam os modelos maiores, habilitando capacidades de IA em aplicações do mundo real onde a potência computacional, latência e custo importam — como em dispositivos IoT, dispositivos vestíveis e automação industrial. À medida que a adoção de IA cresce, vemos uma abordagem híbrida emergir, onde os modelos maiores, baseados em nuvem, lidam com consultas complexas, enquanto os SLMs fornecem inteligência localizada em tempo real na borda.

Quais são os principais desafios técnicos para tornar os modelos de IA eficientes o suficiente para dispositivos de borda de baixa potência?

Um dos desafios fundamentais é a falta de uma compreensão teórica completa de como os modelos de IA funcionam. Sem uma base teórica clara, os esforços de otimização são frequentemente empíricos, limitando os ganhos de eficiência. Além disso, o aprendizado humano ocorre de maneiras diversas que os paradigmas atuais de aprendizado de máquina não capturam completamente, tornando difícil projetar modelos que imitem a eficiência humana.

Do ponto de vista da engenharia, impulsionar a IA para funcionar dentro de restrições extremas exige soluções inovadoras em compressão de modelos, quantização e design de arquitetura. Outro desafio é criar modelos de IA que possam se adaptar a uma variedade de dispositivos e ambientes, mantendo a robustez. À medida que a IA interage cada vez mais com o mundo físico por meio de IoT e sensores, a necessidade de interfaces naturais e eficientes — como voz, gestos e outras entradas não tradicionais — se torna crítica. A IA na borda é sobre redefinir como os usuários interagem com o mundo digital de forma transparente.

Pode compartilhar alguns detalhes sobre o trabalho da Aizip com empresas como a Softbank?

Recentemente, nos associamos à SoftBank em um projeto de aquicultura que ganhou um prêmio de inovação do CES — um que estamos especialmente orgulhosos. Desenvolvemos um modelo de IA eficiente, baseado na borda, para uma aplicação de contagem de peixes que pode ser usada por operadores de fazendas de peixes. Essa solução aborda um desafio crítico na criação de peixes, que pode criar problemas de sustentabilidade, desperdício de alimentos e lucratividade. A indústria foi lenta em adotar a IA como solução devido à energia e conectividade não confiáveis no mar, tornando as soluções de IA baseadas em nuvem impraticáveis.

Para resolver isso, desenvolvemos uma solução baseada no dispositivo. Combinamos simulações gráficas computacionais da SoftBank para dados de treinamento com nossos modelos de IA compactos e criamos um sistema altamente preciso que roda em smartphones. Em testes de campo subaquáticos, alcançamos uma taxa de reconhecimento de 95%, melhorando significativamente a precisão da contagem de peixes. Isso permitiu que os agricultores otimizassem as condições de armazenamento, determinassem se os peixes deveriam ser transportados vivos ou congelados e detectassem possíveis doenças ou problemas de saúde nos peixes.

Essa inovação melhora a eficiência, reduz os custos e diminui a dependência do trabalho manual. Mais amplamente, demonstra como a IA pode ter um impacto tangível em problemas do mundo real.

A Aizip introduziu o conceito de “Nanofábrica de IA”. Pode explicar o que isso significa e como automatiza o desenvolvimento de modelos de IA?

A Nanofábrica de IA é nossa pipeline de automação de design de IA interna, inspirada na Automatização de Design Eletrônico (EDA) na fabricação de semicondutores. O desenvolvimento inicial em qualquer campo de tecnologia emergente envolve muito esforço manual, então a automação se torna fundamental para acelerar o progresso e escalar soluções à medida que o campo amadurece.

Em vez de usar apenas a IA para acelerar outras indústrias, perguntamos: a IA pode acelerar seu próprio desenvolvimento? A Nanofábrica de IA automatiza todas as etapas do desenvolvimento de modelos de IA, desde o processamento de dados até o design de arquitetura, seleção de modelo, treinamento, quantização, implantação e depuração. Aproveitando a IA para otimizar a si mesma, conseguimos reduzir o tempo de desenvolvimento para novos modelos por um fator médio de 10. Em alguns casos, mais de 1.000 vezes. Isso significa que um modelo que antes levava mais de um ano para ser desenvolvido agora pode ser criado em apenas algumas horas.

Outro benefício é que essa automação também garante que as soluções de IA sejam economicamente viáveis para uma ampla gama de aplicações, tornando a implantação de IA no mundo real mais acessível e escalável.

Como você vê o papel da IA de borda evoluindo nos próximos cinco anos?

A IA de borda promete transformar a forma como interagimos com a tecnologia, similarmente à como os smartphones revolucionaram o acesso à internet. A maioria das aplicações de IA hoje é baseada em nuvem, mas isso está começando a mudar à medida que a IA se move mais para perto dos sensores e dispositivos que interagem com o mundo físico. Essa mudança destaca a necessidade crítica de processamento em tempo real e eficiente na borda.

Nos próximos cinco anos, esperamos que a IA de borda permita interações humanas mais naturais com a tecnologia, como reconhecimento de voz e gestos e outras interfaces intuitivas, que removeriam a dependência de barreiras tradicionais como teclados e telas sensíveis ao toque. A IA também deve se tornar mais incorporada em ambientes do dia a dia, como casas inteligentes ou automação industrial, para permitir a tomada de decisões em tempo real com latência mínima.

Outra tendência importante será o aumento da autonomia dos sistemas de IA de borda. Os modelos de IA se tornarão mais auto-otimizados e adaptáveis graças aos avanços na automação do tipo Nanofábrica de IA, de modo que poderão reduzir a necessidade de intervenção humana na implantação e manutenção. Isso abrirá novas oportunidades em várias indústrias, como saúde, automotiva e agricultura.

Quais são os dispositivos de IA que a Aizip está desenvolvendo que você está mais animado?

Estamos trabalhando para expandir os casos de uso para nossos modelos em novas indústrias, e uma que estamos particularmente animados é um Agente de IA para o setor automotivo. Há um crescimento de momentum, especialmente entre os fabricantes de automóveis chineses, para desenvolver assistentes de voz alimentados por modelos de linguagem que se sentem mais como o ChatGPT dentro da cabine. O desafio é que a maioria dos assistentes atuais ainda depende da nuvem, especialmente para diálogos naturais e flexíveis. Apenas tarefas de comando e controle básicas (como “ligar o ar condicionado” ou “abrir o porta-malas”) geralmente são executadas localmente no veículo, e a natureza rígida desses comandos pode se tornar uma distração para os motoristas se eles não os memorizarem com precisão total.

Desenvolvemos uma série de agentes de IA ultra-eficientes e alimentados por SLMs, chamados Gizmo, que estão sendo usados em várias aplicações para diferentes indústrias, e estamos trabalhando para implantá-los como “co-pilotos” para veículos também. O Gizmo é treinado para entender a intenção de forma mais sutil e, quando servindo como Agente de IA do veículo, poderia executar comandos por meio de linguagem conversacional e livre. Por exemplo, o agente poderia ajustar a temperatura da cabine se o motorista simplesmente dissesse “Estou com frio” ou responder a um prompt como “Estou dirigindo para Boston amanhã, o que devo vestir?” verificando o clima e oferecendo uma sugestão.

Porque eles rodando localmente e não dependem da nuvem, esses agentes continuam funcionando em áreas de zona morta ou com conectividade ruim, como túneis, montanhas ou estradas rurais. Eles também melhoram a segurança, dando aos motoristas controle total por voz sem tirar a atenção da estrada. E, em uma nota separada e mais leve, também menciono que estamos atualmente no processo de colocar um modelo de karaokê alimentado por IA para veículos e alto-falantes Bluetooth em produção, que roda localmente como o co-piloto. Basicamente, ele pega qualquer entrada de áudio e remove as vozes humanas, permitindo criar uma versão de karaokê de qualquer música em tempo real. Então, além de ajudar os clientes a gerenciar os controles do carro de forma mais segura, também estamos procurando maneiras de tornar a experiência mais divertida.

Essas soluções, as que fazem uma diferença significativa na vida das pessoas, são as que mais nos orgulham.

A Aizip desenvolve soluções de IA ultra-eficientes otimizadas para dispositivos de borda, oferecendo modelos compactos para aplicações de visão, áudio, série temporal, linguagem e fusão de sensores. Seus produtos permitem tarefas como reconhecimento de face e objeto, detecção de palavras-chave, análise de ECG/EEG e chatbots no dispositivo, todos alimentados por TinyML. Por meio de sua plataforma de nanofábrica de IA, Aizipline, a empresa acelera o desenvolvimento de modelos usando modelos de fundação e gerativos para impulsionar a automação completa do design de IA. A série de modelos de linguagem pequenos da Aizip (300M-2B parâmetros) suporta uma ampla gama de dispositivos, trazendo capacidades inteligentes para a borda.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar Aizip.