Ludovic Larzul, Fundador e CEO da Mipsology – Série de Entrevistas

Ludovic Larzul é o fundador e CEO da Mipsology, uma startup inovadora focada em aceleração de estado da arte para inferência de aprendizado profundo. Eles desenvolveram tecnologia para acelerar os cálculos de redes neurais de inferência e ocultar o acelerador de hardware dos usuários de IA. O Zebra da Mipsology é o primeiro acelerador comercial que encapsula essa tecnologia para fornecer alto desempenho e facilidade de uso.

O que o levou a se interessar por IA e microchips?

Trabalhei no design de um tipo específico de supercomputador por cerca de 20 anos com minha empresa anterior, EVE, antes de ser adquirida pela Synopsys em 2012. Esses computadores, também chamados de emuladores de ASIC, são usados por muitas empresas que projetam ASICs em todo o mundo. Eu gostava muito da complexidade e diversidade desse trabalho. Para ter sucesso, você precisa (a) entender eletrônica, software, algoritmos complexos, como as pessoas projetam chips e como garantir que eles funcionem corretamente, arquitetura de chip, potência e mais tecnologia avançada, (b) prever corretamente as necessidades dos clientes alguns anos antes, (c) inovar continuamente e (d) como uma startup, derrotar a concorrência com muito menos recursos. Depois de 20 anos de sucesso, eu estava procurando por um novo desafio. Foi nesse momento que a IA começou a voltar ao centro das atenções. O AlexNet deu um salto para entender imagens (e olhando para trás, ainda estava em sua infância). O aprendizado profundo era novo, mas promissor (Quem se lembra de quando levava dias para obter um resultado em uma rede simples?). Eu achei isso muito “divertido”, mas reconheci que havia muitos desafios.

Qual foi a inspiração por trás do lançamento da Mipsology?

Não sei se usaria a palavra “inspiração”. Era mais como: “Podemos fazer algo que seja diferente e melhor?” Começou com suposições sobre o que as pessoas de IA gostariam e fariam, e os próximos anos foram gastos encontrando soluções cada vez melhores com base nisso. Acho que mais do que inspiração, diria que as pessoas com quem trabalho gostam de ser as melhores no que criam, com uma atitude positiva de competição. Isso cria uma equipe forte que pode resolver problemas que os outros não conseguem resolver adequadamente.

A Mipsology usa placas FPGA em vez de GPUs. Pode descrever o que são FPGA?

FPGA são componentes eletrônicos que podem ser programados no nível de hardware. Você pode imaginar como um conjunto de Legos — alguns milhões deles. Cada bloco pequeno executa uma operação simples, como manter um valor, ou operações ligeiramente mais complexas, como adição. Ao agrupar todos esses blocos, é possível criar um comportamento específico após a fabricação do chip. Isso é o oposto de GPUs e quase todos os outros chips, que são projetados para uma função específica e não podem ser alterados posteriormente.

Alguns, como CPUs e GPUs, podem ser programados, mas não são tão paralelos quanto os FPGA. Em um momento determinado, um FPGA executa alguns milhões de operações simples. E isso pode acontecer seis a sete hundredas de milhões de vezes por segundo. Como são programáveis, o que eles fazem pode ser alterado a qualquer momento para se adaptar a diferentes problemas, então o poder computacional extraordinário pode ser eficaz. Os FPGA já estão quase em todos os lugares, incluindo estações base de telefones celulares, redes, satélites, carros, etc. As pessoas não os conhecem bem, porque não são tão visíveis quanto um CPU como o do seu laptop.

O que torna essas placas FPGA a solução superior às GPUs mais populares?

Os FPGA são superiores em muitos aspectos. Vamos focar em apenas alguns importantes.

As GPUs são projetadas para renderizar imagens, principalmente para jogos. Elas foram encontradas para combinar bem com alguns cálculos em IA devido à semelhança das operações. Mas elas permanecem primariamente dedicadas a jogos, o que significa que vêm com restrições que não se encaixam bem com redes neurais.

A programação delas também é limitada às instruções decididas dois ou três anos antes de serem disponibilizadas. O problema é que as redes neurais estão avançando mais rapidamente do que o design de ASICs, e as GPUs são ASICs. Então, é como tentar prever o futuro: não é simples estar certo. Você pode ver tendências, mas os detalhes são o que realmente impactam os resultados, como desempenho. Em contraste, porque os FPGA são programáveis no nível de hardware, podemos mais facilmente acompanhar o progresso da IA. Isso nos permite entregar um produto melhor com maior desempenho e atender às necessidades do cliente sem ter que esperar pela próxima geração de silício.

Além disso, as GPUs são projetadas para serem produtos de consumo. Seu ciclo de vida é intencionalmente curto, porque as empresas que projetam GPUs querem vender novas GPUs alguns anos depois para os jogadores. Isso não funciona bem em sistemas eletrônicos que precisam ser confiáveis por muitos anos. Os FPGA são projetados para ser robustos e usados 24/7 por muitos anos.

Outras vantagens bem conhecidas dos FPGA incluem:

• Há muitas opções que podem se encaixar em áreas específicas, como processamento de vídeo ou redes
• Eles funcionam tão bem em data centers quanto na borda ou em sistemas embarcados
• Eles não requerem resfriamento específico (muito menos resfriamento a água como os grandes GPUs)

Uma grande desvantagem é que os FPGA são difíceis de programar. Isso requer conhecimento específico. Embora as empresas que vendem FPGA tenham feito um grande esforço para reduzir a complexidade, ainda não é tão simples quanto um CPU. Na verdade, as GPUs não são simples também. Mas o software que esconde a programação delas para IA torna esse conhecimento desnecessário. Esse é o problema que a Mipsology é a primeira a resolver: remover a necessidade de programação ou conhecimento de FPGA para computação de IA.

Há alguma limitação atual para as placas FPGA?

Algumas placas FPGA são como algumas placas GPU. Elas podem ser conectadas a slots PCIe de um computador. Uma vantagem bem conhecida, além do ciclo de vida que mencionei anteriormente, é que o consumo de energia é tipicamente menor do que o das GPUs. Outra menos conhecida é que há uma seleção maior de placas FPGA do que de placas GPU. Há mais FPGA para mais mercados, o que leva a mais placas que se encaixam em diferentes áreas dos mercados. Isso simplesmente significa que há mais possibilidades para computar redes neurais em todos os lugares a um custo menor. As GPUs são mais limitadas; elas se encaixam em data centers, mas não muito mais.

O Zebra da Mipsology é o primeiro acelerador comercial que encapsula placas FPGA para fornecer alto desempenho e facilidade de uso. Pode descrever o que é o Zebra?

Para aqueles que estão familiarizados com IA e GPUs, a descrição mais fácil é que o Zebra é para FPGA o que Cuda/CuDNN é para GPU. É uma pilha de software que esconde completamente o FPGA atrás de frameworks comuns como PyTorch ou TensorFlow. Estamos visando principalmente a inferência para imagens e vídeos. O Zebra começa com uma rede neural que foi treinada tipicamente em ponto flutuante e, sem qualquer esforço manual do usuário ou ferramenta proprietária, faz com que ela execute em qualquer cartão baseado em FPGA. É tão simples quanto: conectar a placa FPGA, carregar o driver, fonte do ambiente Zebra e iniciar a mesma aplicação de inferência que a que está executando em CPUs ou GPUs. Temos nossa própria quantização que mantém a precisão, e o desempenho é fora da caixa. Não há ferramenta proprietária que o usuário precise aprender, e não leva horas de tempo de engenharia para obter alto throughput ou baixa latência. Isso significa simplesmente transições rápidas, o que também reduz o custo e o tempo de mercado.

Quais são os diferentes tipos de aplicações para as quais o Zebra é melhor projetado?

O Zebra é um motor de aceleração genérico, então pode acelerar o cálculo para qualquer aplicação que precise computar redes neurais, com foco principal em imagens e vídeo porque as necessidades de computação são maiores para esse tipo de dados. Temos solicitações de mercados muito diferentes, mas todos são semelhantes quando se trata de computar redes neurais. Todos eles normalmente requerem classificação, segmentação, super resolução, posicionamento do corpo, etc.

Como o Zebra executa em cima de FPGA, qualquer tipo de placa pode ser usada. Algumas têm alto throughput e são tipicamente usadas em data centers. Outras são mais apropriadas para uso na borda ou em sistemas embarcados. Nossa visão é que, se um FPGA puder se encaixar, os usuários possam usar o Zebra para acelerar os cálculos de suas redes neurais imediatamente. E se as GPUs ou CPUs forem usadas, o Zebra pode substituí-las e reduzir os custos da infraestrutura de IA. A maioria das empresas com as quais conversamos está enfrentando problemas semelhantes: elas poderiam implantar mais aplicações baseadas em IA, mas o custo é limitante.

Para uma empresa que deseja usar o Zebra, qual é o processo?

Basta nos informar em support@mipsology.com e vamos começar.

Há algo mais que você gostaria de compartilhar sobre a Mipsology?

Nós estamos muito encorajados com o feedback que recebemos da comunidade de IA para nossa solução Zebra. Especificamente, somos informados de que isso é provavelmente o melhor acelerador no mercado. Depois de apenas alguns meses, continuamos a adicionar a um ecossistema em crescimento de parceiros interessados, incluindo Xilinx, Dell, Western Digital (WDC ), Avnet, TUL e Advantech, para citar alguns.

Eu realmente gostei de aprender sobre essa tecnologia inovadora. Os leitores que desejam aprender mais devem visitar Mipsology.

https://www.youtube.com/watch?v=sIBEg_eGU8g