Alex Yeh, Fundador e CEO da GMI Cloud – Série de Entrevistas

Alex Yeh é o Fundador e CEO da GMI Cloud, uma empresa de infraestrutura digital com apoio de venture capital, cuja missão é empoderar qualquer pessoa a implantar IA sem esforço e simplificar a forma como as empresas constroem, implantam e escalam IA por meio de soluções de hardware e software integradas

O que o inspirou a criar a GMI Cloud e como seu background influenciou sua abordagem para construir a empresa?

A GMI Cloud foi fundada em 2021, focando principalmente nos dois primeiros anos em construir e operar centros de dados para fornecer nós de computação de Bitcoin. Nesse período, estabelecemos três centros de dados em Arkansas e Texas.

Em junho do ano passado, notamos uma forte demanda de investidores e clientes por poder de computação de GPU. Dentro de um mês, tomamos a decisão de mudar o foco para infraestrutura de nuvem de IA. O desenvolvimento rápido da IA e a onda de novas oportunidades de negócios que ela traz são difíceis de prever ou descrever. Ao fornecer a infraestrutura essencial, a GMI Cloud visa manter-se alinhada com as oportunidades emocionais e frequentemente inimagináveis da IA.

Antes da GMI Cloud, eu era um parceiro de uma empresa de capital de risco, engajado regularmente com indústrias emergentes. Vejo a inteligência artificial como a última “corrida do ouro” do século 21, com GPUs e servidores de IA servindo como “picaretas” para os “prospectores” modernos, impulsionando o crescimento rápido de empresas de nuvem especializadas em aluguel de poder de computação de GPU.

Pode nos contar sobre a missão da GMI Cloud de simplificar a infraestrutura de IA e por que esse foco é tão crucial no mercado de hoje?

Simplificar a infraestrutura de IA é essencial devido à complexidade e fragmentação atuais da pilha de IA, o que pode limitar a acessibilidade e a eficiência para as empresas que visam aproveitar o potencial da IA. As configurações de IA atuais frequentemente envolvem várias camadas desconectadas – desde o pré-processamento de dados e treinamento de modelos até a implantação e escalabilidade – que exigem tempo significativo, habilidades especializadas e recursos para gerenciar eficazmente. Muitas empresas gastam semanas e até meses identificando as camadas de infraestrutura de IA mais adequadas, um processo que pode se estender por semanas ou até meses, impactando a experiência do usuário e a produtividade.

1. Acelerando a Implantação: Uma infraestrutura simplificada permite o desenvolvimento e a implantação mais rápidos de soluções de IA, ajudando as empresas a permanecerem competitivas e adaptáveis às necessidades de mercado em constante mudança.
2. Reduzindo Custos e Recursos: Ao minimizar a necessidade de hardware especializado e integrações personalizadas, uma pilha de IA simplificada pode reduzir significativamente os custos, tornando a IA mais acessível, especialmente para pequenas empresas.
3. Permitindo a Escalabilidade: Uma infraestrutura bem integrada permite a gestão eficiente de recursos, essencial para escalonar aplicações à medida que a demanda cresce, garantindo que as soluções de IA permaneçam robustas e responsivas em escalas maiores.
4. Melhorando a Acessibilidade: A infraestrutura simplificada torna mais fácil para uma ampla gama de organizações adotar a IA sem exigir expertise técnica extensa. Essa democratização da IA promove a inovação e cria valor em mais indústrias.
5. Apoiar a Inovação Rápida: À medida que a tecnologia de IA avança, uma infraestrutura menos complexa torna mais fácil incorporar novas ferramentas, modelos e métodos, permitindo que as organizações permaneçam ágeis e inovem rapidamente.

A missão da GMI Cloud de simplificar a infraestrutura de IA é essencial para ajudar as empresas e startups a realizar completamente os benefícios da IA, tornando-a acessível, econômica e escalável para organizações de todos os tamanhos.

Vocês recentemente garantiram 82 milhões de dólares em financiamento da Série A. Como esse novo capital será utilizado e quais são seus objetivos de expansão imediatos?

A GMI Cloud utilizará o financiamento para abrir um novo centro de dados no Colorado e investir principalmente em GPUs H200 para construir um cluster de GPU de grande escala adicional. A GMI Cloud também está ativamente desenvolvendo sua própria plataforma de gerenciamento de recursos nativa da nuvem, Cluster Engine, que é integrada perfeitamente com nosso hardware avançado. Essa plataforma fornece capacidades sem precedentes em virtualização, contêinerização e orquestração.

A GMI Cloud oferece acesso a GPU com 2x a velocidade em comparação com os concorrentes. Quais abordagens ou tecnologias únicas tornam isso possível?

Um aspecto-chave da abordagem única da GMI Cloud é a utilização do NCP da NVIDIA (NVDA ), que fornece à GMI Cloud acesso prioritário a GPUs e outros recursos de ponta. Essa aquisição direta de fabricantes, combinada com opções de financiamento sólidas, garante a eficiência de custos e uma cadeia de suprimentos altamente segura.

Com GPUs NVIDIA H100 disponíveis em cinco locais globais, como essa infraestrutura atende às necessidades dos clientes de IA nos EUA e na Ásia?

A GMI Cloud estabeleceu uma presença global, atendendo a vários países e regiões, incluindo Taiwan, Estados Unidos e Tailândia, com uma rede de IDCs (Centros de Dados da Internet) em todo o mundo. Atualmente, a GMI Cloud opera milhares de cartões de GPU baseados em NVIDIA Hopper e está em uma trajetória de expansão rápida, com planos de multiplicar seus recursos nos próximos seis meses. Essa distribuição geográfica permite que a GMI Cloud forneça serviços sem interrupções, de baixa latência, para clientes em diferentes regiões, otimizando a eficiência de transferência de dados e fornecendo suporte de infraestrutura robusto para empresas que expandem suas operações de IA em todo o mundo.

Além disso, as capacidades globais da GMI Cloud permitem que ela entenda e atenda às demandas e requisitos regulamentares diversificados do mercado em diferentes regiões, fornecendo soluções personalizadas adaptadas às necessidades únicas de cada local. Com um pool crescente de recursos de computação, a GMI Cloud atende à demanda crescente por poder de computação de IA, oferecendo aos clientes capacidade computacional abundante para acelerar o treinamento de modelos, melhorar a precisão e aprimorar o desempenho do modelo para uma ampla gama de projetos de IA.

Como líder em serviços de nuvem nativos de IA, quais tendências ou necessidades dos clientes você está se concentrando para impulsionar a tecnologia da GMI para frente?

Desde GPUs até aplicações, a GMI Cloud impulsiona a transformação inteligente para os clientes, atendendo às demandas do desenvolvimento da tecnologia de IA.

Arquitetura de Hardware:

• Arquitetura de Cluster Físico: Instâncias como o H100 de 1250 incluem racks de GPU, racks de folha e racks de espinha, com configurações otimizadas de servidores e equipamentos de rede que fornecem poder de computação de alto desempenho.
• Estrutura de Topologia de Rede: Projetada com tecido de IB eficiente e tecido de Ethernet, garantindo a transmissão de dados suave e a comunicação.

Software e Serviços:

• Cluster Engine: Utilizando um motor desenvolvido internamente para gerenciar recursos como metal nu, contêineres/Kubernetes e HPC Slurm, permitindo a alocação ótima de recursos para usuários e administradores.
• Plataforma de Nuvem Proprietária: O CLUSTER ENGINE é um sistema de gerenciamento de nuvem proprietário que otimiza a programação de recursos, fornecendo uma solução de gerenciamento de cluster flexível e eficiente

Adicionar roteiro do motor de inferência:

1. Computação contínua, garantir alta SLA.
2. Compartilhamento de tempo para uso de tempo fracionado.
3. Instância de spot

Consultoria e Serviços Personalizados: Oferece consultoria, relatórios de dados e serviços personalizados, como contêinerização, recomendações de treinamento de modelos e plataformas de MLOps personalizadas.

Recursos de Segurança e Monitoramento Robustos: Inclui controle de acesso baseado em função (RBAC), gerenciamento de grupo de usuários, monitoramento em tempo real, rastreamento histórico e notificações de alerta.

Na sua opinião, quais são alguns dos maiores desafios e oportunidades para a infraestrutura de IA nos próximos anos?

Desafios:

1. Escalabilidade e Custos: À medida que os modelos se tornam mais complexos, manter a escalabilidade e a acessibilidade se torna um desafio, especialmente para empresas menores.
2. Energia e Sustentabilidade: O alto consumo de energia exige soluções mais ecológicas à medida que a adoção da IA aumenta.
3. Segurança e Privacidade: A proteção de dados em infraestruturas compartilhadas exige a evolução da segurança e da conformidade regulatória.
4. Interoperabilidade: Ferramentas fragmentadas na pilha de IA complicam a implantação e a integração sem interrupções. Complicamos a implantação de qualquer IA, de fato. Agora podemos reduzir o tempo de desenvolvimento em 2x e reduzir a força de trabalho para um projeto de IA em 3x.

Oportunidades:

1. Crescimento de IA de Borda: O processamento de IA mais próximo das fontes de dados oferece redução de latência e conservação de banda.
2. MLOps Automatizados: Operações de fluxo de trabalho simplificadas reduzem a complexidade da implantação, permitindo que as empresas se concentrem em aplicações.
3. Hardware Eficiente em Energia: Inovações podem melhorar a acessibilidade e reduzir o impacto ambiental.
4. Nuvem Híbrida: Infraestrutura que opera em ambientes de nuvem e locais é adequada para a flexibilidade das empresas.
5. Gerenciamento de IA Impulsionado: Usar IA para otimizar autonomamente a infraestrutura reduz o tempo de inatividade e aumenta a eficiência.

Pode compartilhar insights sobre sua visão de longo prazo para a GMI Cloud? Qual papel você vê a GMI Cloud desempenhando na evolução da IA e da AGI?

Quero construir a IA da internet. Quero construir a infraestrutura que alimenta o futuro em todo o mundo.

Para criar uma plataforma acessível, semelhante à Squarespace ou Wix, mas para IA. Qualquer pessoa deve ser capaz de construir seu aplicativo de IA.

Nos próximos anos, a IA verá um crescimento substancial, particularmente com casos de uso de IA gerativa, à medida que mais indústrias integram essas tecnologias para melhorar a criatividade, automatizar processos e otimizar a tomada de decisões. A inferência desempenhará um papel central nesse futuro, permitindo aplicações de IA em tempo real que possam lidar com tarefas complexas de forma eficiente e em escala. Os casos de uso de negócios para negócios (B2B) devem dominar, com as empresas cada vez mais se concentrando em aproveitar a IA para aumentar a produtividade, simplificar as operações e criar novo valor. A visão de longo prazo da GMI Cloud está alinhada com essa tendência, visando fornecer infraestrutura avançada e confiável que apoie as empresas no máximo de produtividade e impacto da IA em suas organizações.

À medida que você escala as operações com o novo centro de dados no Colorado, quais objetivos estratégicos ou marcos você está visando alcançar no próximo ano?

À medida que escalamos as operações com o novo centro de dados no Colorado, estamos nos concentrando em vários objetivos estratégicos e marcos nos próximos 12 meses. Os EUA são o maior mercado para IA e computação de IA, tornando imperativo para nós estabelecer uma presença sólida nessa região. A localização estratégica do Colorado, combinada com seu ecossistema tecnológico robusto e ambiente de negócios favorável, nos posiciona para servir melhor uma base de clientes em crescimento e aprimorar nossas ofertas de serviço.

Qual conselho você daria às empresas ou startups que buscam adotar infraestrutura de IA avançada?

Para startups focadas em inovação impulsionada por IA, a prioridade deve ser construir e aprimorar seus produtos, e não gastar tempo valioso com gerenciamento de infraestrutura. Parcerie com fornecedores de tecnologia confiáveis que ofereçam soluções de GPU confiáveis e escaláveis, evitando fornecedores que economizam com alternativas de marca branca. Confiabilidade e implantação rápida são críticas; nas fases iniciais, a velocidade é frequentemente a única vantagem competitiva que uma startup tem contra jogadores estabelecidos. Escolha opções baseadas em nuvem flexíveis que suportem o crescimento, e concentre-se na segurança e conformidade sem sacrificar a agilidade. Dessa forma, as startups podem integrar-se suavemente, iterar rapidamente e canalizar seus recursos para o que realmente importa – entregar um produto notável no mercado.

Obrigado pela grande entrevista, leitores que desejam aprender mais devem visitar GMI Cloud,