AI 101
Modelos de aprendizado de máquina prontos ou personalizados?
Quando construir é melhor do que comprar uma solução pronta para uso?
As empresas podem se envolver em diferentes abordagens para o desenvolvimento de modelos. Desde serviços de ML totalmente gerenciados até modelos personalizados. Dependendo dos requisitos de negócios, conhecimento disponível e restrições de planejamento, eles devem fazer uma escolha: devem desenvolver soluções personalizadas do zero? Ou eles devem escolher um serviço pronto para uso?
Para todos os estágios das cargas de trabalho de ML, deve ser tomada uma decisão sobre como as diferentes peças do quebra-cabeça se encaixarão. Desde a coleta, preparação e visualização de dados até a engenharia de recursos, treinamento de modelo e avaliação, os engenheiros de aprendizado de máquina se perguntam repetidamente a mesma pergunta: será uma solução implementada de forma personalizada, escrita e desenvolvida do zero? Ou será um serviço pronto para uso?
Mas quando construir é melhor do que comprar uma solução pronta para uso? Os principais fatores de diferenciação entre as duas abordagens: esforços de pré-processamento, velocidade de desenvolvimento e experiência necessária.
Coisas a considerar ao determinar o uso de modelos de aprendizado de máquina personalizados ou prontos para uso?
Esforços de pré-processamento
Os projetos de ML enfrentam todos os tipos de desafios, mas talvez o maior desafio seja a disponibilidade de dados de treinamento. A falta de dados de treinamento pode interromper um projeto antes mesmo de começar. Antes mesmo de um projeto começar, ele pode enfrentar custos de pré-processamento significativos de coleta de dados, rotulagem de dados, limpeza e esforços de pré-processamento. Essa é a conhecida armadilha em que muitos projetos de ML falham: o pré-processamento acaba consumindo 80% dos recursos alocados, enquanto poucos recursos sobram para o treinamento e avaliação do modelo real.
As soluções prontas para uso aliviam as tensões e dores dos esforços de pré-processamento. Eles são construídos para executar as operações mais comuns com apenas uma pequena configuração necessária. A melhor coisa sobre eles é que existem soluções prontas para todos os estágios das cargas de trabalho de ML.
Por outro lado, implementações customizadas geralmente requerem mais esforços de pré-processamento. Isso não significa que eles precisam ser totalmente descartados: eles ainda precisam ajustar um determinado estágio de ML às especificidades do problema que está sendo resolvido. Um conjunto de dados especialmente sujo pode exigir algum tipo especial de regras de limpeza. Ao mesmo tempo, um conjunto de recursos específicos pode exigir engenharia de recursos personalizados, assim como as arquiteturas neurais podem exigir pequenos ajustes. Nesse caso, soluções personalizadas construídas do zero provavelmente cobrirão todas as necessidades.
Velocidade de desenvolvimento
As soluções prontas para uso concentram-se na configuração e não na implementação. Em vez de alocar recursos para descobrir o que deve ser feito, as equipes de ML se concentrarão em como as diferentes peças do quebra-cabeça se encaixarão. Essa abordagem permite que empresas, pesquisadores e engenheiros implementem rapidamente protótipos e provas de conceito. Em vez de reinventar a roda, as soluções prontas permitem alavancar o conhecimento existente, economizando tempo de desenvolvimento.
Soluções customizadas implementadas do zero são conhecidas por serem muito mais lentas em termos de velocidade de desenvolvimento. Isso se deve às suas crescentes necessidades de manutenção: os engenheiros devem descobrir tanto o o que e os votos de como da solução. Da mesma forma, quanto mais complexa a solução, mais recursos de tempo são necessários para garantir sua escalabilidade e disponibilidade durante a produção. Nessa perspectiva, as soluções sob medida e os esforços de tempo são diretamente proporcionais: quanto mais complexa a solução, mais tempo ela exigirá.
Normalmente, porém, a verdade está em algum lugar no meio: uma base de código existente será refatorada e adaptada às necessidades do projeto atual. Esse é o caso da conhecida abordagem de aprendizagem por transferência para treinamento de modelos.
Perícia
Assim como existem várias camadas nas quais o aprendizado de máquina é feito, existem vários níveis de especialização nos quais os modelos de ML podem ser desenvolvidos, desde interfaces sem código até a construção de modelos do zero.
Existem soluções de prateleira para as quais é necessária muito pouca experiência em aprendizado de máquina. Ao utilizar interfaces intuitivas e até mesmo abordagens de arrastar e soltar, tornou-se extremamente simples para qualquer pessoa (de analistas de negócios a engenheiros de software) construir e implantar algum tipo de modelo de aprendizado de máquina. Embora essa abordagem simples para o desenvolvimento de modelos possa funcionar para fins de prototipagem, é improvável que atenda aos requisitos dos sistemas de produção.
A experiência ainda é necessária para configurar, configurar e manter adequadamente as soluções prontas para uso na produção. Soluções alternativas, correções de código, conexão com diferentes interfaces de API e lidar com problemas de implantação são tarefas comuns necessárias para garantir o desempenho dos modelos em ambientes de produção.
Soluções feitas sob medida são geralmente implementadas em nível de infraestrutura e não há como contornar isso: a experiência é definitivamente necessária. Dependendo do tamanho da empresa e dos objetivos do projeto, equipes multidisciplinares podem ser necessárias para a manutenção dos sistemas produtivos. Cientistas de dados, engenheiros de ML e analistas de negócios se reúnem para entender os resultados de inferência e manter os modelos de produção.
O que você deve usar: um modelo de aprendizado de máquina pronto para uso ou personalizado?
Uma solução de ML será construída com muitos componentes e serviços individuais que precisam se unir como uma solução coesa. Nunca se trata de ser 100% personalizado ou 100% pronto para uso, pois diferentes problemas de negócios exigem soluções diferentes. Na maioria das vezes, as soluções baseadas em ML são construídas por uma mistura dos dois: serviços prontos para extrair informações gerais, combinados com modelos personalizados para maior precisão e modelagem de conhecimento específico do domínio.
O truque é saber quando implementar soluções personalizadas a partir do zero e quais partes do projeto podem aproveitar os benefícios dos serviços de prateleira. Isso depende muito do tipo de problema que está sendo resolvido, dos requisitos de negócios, dos dados disponíveis e das restrições gerais do ambiente de desenvolvimento.
Para saber mais sobre tendências de IA e tecnologia, consulte Josh Miramant, CEO das soluções baseadas em dados da Blue Orange Digital para Supply Chain, Automação de Documentos de Saúde, e mais.
Você também pode gostar:
Use a PNL para classificar comentários nas mídias sociais
