ZenML quer ser a cola que une todas as ferramentas de IA de código aberto. Essa estrutura de código aberto permite criar pipelines que serão usados por cientistas de dados, engenheiros de aprendizado de máquina e engenheiros de plataforma para colaborar e construir novos modelos de IA.
A razão pela qual o ZenML é interessante é que ele capacita as empresas para que possam construir seus próprios modelos privados. É claro que as empresas provavelmente não construirão um concorrente do GPT 4. Mas eles poderiam construir modelos menores que funcionassem particularmente bem para suas necessidades. E reduziria a sua dependência de fornecedores de API, como OpenAI e Anthropic.
“A ideia é que, assim que a primeira onda de entusiasmo com todos usando OpenAI ou APIs de código fechado terminar, (ZenML) permitirá que as pessoas construam sua própria pilha”, disse-me Louis Coppey, sócio da empresa de capital de risco Point Nine. .
No início deste ano, ZenML levantou uma extensão de sua rodada inicial de Ponto Nove com investidor existente Guindaste também participando. No geral, a startup com sede em Munique, na Alemanha, garantiu US$ 6,4 milhões desde o seu início.
Adam Probst e Hamza Tahir, os fundadores da ZenML, trabalharam juntos anteriormente em uma empresa que estava construindo pipelines de ML para outras empresas em um setor específico. “Dia após dia, precisávamos construir modelos de aprendizado de máquina e trazer o aprendizado de máquina para a produção”, disse-me o CEO da ZenML, Adam Probst.
A partir desse trabalho, a dupla começou a projetar um sistema modular que se adaptasse a diferentes circunstâncias, ambientes e clientes, para que não precisassem repetir o mesmo trabalho indefinidamente — isso levou ao ZenML.
Ao mesmo tempo, os engenheiros que estão começando com o aprendizado de máquina podem começar usando esse sistema modular. A equipe ZenML chama esse espaço de MLOps – é um pouco como DevOps, mas aplicado ao ML em particular.
“Estamos conectando as ferramentas de código aberto que se concentram em etapas específicas da cadeia de valor para construir um pipeline de aprendizado de máquina – tudo baseado nos hiperescaladores, então tudo baseado na AWS e no Google – e também soluções locais. ”, disse Probst.
O conceito principal do ZenML são pipelines. Ao escrever um pipeline, você pode executá-lo localmente ou implantá-lo usando ferramentas de código aberto como Airflow ou Kubeflow. Você também pode aproveitar os serviços de nuvem gerenciados, como EC2, Vertex Pipelines e Sagemaker. ZenML também se integra com ferramentas de ML de código aberto de Hugging Face, MLflow, TensorFlow, PyTorch, etc.
“ZenML é algo que reúne tudo em uma única experiência unificada – é multifornecedor, multinuvem”, disse Hamza Tahir, CTO da ZenML. Ele traz conectores, observabilidade e auditabilidade aos fluxos de trabalho de ML.
A empresa lançou pela primeira vez sua estrutura no GitHub como uma ferramenta de código aberto. A equipe acumulou mais de 3.000 estrelas na plataforma de codificação. ZenML também começou recentemente a oferecer uma versão em nuvem com servidores gerenciados — gatilhos para integrações e implantações contínuas (CI/CD) estarão disponíveis em breve.
Algumas empresas têm usado ZenML para casos de uso industrial, sistemas de recomendação de comércio eletrônico, reconhecimento de imagem em ambiente médico, etc. Os clientes incluem Rivian, Playtika e Leroy Merlin.
Modelos privados e específicos do setor
O sucesso do ZenML dependerá de como o ecossistema de IA está evoluindo. No momento, muitas empresas estão adicionando recursos de IA aqui e ali, consultando a API da OpenAI. Neste produto, agora você tem um novo botão mágico que pode resumir grandes pedaços de texto. Nesse produto, agora você tem respostas pré-escritas para interações de suporte ao cliente.
“A OpenAI terá futuro, mas acreditamos que a maior parte do mercado terá que ter a sua própria solução” Adam Probst
Mas há alguns problemas com essas APIs: elas são muito sofisticadas e muito caras. “OpenAI, ou esses grandes modelos de linguagem construídos a portas fechadas, são desenvolvidos para casos de uso geral – não para casos de uso específicos. Portanto, atualmente é muito treinado e muito caro para casos de uso específicos”, disse Probst.
“A OpenAI terá futuro, mas acreditamos que a maior parte do mercado terá que ter a sua própria solução. E é por isso que o código aberto é muito atraente para eles”, acrescentou.
O CEO da OpenAI, Sam Altman, também acredita que os modelos de IA não serão uma situação única para todos. “Acho que ambos têm um papel importante. Estamos interessados em ambos e o futuro será um híbrido de ambos”, disse Altman ao responder a uma pergunta sobre modelos pequenos e especializados versus modelos amplos durante uma sessão de perguntas e respostas na Estação F no início deste ano.
Existem também implicações éticas e legais com o uso da IA. A regulamentação ainda está a evoluir muito em tempo real, mas a legislação europeia, em particular, poderia encorajar as empresas a utilizar modelos de IA treinados em conjuntos de dados muito específicos e de formas muito específicas.
“O Gartner diz que 75% das empresas estão mudando de (provas de conceito) para produção em 2024. Portanto, os próximos um ou dois anos serão provavelmente alguns dos momentos mais seminais na história da IA, onde finalmente entraremos em produção usando provavelmente uma mistura de modelos básicos de código aberto ajustados em dados proprietários”, disse-me Tahir.
“O valor dos MLOps é que acreditamos que 99% dos casos de uso de IA serão conduzidos por modelos menores, mais baratos e mais especializados, que serão treinados internamente”, acrescentou ele posteriormente na conversa.
Créditos da imagem: ZenML
