Encontrar Kestra, startup que vem trabalhando em um projeto open source focado na orquestração de dados em diversos serviços, bancos de dados, arquivos, repositórios e warehouses. O projeto de código aberto atraiu milhares de estrelas no GitHub, provando que há algum interesse e potencial por trás de uma nova plataforma de orquestração de dados.
Mas primeiro, por que você precisaria de um produto de orquestração de dados em sua grande empresa? A certa altura, as grandes empresas começam a ter dados espalhados por vários locais de armazenamento. Alguns dados de clientes podem ser armazenados em um ERP legado, novos pedidos podem aparecer em um banco de dados em sua infraestrutura em nuvem, etc.
Com um orquestrador de dados, você pode extrair, transformar e carregar dados (ou extrair, carregar e transformar dados) para que todos os seus dados sejam unificados e armazenados em um único local, como um data warehouse (Snowflake, Google BigQuery, etc.) . Muitos engenheiros de dados têm usado ferramentas como Troca de ar como plataforma de integração de dados e orquestrador para coordenar e criar gatilhos.
A melhor maneira de descrever o Kestra é definindo por que ele é diferente do que existe por aí. Se você está familiarizado com Fluxo de ar Apacheo Kestra pode ser usado como uma alternativa ao Airflow com algumas diferenças importantes.
Em vez de usar código Python, Kestra é baseado em arquivos de configuração YAML – e se você já brincou com imagens Docker em algum momento, talvez já esteja familiarizado com YAML.
A API do Ketra é tratada como um cidadão de primeira classe, o que significa que se integra bem com outras ferramentas e sistemas. Em outras palavras, o Kestra foi projetado para ser independente de linguagem graças ao uso de YAML para orquestração e à capacidade de alterar fluxos de trabalho e criar tarefas usando a API do Kestra.
E a razão pela qual Kestra está trazendo o modelo de infraestrutura como código A importância da orquestração de dados ocorre porque a startup acredita que o gerenciamento de dados deve ser feito por todos os engenheiros e usuários de negócios, em vez de por uma equipe específica de engenheiros de dados.
Além dessa abordagem opinativa, Kestra tem uma sólida biblioteca de integrações com plug-ins oficiais para os principais provedores de nuvem (AWS, Azure e Google Cloud), data warehouses (Snowflake e BigQuery), dbt para transformação de dados, Airbyte para integração de dados e muito mais.
Kestra também possui uma interface de usuário que facilita a criação de fluxos de trabalho programados e orientados a eventos (“se isso acontecer, faça aquilo”). Com esta UI, os usuários empresariais também podem contar com o Kestra para criar consultas SQL e construir ferramentas internas para relatórios internos.
Créditos da imagem: Kestra
Originária de França e co-fundada por Emmanuel Darras e Ludovic Dehon, a Kestra arrecadou 3 milhões de dólares numa ronda de sementes co-liderada pela ISAI e pela Axeleo Capital. Vários investidores anjos também participaram da rodada, como Olivier Pomel da Datadog, Stan Christians da Collibra, Pierre Burgy da Strapi e Olivier Bonnet da BlaBlaCar.
Além do orquestrador de código aberto, Kestra também possui um edição empresarial e vários grandes clientes que contam com a Kestra para lidar com milhões de eventos de orquestração por mês, como Leroy Merlin, Huawei, Acxiom, Tencent, Gorgias, Sophia Genetics e Decathlon.
O objetivo final do Kestra é criar uma ferramenta de orquestração que possa ser usada para todas as necessidades de orquestração — não apenas para orquestração de dados. Muitas empresas acabam criando equipes específicas especializadas em orquestração de dados, orquestração de microsserviços, infraestrutura e muito mais. Kestra deseja construir uma plataforma única que possa ser usada de forma versátil por todos que trabalham nessas tarefas.
