Engenheiro(a) de Dados Sênior | FinOps | Databricks | Cloud Cost
Descrição
Buscamos uma pessoa Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.
A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas.
O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks.
Responsabilidades e Atribuições:
- Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria.
- Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold.
- Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem.
- Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing.
- Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios.
- Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans.
- Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake.
- Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview.
- Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados.
- Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog.
- Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines.
- Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume.
- Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis.
Requisitos
- Experiência sólida em Engenharia de Dados em nível sênior.
- Domínio de Python, PySpark, Apache Spark e SQL avançado.
- Experiência com Databricks e arquitetura Lakehouse.
- Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.
- Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering.
- Experiência com construção e manutenção de pipelines de dados de grande volume.
- Experiência com modelagem dimensional, especialmente conceitos de Kimball.
- Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão.
- Conhecimento de estratégias de transformação, consolidação e disponibilização de dados.
- Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP.
- Conhecimento de estruturas de custos e consumo de serviços de nuvem.
- Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento.
- Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos.
- Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes.
- Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados.
- Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines.
- Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes.
Diferenciais
- Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage Specification).
- Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados.
- Experiência com dados de billing de múltiplos provedores de nuvem.
- Vivência em ambientes bancários, financeiros ou de alta criticidade operacional.
- Experiência com grandes volumes de dados e requisitos rigorosos de qualidade e rastreabilidade.
Benefícios
- Atuação remota – Segunda a sexta, (09h às 18h);
- Oferecemos o equipamento de trabalho.