Buscamos Engenheiro de dados SR para nosso cliente, uma consultoria de tecnologia, atuante no segmento de dados, conectando plataformas, dados e IA para acelerar a transformação digital de empresas líderes. a empresa possui um ecossistema completo de soluções em dados
Da arquitetura de integração à inteligência artificial — engenharia de ponta a ponta, com segurança e escala.
Esse profissional irá atuar em um dos grandes clientes da consultoria.
Responsabilidades
Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços do ecossistema Azure e Databricks.
Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT), incluindo cenários de ingestão em tempo real.
Implementar e otimizar soluções utilizando serviços como Azure Data Factory, Azure Data Lake Storage (ADLS Gen2), Databricks Jobs/Workflows, Azure Functions, Azure Synapse Analytics e Event Hubs/Event Grid.
Projetar, implementar e sustentar Data Lakes e arquiteturas Lakehouse (medallion: Bronze/Silver/Gold) em ambiente Azure Databricks.
Desenvolver soluções utilizando Python, SQL e PySpark com foco em performance, escalabilidade e qualidade dos dados.
Trabalhar com grandes volumes de dados estruturados e não estruturados.
Garantir qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline, com uso do Unity Catalog e conformidade com a LGPD.
Otimizar consultas, processamento e consumo de dados (Databricks SQL Warehouses, dimensionamento de clusters), buscando redução de custos e aumento de performance.
Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas.
Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados (ex.: alertas de Databricks Jobs, Azure Monitor).
Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma.
Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.
Requisitos mínimos
Experiência sólida como Engenheiro(a) de Dados em ambiente Azure.
Domínio dos principais serviços de dados do Azure, como Data Factory, ADLS Gen2, Databricks, Synapse Analytics e Azure Functions.
Experiência sólida no desenvolvimento de pipelines ETL/ELT.
Conhecimento avançado em Python e SQL.
Experiência com modelagem de dados para ambientes analíticos e Data Lakes/Lakehouse.
Conhecimento em Apache Spark ou PySpark.
Experiência com versionamento utilizando Git e práticas de CI/CD (idealmente Azure DevOps).
Conhecimento em particionamento, otimização de consultas e processamento distribuído.
Experiência com monitoramento, observabilidade e troubleshooting de pipelines.
Conhecimento em arquitetura de dados em cloud e boas práticas de segurança, governança e conformidade com a LGPD.
Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.
Diferenciais
Experiência com Databricks Unity Catalog para governança e catalogação de dados.
Conhecimento em Delta Lake e arquitetura medallion (Bronze/Silver/Gold).
Conhecimento em Azure Data Factory e/ou Databricks Workflows / Databricks Asset Bundles (DABs) para orquestração.
Experiência com arquiteturas orientadas a eventos (Event Hubs, Event Grid).
Experiência com integração de sistemas legados/ERP (ex.: SAP) em pipelines de dados.
Conhecimento em frameworks de qualidade de dados (ex.: DQX - Databricks Labs, dbt, Great Expectations).
Conhecimento em ingestão de dados em tempo real (ex.: Event Hubs, Kafka).
Experiência com Docker e Kubernetes (AKS).
Conhecimento em infraestrutura como código (Terraform ou Bicep/ARM Templates).
Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps.
Experiência em ambientes corporativos de grande porte e projetos de missão crítica.
Certificações Azure e/ou Databricks (ex.: DP-203, Databricks Certified Data Engineer).
O modelo de contratação pode ser PJ ( sem benefícios ) ou CLT