O Engenheiro de Dados Sênior será responsável por liderar a definição e implementação da arquitetura de dados, garantir a qualidade, segurança e governança dos dados, e otimizar o desempenho e a escalabilidade das soluções. Este profissional atuará na construção e manutenção de infraestruturas de dados escaláveis e eficientes, bem como na integração de diversas fontes de dados e automatização de fluxos de ingestão e transformação de informações. As tecnologias utilizadas incluem Airflow, DBT, DuckDB, Python, R, Scala, soluções de dados AWS (Kinesis, Spark EMR, Lambda, Redshift), data lakes, arquitetura de dados distribuído, arquitetura de microsserviços, mensageria e streaming, conceitos de escalabilidade e elasticidade, SQL, banco de dados e modelagem de dados, e ferramentas de logs e monitoramento.
**Responsabilidades:**
- Desenvolver pipelines de dados escaláveis utilizando AWS (S3, EMR, Redshift).
- Atuar com processamento de dados em larga escala usando DBT, DuckDB e Spark.
- Participar da construção de DAGs dinâmicas via Airflow e YAML.
- Discutir requisitos com stakeholders e propor soluções técnicas.
- Monitorar e garantir a qualidade dos pipelines e dados processados.
**Requisitos Técnicos:**
- Experiência sólida com AWS (S3, EMR, Redshift).
- Domínio de Python orientado a objetos e SQL.
- Conhecimento em DBT, DuckDB, Airflow.
- Experiência com arquitetura de dados e interdependência de pipelines.
- Desejável experiência com observabilidade e monitoramento de pipelines.
**Soft Skills:**
- Proatividade e capacidade de comunicação com áreas solicitantes.
- Perfil colaborativo e capacidade de liderança técnica.
- Visão de causa e efeito em fluxos de dados.
**Diferenciais:**
- Experiência anterior como engenheiro de software.
- Vivência com ambientes de alta volumetria e regras específicas.
- Conhecimento em ferramentas de qualidade de dados como SODA ou Great Expectations.