Engenheiro(a) de Dados <Sênior> _ Remoto

PJ, São Paulo Remote

A Cadmus é uma consultoria de TI atuando no mercado há mais de 28 anos, atendendo clientes de diversos portes e segmentos. Somos uma das melhores empresas para trabalhar pelo GPTW, por isso, buscamos os melhores talentos porque acreditamos que só com pessoas incríveis entregamos resultados incríveis.

Estamos em busca de um(a) Engenheiro(a) de Dados Pleno será responsável por apoiar a implementação e manutenção de pipelines de dados, além de colaborar na definição de arquiteturas de dados e na implementação de soluções de armazenamento e processamento. Este profissional focará na integração de diversas fontes de dados e na automatização de fluxos de ingestão e transformação de informações, assegurando a qualidade e segurança dos dados conforme as políticas estabelecidas.

Atividades:

1.    Manutenção e Implementação de Pipelines de Dados
•    Construção e manutenção de infraestruturas de dados escaláveis e eficientes.
•    Definição de arquiteturas de dados.
•    Implementação de soluções de armazenamento e processamento.
•    Integração de diversas fontes de dados.
•    Automatização de fluxos de ingestão e transformação de informações.

2.    Evolução da Arquitetura de Dados
•    Garantir a qualidade, segurança e governança dos dados conforme as políticas estabelecidas.
•    Otimização do desempenho e escalabilidade das soluções de dados, utilizando recursos e serviços cloud, como bancos de dados, data lakes e plataformas de processamento em larga escala.

 

Requirements
  • Experiência com implementação e manutenção de pipelines de dados escaláveis e eficientes.
    Conhecimento em integração de fontes de dados e automação de fluxos de ingestão e transformação.
  • Orquestração e Monitoramento de Pipelines: Utilizamos o Airflow 
  • Transformação de Dados: Contamos com o DBT (Data Build Tool) 
  • Armazenamento e Processamento Local de Dados: Empregamos o DuckDB
  • Linguagens obrigatórias: Python, R, Scala
  • AWS (Kinesis, Spark EMR, Lambda, Redshift)
  • SQL e modelagem de dados
  • Experiência com data lakes e arquitetura de dados distribuída e de microsserviços.
  • Conhecimento em mensageria e streaming, com foco em escalabilidade e elasticidade.
  • Familiaridade com ferramentas de logs e monitoramento para garantir qualidade, segurança e governança de dados.