Engenheiro de Dados Databricks

São Paulo Remote

Sobre nós:
Desde 2001, o INDT é um instituto de tecnologia que inspira inovação e respira tecnologia! Desenvolver está no nosso DNA e oferecemos um ambiente colaborativo com muitos desafios para o aprendizado e crescimento.

Surgimos em Manaus (AM) através da Nokia, e hoje atuamos em todo Brasil com o objetivo de apresentar os nossos serviços e a nossa Cultura para todas as regiões brasileiras. Atualmente, possuímos mais de 200 colaboradores atuando ativamente.

Para nós, eliminar as barreiras geográficas e culturais foi só uma consequência por acreditarmos que nada é impossível. Por isso, hoje, mais do que nunca, podemos olhar no espelho e pensar: trabalhamos em uma empresa que vive e cresce cada dia mais!

Você quer ter a oportunidade de desenvolver seus talentos?

Quer trabalhar num ótimo ambiente de trabalho e com colegas que te ajudarão na tua jornada?

Quer ter a uma experiência incrível de sentir valorizado?

Quer potencializar suas entregas diárias e projetos tendo líderes inspiradores?

Quer ter liberdade para propor e desenvolver projetos inovadores, com autonomia e protagonismo? Então vem com a gente promover a diferença! #VEMSERINDT

Estamos buscando Engenheiros de Dados para atuação junto ao time de Analytics do cliente, apoiando principalmente processos de ingestão de dados e sustentação/evolução das demandas da área.

Requirements

 

Escopo da atuação:

  • Desenvolvimento e manutenção de pipelines de ingestão de dados;
  • Implementação de cargas batch/full e incrementais;
  • Integração de dados provenientes de sistemas legados e SAP Datasphere;
  • Desenvolvimento de processos de carga na camada Raw/Bronze do Databricks;
  • Apoio na sustentação, monitoração e evolução das demandas da área;
  • Atuação em integração, tratamento técnico e disponibilização de dados;
  • Construção e manutenção de pipelines utilizando PySpark e SQL;
  • Garantia de rastreabilidade, governança e qualidade técnica das cargas.

Requisitos obrigatórios:

  • Experiência em engenharia de dados;
  • Experiência com Databricks;
  • Experiência com PySpark e Spark SQL;
  • Vivência com pipelines ETL/ELT e ingestão de dados;
  • Conhecimento em cargas incrementais e integrações de dados;
  • Conhecimento em Delta Lake;
  • Experiência com Git/versionamento;
  • Perfil com autonomia e capacidade de atuação em demandas contínuas do time.

Diferenciais:

  • Experiência com SAP Datasphere;
  • Experiência com SAP S/4HANA;
  • Conhecimento em DLT (Delta Live Tables);
  • Vivência em ambientes corporativos de grande porte.
by Quickin