Engenheiro de Dados Sênior

Impactar positivamente bilhões de vidas é nosso propósito e também pode ser o seu! 🚀

Fundada em 2010, no Brasil, a Semantix é referência em Big Data, Analytics e Inteligência Artificial. 

Somos um time de apaixonados por inovação, com diversas origens e diferentes graus de experiência. O que nos une, é a motivação compartilhada de transformar a experiência de nossos clientes através da cultura data driven.

Se você se identificou, a Semantix é seu lugar. 

Estamos ansiosos para ter você como parte do time.

Afinal, o futuro se faz juntos. 💜  

Como será o seu dia a dia:

• Desenvolver e manter pipelines/esteiras de dados em Azure com Databricks.
• Implementar pipelines automatizados para ingestão, transformação e disponibilização de dados.
• Garantir qualidade e governança dos dados em todo o ciclo.
• Colaborar com times multidisciplinares para evolução da arquitetura de dados.
• Tratar altos volumes de dados cadastrais.
• Monitorar indicadores e qualidade das entregas.
• Automatizar processos e consultas.
• Analisar dados para identificar problemas e propor soluções.

Responsabilidades e atribuições: 

• Desenvolver e manter pipelines de dados (ETL/ELT) em ambiente Azure, utilizando Databricks para processamento e integração.
• Implementar práticas de CI/CD para automação de deploys e versionamento de código em GitHub.
• Projetar e otimizar modelos de dados para garantir escalabilidade, performance e governança.
• Apoiar projetos de migração para cloud, garantindo segurança, qualidade e integridade dos dados.
• Colaborar com times de negócio e ciência de dados para deploy de modelos de IA em ambiente cloud.
• Garantir qualidade e consistência dos dados, aplicando técnicas de data profiling e monitoramento.
• Documentar processos, arquiteturas e boas práticas de engenharia de dados.

Requisitos e qualificações:

• Experiência sólida em Azure Data Services e Databricks.
• Domínio de Python e SQL para manipulação e transformação de dados.
• Conhecimento em CI/CD e versionamento com GitHub.
• Experiência em modelagem de dados (conceitual, lógica e física).
• Vivência em projetos de migração para cloud.
• Experiência em ETL/ELT e integração de grandes volumes de dados.
• Desejável experiência com deploy de modelos de IA e uso de ferramentas como Azure ML.

Perfil Desejado: 

• Proatividade e capacidade de resolver problemas complexos.
• Boa comunicação para interação com áreas técnicas e de negócio.
• Foco em resultados e melhoria contínua.
• Interesse por inovação, qualidade de dados e soluções em cloud.

Diferencial:

• Experiência com projetos de IA e automação de pipelines.
• Conhecimento em arquiteturas orientadas a dados e boas práticas de governança.
• Participação em iniciativas de MDM (Master Data Management).
• Familiaridade com Databricks MLflow para gestão de modelos.
• Atuação em ambientes Data Lake e Data Warehouse.

Benefits