Data Engineer

São Paulo Remote

Impactar positivamente bilhões de vidas é nosso propósito e também pode ser o seu! 🚀

 

Fundada em 2010, no Brasil, a Semantix é referência em Big Data, Analytics e Inteligência Artificial. 

 

Somos um time de apaixonados por inovação, com diversas origens e diferentes graus de experiência. O que nos une, é a motivação compartilhada de transformar a experiência de nossos clientes através da cultura data driven.

 

Se você se identificou, a Semantix é seu lugar. 

Estamos ansiosos para ter você como parte do time.

 

Afinal, o futuro se faz juntos. 💜  

Requirements

Responsabilidades e atribuições: 

Monitorar e dar suporte a fluxos de dados (ETL) em ambiente de Big Data, garantindo a integridade e disponibilidade dos pipelines.
Realizar ajustes e otimizações em queries SQL de alta complexidade, aplicando boas práticas de performance e tuning.
Atuar em incidentes e requisições relacionadas à sustentação da plataforma de dados.
Garantir a operação e confiabilidade de processos implementados em Apache NiFi, Hue e Hive.
Efetuar a análise de requerimentos dos usuários.
Participar da análise e resolução de problemas em fluxos de ingestão e transformação de dados.
Manter a documentação técnica atualizada e colaborar com times de engenharia de dados e BI.
Identificar maneiras de melhorar a confiabilidade, a eficiência e a qualidade dos dados.
Disseminar conhecimento analítico entre o time e para a organização.


Requisitos e qualificações:

Domínio em SQL e boas práticas de construção de queries otimizadas;
Experiência com ferramentas de ETL, especialmente em ambientes de Big Data (NiFi, Hive, Hue);
Familiaridade com ambientes baseados em Cloudera;
Conhecimento em tuning de queries e análise de performance de consultas;
Desejável: experiência com Python, PySpark e integração com ferramentas de visualização como Power BI;
Diferencial: vivência com Azure Data Factory, Databricks ou Data Lake;