Engenheiro de dados

Objetivo da posição: Executar o desenvolvimento e sustentação de pipelines (processos) de dados em plataformas de big data em nuvem para todas as áreas da empresa, coletando requisitos de negócio, implementando soluções técnicas em Azure e Databricks e apoiando na governança e qualidade dos dados, com o objetivo de contribuir com a disponibilidade, confiabilidade e performance das informações que suportam as operações e decisões corporativas

 

Responsabilidades:

Desenvolver e sustentar pipelines (processos) de engenharia de dados nas plataformas Azure e Databricks para todas as áreas da empresa, garantindo a disponibilidade, confiabilidade e performance das soluções de dados corporativas, com o seguinte objetivo:

•  Eficiência operacional: Processos de dados automatizados, resilientes e confiáveis nas entregas aos produtos de dados;

 

Capturar e analisar requisitos de negócio junto às diferentes áreas da organização em demandas contínuas, propondo soluções técnicas de dados alinhadas às necessidades operacionais e estratégicas, com o seguinte objetivo:

•  Alinhamento estratégico: Produtos que atenda as necessidades do negócio, evitando retrabalhos e maximizando o valor gerado

 

Executar testes e validações nos pipelines e sistemas de dados em projetos de média e alta complexidade, assegurando a qualidade e integridade das informações processadas, com o seguinte objetivo:

•  Confiabilidade das decisões: Acuracidade nas decisões de negócio;

 

Monitorar a performance dos sistemas de big data em nuvem em toda a empresa, identificando oportunidades de otimização e garantindo a eficiência operacional das soluções implementadas, com o seguinte objetivo:

•  Prevenção de prejuízos: Custos operacionais e tempo de resposta para áreas críticas do negócio

 

Apoiar a implementação de práticas de qualidade, segurança, privacidade e governança de dados em todos os projetos da organização, contribuindo para a conformidade com políticas internas e regulamentações, com o seguinte objetivo:

•  Conformidade legal: Compliance e segurança dos dados são obrigatórios por regulamentações como LGPD e normas da ANVISA

 

Participar de projetos de migração e implementação de soluções de dados corporativas, executando atividades técnicas de acordo com cronogramas e especificações definidas, com o seguinte objetivo:

•  Entrega de valor: Projetos entreguem resultados tangíveis dentro de prazos estabelecidos

 

Elaborar e manter documentação técnica dos pipelines, processos e soluções de dados implementadas, promovendo o compartilhamento de conhecimento e facilitando a manutenção das soluções, com o seguinte objetivo:

•  Eficiência operacional: Reduz dependência de pessoas específicas e facilita manutenções futuras e transferência de conhecimento

 

Realizar troubleshooting e apoiar na resolução de problemas técnicos nos sistemas de dados, contribuindo para a continuidade operacional e satisfação dos usuários internos, com o seguinte objetivo:

•  Continuidade operacional: Minimiza impactos em áreas críticas como supply chain, vendas e produção

 

Apoiar profissionais de menor experiência e outras áreas da empresa em questões relacionadas à engenharia de dados de menor complexidade, promovendo a disseminação do conhecimento técnico, com o seguinte objetivo:

•  Cultura de aprendizagem: Desenvolve a capacidade técnica da organização e reduz gargalos de conhecimento concentrado

 

Participar de reuniões com stakeholders internos para apresentar soluções, esclarecer requisitos técnicos e acompanhar o andamento dos projetos de dados, com o seguinte objetivo:

•  Alinhamento estratégico: Comunicação efetiva com stakeholders garante alinhamento e evita divergências que podem comprometer os projetos

 

Experiência:

•  Experiência mínima de 3 anos na área;

•  Experiência prática com ferramentas de ETL/ELT e pipelines de dados;

•  Vivência em plataformas de nuvem, preferencialmente Azure;

•  Experiência em linguagens SQL e Python.

 

Competências e Habilidades:

Competências técnicas:

•  Linguagens de programação SQL, Python e PySpark;

•  Plataformas Microsoft Azure (Data Factory, Databricks, Data Lake);

•  Desenvolvimento e manutenção de pipelines de dados;

•  Bancos de dados relacionais e NoSQL;

•  Fundamentos de big data e processamento distribuído;

•  Metodologias ágeis (Scrum, Kanban);

•  Controle de versionamento (Git);

•  Conceitos de governança de dados e LGPD.

 

Competências funcionais:

•  Coleta e análise de requisitos de negócio;

•  Documentação técnica.

 

Competências comportamentais:

•  Comunicação clara e objetiva;

•  Trabalho em equipe e colaboração;

•  Orientação para resultados e qualidade;

•  Adaptabilidade e aprendizagem contínua;

•  Organização e gestão de tempo.