Engenheiro de Dados

Estamos em busca de um(a) Engenheiro de Dados para atuar em nosso time.

A missão desse profissional será arquitetar, construir e otimizar pipelines e sistemas de armazenamento de dados robustos e de alta performance, garantindo a qualidade, integridade e segurança dos dados para atender às necessidades técnicas e analíticas da empresa.

Principais responsabilidades:

• Arquitetar e construir pipelines de dados robustos, confiáveis e de alto desempenho para coletar, processar e armazenar grandes volumes de dados de várias fontes, garantindo a integridade e qualidade dos dados.
• Colaborar com time de Performance para entender os requisitos de dados e ajudar a transformar modelos conceituais em soluções técnicas eficazes;
• Implementar e aprimorar estratégias de orquestração e agendamento de fluxos de trabalho para otimizar o processamento de dados em larga escala;
• Desenvolver e manter sistemas de armazenamento de dados eficientes, como Data Warehouses, Data Lakes e bancos de dados distribuídos, garantindo a segurança e a conformidade dos dados;
• Identificar e resolver gargalos de desempenho, bem como propor melhorias contínuas nos processos de ETL (Extract, Transform, Load) e de gerenciamento de dados;
• Participar da seleção e avaliação de ferramentas e tecnologias relevantes para o ecossistema de dados da empresa, mantendo-se atualizado(a) sobre as tendências do setor;
• Monitorar e assegurar a qualidade e a integridade dos dados em todo o ciclo de vida, implementando mecanismos de limpeza e validação de dados.

Requisitos:

• Superior completo em Engenharia de Software, Ciências da Computação, Estatística, Matemática ou área correlatas;
•  Experiência em SQL e Python para manipulação de dados. Desejável experiência com Pyspark, Pandas e Boto3 (incluindo automação de processos);
• Experiência em extração de dados através de consumo de API;
• Habilidade em construir pipelines/workflows de dados;
• Conhecimento em arquiteturas de armazenamento de dados, como bancos de dados relacionais e/ou não relacionais, Data Warehouses e/ou Data Lakes;
• Conhecimento em modelagem de dados e melhores práticas para organização e normalização de dados;
• Experiência com modelagem de dados e design de esquemas para atender às necessidades de análise.
• Conhecimentos em Machine Learning e IA;
• Conhecimento em metodologias ágeis.

Benefits