Engenheiro de Dados - Databricks

Vem transformar com a gente! 🚀

Já pensou em trabalhar em um lugar onde o aprendizado é constante, as ideias são valorizadas e o conhecimento é compartilhado com entusiasmo?

Prazer, somos a Prosperi. Ajudamos organizações a melhorar a vida das pessoas por meio de soluções digitais inovadoras e colaborativas. Aqui, inovação não é só um valor, é prática diária.

Estamos em busca de um(a) Engenheiro de Dados com foco em Databricks para se juntar ao nosso time de transformadores. Se você gosta de trabalhar com dados, tem visão analítica, curte desafios técnicos e quer atuar na construção de ambientes modernos de dados, seu lugar pode ser aqui com a gente.

Essa pessoa terá um papel importante na estruturação de pipelines de dados dentro do Databricks, realizando ingestão, tratamento, organização e disponibilização das informações para consumo por times de BI, DataViz e áreas de negócio.

Seu dia a dia incluirá:

• Implementar a ingestão de dados em ambiente Databricks corporativo, conectando diferentes fontes de dados e preparando as informações para uso analítico.
• Construir, organizar e manter pipelines de dados, seguindo boas práticas de engenharia, qualidade, rastreabilidade e governança.
• Trabalhar com camadas de dados como Bronze, Silver e Gold, apoiando a estruturação de um modelo confiável para análise e visualização.
• Realizar tratamento, transformação, padronização e validação dos dados para garantir consistência e qualidade das informações.
• Apoiar a modelagem de dados para consumo por ferramentas de BI e DataViz, disponibilizando tabelas, views, datasets ou estruturas analíticas prontas para uso.
• Trabalhar em conjunto com times de BI, DataViz, negócio e tecnologia para entender necessidades, métricas e regras de transformação dos dados.
• Apoiar a documentação técnica dos pipelines, fontes, regras de transformação, métricas e modelos disponibilizados.
• Participar das cerimônias ágeis, contribuindo com alinhamentos, aprendizados, estimativas e evolução contínua das entregas.
• Atuar na investigação e correção de problemas relacionados à carga, qualidade, performance ou disponibilidade dos dados.

Requisitos

• Ensino Superior completo ou em andamento em Tecnologia da Informação, Ciência da Computação, Sistemas de Informação ou áreas correlatas.
• Conhecimento em Databricks para ingestão, tratamento e disponibilização de dados.
• Conhecimento em SQL para consultas, validações, transformações e análise de dados.
• Conhecimento em pipelines de dados, ETL/ELT, integração de fontes e organização de dados para consumo analítico.
• Noções de modelagem de dados para BI, incluindo tabelas fato, dimensões, visões analíticas e estruturas orientadas a indicadores.

Valorizamos:

• Experiência com PySpark, Spark SQL ou Python para transformação de dados.
• Conhecimento em Delta Lake, Lakehouse, arquitetura Medallion ou boas práticas de organização de dados em camadas.
• Conhecimento em administração e governança de ambientes Databricks, incluindo Workspace Administration, Unity Catalog, External Locations, Storage Credentials, Delta Sharing, Cluster Policies, Serverless Compute, Job Clusters e SQL Warehouses.
• Experiência com Azure Data Factory, Azure Data Lake, Azure Synapse, Microsoft Fabric ou outros serviços de dados em nuvem.
• Experiência com Power BI ou integração de dados para consumo por times de BI/DataViz.
• Conhecimento em versionamento com Git, Azure DevOps ou GitHub.

Benefits