Desenvolver e otimizar pipelines de dados no Databricks, utilizando as melhores práticas para garantir performance e escalabilidade.
Trabalhar com o Azure Data Lake, Azure SQL, Azure Synapse Analytics, e outras tecnologias da plataforma Azure para criar soluções de dados robustas.
Criar e gerenciar fluxos de ETL (extração, transformação e carga) eficientes.
Garantir a qualidade, integridade e segurança dos dados em toda a arquitetura.
Colaborar com equipes multidisciplinares (cientistas de dados, analistas de BI, desenvolvedores e arquitetos) para integrar dados e transformar informações em insights acionáveis.
Participar da definição da arquitetura de dados, garantindo a escalabilidade e desempenho do sistema.
Monitorar e otimizar a performance dos pipelines e soluções de dados implementadas.
Requirements
Requisitos
Experiência comprovada com Databricks para processamento e análise de grandes volumes de dados.
Experiência prática com a plataforma Azure (Azure Data Lake, Azure Synapse Analytics, Azure SQL, entre outros).
Forte conhecimento em SQL, Python e Spark para manipulação e transformação de dados.
Experiência com ferramentas de integração de dados e orquestração (ex. Apache Airflow, Azure Data Factory).
Sólidos conhecimentos em modelagem de dados, arquitetura de dados e melhores práticas de segurança.
Familiaridade com metodologias ágeis e ferramentas de versionamento de código (Git).