Atividades:
• Projetar e implementar soluções de dados distribuídas, utilizando tecnologias de Big Data e ferramentas modernas.
• Desenvolver e otimizar pipelines de ETL para garantir o fluxo eficiente dos dados.
• Gerenciar grandes volumes de dados utilizando HDInsight, HBase, e Cosmos DB.
• Projetar e implementar particionamentos eficientes no Cosmos DB para garantir escalabilidade e performance.
• Implementar soluções de processamento em tempo real com Kafka, Event Hub e Spark.
• Trabalhar com Databricks para análise e processamento avançado de dados.
• Colaborar com equipes multidisciplinares para definir e implementar a arquitetura de dados.
Requisitos:
• Experiência comprovada com HDInsight, Kafka, Event Hub, HBase, Cosmos DB (incluindo particionamento), Databricks, ETL e Spark.
• Conhecimento em arquiteturas distribuídas de dados e melhores práticas de Big Data.
• Habilidade em projetar e otimizar particionamentos no Cosmos DB para maximizar a performance e a escalabilidade.
• Experiência em ambientes cloud, obrigatoriamente Azure.