Engenheiro(a) de Plataforma Databricks e Azure (Híbrido)

Estamos buscando a pessoa peça-chave na entrega de soluções técnicas robustas e inovadoras para ambientes de dados em larga escala.

Atuará na construção, otimização e sustentação de pipelines de dados complexos, integrando tecnologias como Apache Spark™, Delta Lake, Azure DevOps, Machine Learning, Inteligência Artificial, Streaming e arquitetura Lakehouse.

Com domínio técnico e visão estratégica, você apoiará clientes na evolução de suas plataformas analíticas, garantindo alta performance, escalabilidade e governança dos dados.

• Experiência sólida em engenharia de dados e plataformas analíticas, incluindo design, desenvolvimento, testes e manutenção de pipelines.
• Mínimo de 4 anos de atuação prática em ambientes com Big Data, Apache Spark™, ML, IA, Kafka, Streaming e ciência de dados.
• Vivência comprovada com Databricks e Microsoft Azure.
• Domínio em otimização de performance e troubleshooting de aplicações Spark em produção.
  Conhecimento em bancos de dados SQL e ferramentas de ETL/Data Warehousing como Oracle, SQL Server, MySQL.
• Habilidades práticas com recursos Azure: VMs, EventHubs, KeyVault, Vnets, Azure Functions Data Factory e Azure DevOps.
• Excelente comunicação escrita e verbal, com capacidade de traduzir complexidade técnica em linguagem acessível.
• Perfil analítico, com forte capacidade de resolução de problemas em ambientes distribuídos e de alta escala. 

Diferencial

• Experiência em ambientes corporativos complexos, como instituições financeiras ou grandes empresas, é altamente desejável.

Dia a dia

• Realizar diagnósticos técnicos e solucionar problemas de performance em jobs Spark, utilizando ferramentas como Spark UI, DAGs e Event Logs.
• Investigar e resolver questões críticas relacionadas ao núcleo do Spark, Spark SQL, Structured Streaming, Delta Lake e funcionalidades do runtime Databricks.
• Desenvolver dashboards de monitoramento e controle da plataforma, promovendo visibilidade operacional e proatividade.
• Participar de provas de conceito (POCs) e iniciativas de inovação junto aos clientes, propondo soluções aderentes às necessidades de negócio.
• Reproduzir cenários técnicos e propor soluções em áreas como SQL, gerenciamento de memória, tuning de performance, ciência de dados e integração de sistemas.
• Contribuir com iniciativas de automação e desenvolvimento de ferramentas internas para ganho de eficiência.
• Orientar clientes e times internos sobre boas práticas de uso do Spark, APIs e bibliotecas para soluções personalizadas.
• Prestar suporte técnico de primeira linha para integrações de terceiros com o ambiente Databricks.
• Atuar na gestão e resolução de tickets técnicos via JIRA, garantindo agilidade e qualidade nas entregas.
• Criar e manter documentação técnica, manuais e base de conhecimento interna para disseminação de expertise.
• Evoluir continuamente sua expertise em Azure e Databricks por meio de treinamentos, certificações e projetos práticos.

Benefits