VAGA | SENIOR DATA ENGINEER (DATABRICKS)
Descrição
Contratante: Avantti Tecnologia
Informações da oportunidade
Cargo: Senior Data Engineer (Databricks)
Senioridade: Sênior
Modelo de contratação: Full-Time
Modelo de trabalho: 100% Remoto
Localização: Brasil – Aceitamos profissionais de qualquer região
Idioma: Inglês (desejável experiência em ambientes globais)
Sobre a oportunidade
A Avantti Tecnologia está em busca de um(a) Senior Data Engineer (Databricks) para integrar um time de tecnologia especializado em engenharia de dados e desenvolvimento de plataformas modernas de processamento e analytics.
Buscamos um profissional com sólida experiência prática no ecossistema Databricks, capaz de desenvolver soluções escaláveis, construir pipelines de dados robustos e atuar em projetos de alta complexidade envolvendo processamento distribuído, arquiteturas Lakehouse e integração de dados em larga escala.
Essa pessoa terá participação ativa no desenvolvimento de soluções inovadoras, colaborando com arquitetos de soluções e equipes multidisciplinares para construir plataformas de dados modernas, eficientes e preparadas para os desafios de negócio.
Requisitos
Principais responsabilidades
Desenvolver e implementar soluções de engenharia de dados utilizando a plataforma Databricks.
Construir, manter e otimizar pipelines de dados escaláveis para processamento Batch, Micro-batch e Streaming.
Implementar soluções utilizando Apache Spark, Delta Lake, Delta Live Tables (Lakeflow Declarative Pipelines), Unity Catalog e Apache Iceberg.
Desenvolver pipelines orientados por configurações YAML, utilizando padrões modernos de ingestão e processamento de dados.
Implementar estratégias de ingestão incremental e processamento automatizado utilizando Databricks Auto Loader.
Desenvolver e gerenciar workflows e orquestrações complexas utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
Garantir qualidade, integridade, rastreabilidade e observabilidade dos dados.
Implementar mecanismos de auditoria, monitoramento e validação de pipelines.
Participar de sessões de desenho técnico e arquitetura, contribuindo para a definição das melhores soluções.
Transformar requisitos complexos em atividades técnicas estruturadas, garantindo qualidade e cumprimento dos prazos.
Colaborar com Solution Architects e equipes multidisciplinares na implementação de componentes das plataformas de dados dos clientes.
Participar de iniciativas do Databricks Center of Excellence (CoE), contribuindo para a criação de aceleradores, componentes reutilizáveis e melhorias técnicas.
Acompanhar tendências e novas funcionalidades do ecossistema Databricks, aplicando inovação e melhoria contínua nas soluções desenvolvidas.
Requisitos técnicos e experiência
Experiência sólida em Engenharia de Dados, com pelo menos 2 anos de experiência prática no desenvolvimento e desenho de pipelines utilizando Databricks.
Domínio de desenvolvimento de pipelines e processamento de dados em ambientes distribuídos.
Experiência prática com:
Databricks;
Delta Lake;
Delta Live Tables (Lakeflow Declarative Pipelines);
Unity Catalog;
Apache Iceberg / Uniform;
Databricks Auto Loader.
Experiência na construção de pipelines escaláveis orientados por configurações YAML.
Conhecimento em padrões de ingestão e processamento Batch, Micro-batch e Streaming.
Experiência com orquestração de jobs e workflows utilizando Databricks Jobs/Workflows, Apache Airflow ou dbt.
Conhecimento em qualidade, auditoria e observabilidade de dados, utilizando recursos nativos do Databricks ou ferramentas como Great Expectations, Collibra e dbt.
Domínio de plataformas Big Data, especialmente:
Apache Spark;
Presto;
Amazon EMR.
Experiência com Cloud Data Warehouses:
Amazon Redshift;
Snowflake;
Google BigQuery.
Sólidos conhecimentos em SQL, Stored Procedures e programação orientada a objetos.
Experiência com linguagens de programação como Python, PySpark ou Java.
Familiaridade com práticas de DevOps e CI/CD, incluindo Databricks Asset Bundles, validação automatizada e testes.
Conhecimento em ferramentas de versionamento, automação e implantação de soluções de dados.
Diferenciais
Experiência com Infrastructure as Code (IaC), especialmente Terraform.
Conhecimento em bancos de dados NoSQL.
Familiaridade com plataformas de gerenciamento de containers.
Experiência com ferramentas de Inteligência Artificial e Machine Learning, especialmente MLflow.
Conhecimento em Prompt Engineering e desenvolvimento de workflows envolvendo agentes de IA (Agentic AI).
Certificação Databricks Certified Data Engineer Associate e/ou Professional.
Experiência em múltiplos projetos de implementação e entrega de soluções utilizando Databricks.
Participação em comunidades técnicas e iniciativas de inovação em Engenharia de Dados.
Perfil comportamental esperado
Perfil analítico, curioso e orientado à resolução de problemas complexos.
Autonomia técnica e capacidade de conduzir atividades com pouca supervisão.
Facilidade para trabalhar em equipes multidisciplinares.
Capacidade de decompor desafios técnicos complexos em entregas estruturadas.
Proatividade na identificação de oportunidades de melhoria e inovação.
Boa comunicação e habilidade para compartilhar conhecimento com o time.
Comprometimento com qualidade, eficiência e cumprimento de entregas.
O que buscamos neste profissional?
Um(a) Engenheiro(a) de Dados Sênior com experiência hands-on em Databricks, que domine a construção de pipelines modernos e escaláveis e tenha vivência em projetos reais de processamento distribuído e arquitetura Lakehouse.
É essencial que o profissional tenha experiência prática no desenvolvimento de soluções com Databricks, especialmente Delta Lake, Delta Live Tables, Unity Catalog, Auto Loader e orquestração de pipelines.
Se você gosta de desafios tecnológicos, trabalha com grandes volumes de dados e deseja atuar na construção de plataformas modernas de dados, queremos conhecer você!
Avantti Tecnologia | Pessoas & Tecnologia