Buscamos Engenheiro de dados SR para nosso cliente, uma consultoria de tecnologia, atuante no segmento de dados, conectando plataformas, dados e IA para acelerar a transformação digital de empresas líderes. a empresa possui um ecossistema completo de soluções em dados
Da arquitetura de integração à inteligência artificial — engenharia de ponta a ponta, com segurança e escala.
Esse profissional irá atuar em um dos grandes clientes da consultoria.
Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços da AWS;
Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT);
Implementar e otimizar soluções utilizando serviços como AWS Glue, S3, Lambda, Athena, Redshift, EMR, Step Functions e EventBridge;
Projetar, implementar e sustentar Data Lakes e arquiteturas modernas de dados em ambiente AWS;
Desenvolver soluções utilizando Python e SQL com foco em performance, escalabilidade e qualidade dos dados;
Trabalhar com grandes volumes de dados estruturados e não estruturados;
Garantir a qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline;
Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.
Requisitos mínimos
Experiência sólida como Engenheiro(a) de Dados em ambientes AWS;
Domínio dos principais serviços AWS utilizados em arquiteturas de dados, como S3, Glue, Athena, Redshift, Lambda, EMR e IAM;
Experiência sólida no desenvolvimento de pipelines de dados utilizando ETL/ELT;
Experiência com Apache Spark/PySpark e Delta Lake;
Conhecimento avançado em Python e SQL;
Experiência com modelagem de dados para ambientes analíticos e Data Lakes;
Conhecimento em Infraestrutura como Código (IaC), utilizando AWS CloudFormation ou Terraform;
Experiência com controle de versão utilizando Git e práticas de CI/CD;
Conhecimento em particionamento, otimização de consultas e processamento distribuído;
Experiência com monitoramento, observabilidade e troubleshooting de pipelines de dados;
Conhecimento em arquitetura de dados em cloud e boas práticas de segurança e governança de dados;
Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.
Diferenciais
Experiência com Databricks em ambiente AWS;
Conhecimento em Apache Airflow ou outras ferramentas de orquestração de workflows;
Experiência com arquiteturas orientadas a eventos (Event-Driven Architecture);
Conhecimento em Apache Iceberg ou Apache Hudi;
Experiência com Docker e Kubernetes;
Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
Certificações AWS voltadas para Data Engineer, Data Analytics ou Solutions Architect.
O modelo de contratação pode ser PJ ( sem benefícios ) ou CLT