Gerenciamento e otimização de pipelines de dados para ingestão, processamento e armazenamento em larga escala, utilizando serviços AWS como Glue, EMR, Lambda, Step Functions e Kinesis. Sustentação e troubleshooting de pipelines e cargas de trabalho de dados em ambientes de produção e missão crítica.
Automação e infraestrutura como código (IaC) para provisionamento de recursos e governança utilizando Terraform e/ou AWS CloudFormation.
Monitoramento e otimização de performance de cargas analíticas utilizando Amazon Redshift, Athena, DynamoDB e Lake Formation.
Segurança e conformidade dos dados em conformidade com padrões como LGPD, HIPAA e GDPR, utilizando IAM, AWS KMS, AWS Shield, GuardDuty eMacie.
Colaboração com times de DevOps, Arquitetura e Segurança para garantir a confiabilidade e escalabilidade dos ambientes.
Resolução de incidentes e melhorias contínuas nos ambientes de dados dos clientes.
Requirements
Certificação AWS Certified Data Engineer - Associate (Desejavel)
Experiência profissional com engenharia de dados em ambientes AWS.
Sólidos conhecimentos em serviços de dados da AWS, incluindo Glue, Redshift, Athena, Kinesis, EMR, Lambda e DynamoDB.
Experiência com ETL/ELT, transformação e modelagem de dados.
Domínio de Python ou PySpark para automação e processamento de dados.
Experiência com bancos de dados relacionais e NoSQL (PostgreSQL, MySQL, DynamoDB).
Familiaridade com Terraform para provisionamento de infraestrutura como código.
Conhecimento em monitoramento e observabilidade com CloudWatch, Prometheus e Grafana.
Experiência em otimização de performance e tuning de workloads analíticos.
Experiência com segurança e compliance em ambientes de dados.Conhecimento em arquitetura de Data Lake na AWS.