• Desenvolvimento de soluções com grandes volumes de dados;
• Participar do desenvolvimento da solução de Data Observability;
• Desenvolvimento da arquitetura AWS via terraform;
• Levantamento de requisitos junto a área de negócios;
• Criação de modelos de dados analíticos e indicadores;
• Desenvolvimento de ETL;
• Garantir políticas de segurança para acesso aos dados;
• Ter conhecimento de modelos/regras de negócio para garantir a governança da informação;
• Garantir o tratamento e preparação dos dados;
• Fomentar a utilização de técnicas de automação para criação, configuração e monitoramento dos ambientes analíticos;
• Analisar e corrigir eventuais problemas na execução de cargas de dados.
Requisitos e Qualificações:
• Experiência em toda arquitetura AWS (S3, Lambda, DynamoDB, Glue, Athena, Step Functions, Crawler, Redshift);
• Experiencia em Python (pyspark) e SQL;
• Conhecimento em Github e Terraform;
• Experiência com ambientes de Alta Criticidade e Alta Volumetria;
• Experiência com modelagem dimensional de dados;
• Experiência com levantamento de requisitos;
• Conhecimento em arquitetura Big Data;
• Conhecimento em construção e otimização de ETL;
• Conhecimento em metodologia ágil.Desejáveis:
• Conhecimento com tecnologias como Jenkins, Apache Airflow e Power BI;
• Experiencia com CI/CD - Jenkins;
• Experiência com criação de modelos de dados e indicadores;
• Experiência com tunning de queries;
• Conhecimento em pipelines batch e near real time;
• Saber trabalhar em equipe, proativo e responsável