Atribuições:
Será responsável por gerenciar, monitorar, otimizar e supervisionar a distribuição, armazenamento e recuperação de dados.
Criar e manter a arquitetura de pipeline de dados
Reunir conjuntos de dados complexos e grandes
Identificar, projetar e implementar melhorias de processos internos
Criar ferramentas analíticas que forneçam insights acionáveis
Trabalhar com as partes interessadas para ajudar com problemas técnicos relacionados a dados
Conhecimentos significativos em AWS Redshift / S3
Migração de Pentarro para Python
Databricks - pipeline