Engenheiro(a) de Dados Pleno
Descrição
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento e evolução de soluções de Engenharia de Dados no ecossistema Google Cloud Platform (GCP).
A pessoa será responsável por atuar de ponta a ponta no ciclo de dados, desde a ingestão e processamento até a transformação, modelagem e disponibilização das informações para consumo.
O desafio envolve construir e manter pipelines de dados confiáveis, desenvolver transformações utilizando BigQuery e Dataform ou dbt, automatizar processos com Python e contribuir para a qualidade, governança e organização dos dados.
Além das atividades de engenharia, poderá apoiar as parametrizações iniciais da solução, contribuindo com a gestão de usuários, acessos, documentação operacional e relacionamento com áreas de negócio.
Responsabilidades e Atribuições:
- Desenvolver e manter pipelines de dados de ponta a ponta, contemplando ingestão, processamento, transformação, modelagem e disponibilização.
- Construir consultas e transformações utilizando SQL avançado e BigQuery.
- Desenvolver e manter modelos de dados utilizando Dataform ou dbt.
- Criar rotinas de ingestão e automação utilizando Python, incluindo implementação de testes automatizados.
- Desenvolver e acompanhar fluxos de processamento e orquestração utilizando Apache Airflow, preferencialmente Cloud Composer.
- Integrar e utilizar serviços da Google Cloud Platform, incluindo Cloud Storage, Cloud Functions e IAM.
- Implementar práticas de qualidade de dados, validação, testes e monitoramento dos processos.
- Trabalhar com versionamento de código utilizando Git e fluxos de Pull Requests.
- Apoiar a organização e disponibilização dos dados para as camadas de consumo e ferramentas analíticas.
- Apoiar, quando necessário, as parametrizações iniciais da solução, incluindo gestão de usuários e acessos.
- Documentar procedimentos operacionais e manter runbooks atualizados.
- Interagir com áreas de negócio para compreender necessidades e apoiar a evolução das soluções de dados.
Requisitos
- Experiência em Engenharia de Dados, atuando de ponta a ponta, desde a ingestão até a camada de consumo.
- Conhecimento avançado de SQL e experiência com BigQuery.
- Experiência com transformação e modelagem de dados utilizando Dataform ou dbt.
- Conhecimento de Python aplicado à ingestão de dados e automação de processos.
- Experiência com desenvolvimento de testes automatizados.
- Conhecimento de Apache Airflow, preferencialmente utilizando Cloud Composer.
- Experiência com serviços da Google Cloud Platform, especialmente Cloud Storage, Cloud Functions e IAM.
- Conhecimento de práticas de qualidade de dados e validação de pipelines.
- Experiência com versionamento de código utilizando Git e fluxo de Pull Requests.
Diferenciais:
- Experiência com Apache Superset.
- Conhecimento ou experiência com implementação de Row Level Security (RLS).
- Experiência com controle de acesso e segregação de dados por cliente.
- Conhecimento em gestão de usuários e acessos, incluindo SSO e MFA.
- Disciplina para seguir procedimentos operacionais e manter runbooks atualizados.
- Boa comunicação e interação com áreas de negócio.
- Interesse e iniciativa para identificar e automatizar atividades operacionais.