Engenheiro(a) de Plataforma de Dados Sênior
Descrição
Buscamos um(a) Engenheiro(a) de Plataforma de Dados Sênior para atuar na sustentação, evolução e modernização de uma plataforma de dados baseada em Google Cloud Platform (GCP).
Essa pessoa terá papel fundamental na administração e evolução da infraestrutura da plataforma, trabalhando com Kubernetes (GKE), automação, segurança, identidade e acesso, observabilidade e processos de backup e recuperação.
Além da atuação em infraestrutura, será responsável pelo desenvolvimento de aplicações e automações em Python, incluindo portais web, APIs internas e APIs de dados, contribuindo para a eficiência operacional e a evolução dos serviços disponibilizados pela plataforma.
Responsabilidades e Atribuições:
- Sustentar, administrar e evoluir a plataforma de dados em ambiente Kubernetes, utilizando Google Kubernetes Engine (GKE).
- Desenvolver e evoluir aplicações em Python, incluindo portais web, APIs internas e APIs de dados.
- Automatizar processos operacionais relacionados à gestão de clientes, usuários, licenças e acessos.
- Administrar e evoluir componentes da plataforma, utilizando Helm e práticas de GitOps com Argo CD.
- Evoluir a arquitetura da plataforma, incluindo atualização de versões, criação e manutenção de imagens de containers e infraestrutura como código.
- Desenvolver e manter pipelines de CI/CD para aplicações e componentes da plataforma.
- Implementar e administrar mecanismos de identidade e controle de acesso, utilizando OAuth 2.0, OpenID Connect e Keycloak ou soluções equivalentes.
- Implementar estratégias de backup, restauração e recuperação de PostgreSQL e volumes persistentes em Kubernetes.
- Trabalhar com serviços do Google Cloud Platform, incluindo IAM, Secret Manager, Cloud Build, Cloud Functions e Cloud SQL.
- Desenvolver e manter integrações e automações utilizando Python e serviços de dados da plataforma.
- Implementar soluções de monitoramento, observabilidade e alertas para garantir disponibilidade e confiabilidade dos serviços.
- Identificar oportunidades de otimização de custos e utilização de recursos no Google Cloud.
- Desenvolver agentes de Inteligência Artificial para apoiar atividades de atendimento, diagnóstico de incidentes e validação de backups.
Requisitos
- Experiência sólida em Engenharia de Plataforma, Engenharia de Dados, DevOps ou SRE em nível sênior.
- Forte prática com Kubernetes em ambientes produtivos.
- Experiência com Google Cloud Platform (GCP), especialmente serviços como IAM, Secret Manager, Cloud Build, Cloud Functions e Cloud SQL.
- Conhecimento de Helm e práticas de GitOps, preferencialmente com Argo CD.
- Domínio de Python para desenvolvimento de aplicações, integrações e automações.
- Conhecimento de SQL e BigQuery.
- Experiência com Apache Airflow, preferencialmente utilizando Cloud Composer.
- Experiência no desenvolvimento de aplicações Python, incluindo APIs REST e frameworks como FastAPI ou Flask.
- Conhecimento de testes automatizados, versionamento de código e esteiras de CI/CD.
- Conhecimento de autenticação e autorização utilizando OAuth 2.0 e OpenID Connect.
- Experiência com administração de Keycloak ou soluções equivalentes de gerenciamento de identidade e acesso.
- Experiência com processos de backup e restauração de PostgreSQL e volumes persistentes em Kubernetes.
Diferenciais:
- Experiência com Apache Superset.
- Conhecimento ou experiência com Streamlit.
- Experiência com Terraform e práticas de infraestrutura como código.
- Conhecimento de segurança de aplicações expostas à internet.
- Experiência no desenvolvimento e utilização de agentes de Inteligência Artificial.