- Projetar e Construir Arquiteturas de Dados:
- Definir a arquitetura de sistemas de dados, como data lakes, Data Warehouse e bancos de dados (SQL e NoSQL).
- Escolher as tecnologias e ferramentas mais adequadas para cada solução.
- Desenvolver e Manter Pipelines de Dados (ETL/ELT):
- Criar, otimizar e monitorar fluxos de extração, transformação e carregamento (ETL ou ELT) de dados de diversas fontes.
- Garantir a automação e a resiliência desses pipelines.
- Garantir a Qualidade e Governança dos Dados:
- Implementar processos de validação, limpeza e enriquecimento de dados.
- Trabalhar na padronização e na definição de metadados para garantir a consistência e a confiabilidade dos dados.
- Assegurar a conformidade com políticas de segurança e privacidade dos dados.
- Otimizar o Desempenho e a Escalabilidade:
- Identificar gargalos e otimizar o desempenho de consultas e processos de dados.
- Garantir que a infraestrutura de dados possa escalar para lidar com grandes volumes e alta velocidade de dados.
- Colaborar com Outras Equipes:
- Trabalhar em estreita colaboração com Cientistas de Dados, Analistas de Negócios e Desenvolvedores de Software para entender suas necessidades e fornecer os dados necessários.
- Dar suporte na utilização das plataformas de dados.
- Monitorar e Solucionar Problemas:
- Configurar sistemas de monitoramento para pipelines e infraestrutura de dados.
- Diagnosticar e resolver problemas que possam surgir nos fluxos de dados.
Requirements
- Linguagens de Programação:
- Python: Avançado
- SQL: Avançado
- Java/Sacala: Intermediário ( ecossistemas Big Data como Apache Spark)
- Bancos de Dados:
- Relacionais (SQL): PostgreSQL, MySQL, SQL Server, Oracle.
- Não Relacionais (NoSQL): MongoDB, Cassandra, DynamoDB, Redis.
- Data Warehouses: Snowflake, Amazon Redshift, Google BigQuery, Teradata.
- Ferramentas e Ecossistemas de Big Data:
- Apache Spark:
- Apache Kafka:
- Hadoop: HDFS (Hadoop Distributed File System) e outros componentes do ecossistema.
- Ferramentas de Orquestração: Apache Airflow, Prefect, Dagster.
- Cloud Computing:
- Experiência com uma ou mais plataformas de nuvem (AWS, GCP, Azure) e seus serviços de dados (ex: S3, Redshift, Glue, Dataflow, BigQuery, ADLS, Synapse Analytics).
- Engenharia de Software:
- Princípios de desenvolvimento de software, incluindo controle de versão (Git), testes unitários e boas práticas de codificação.
- Desenvolvimento de APIs (RESTful).
- Modelagem de Dados:
- Técnicas de modelagem dimensional (Star Schema, Snowflake Schema).
- Modelagem para Data Lake e Data Warehouse.
- Contêineres e Orquestração:
- Docker e Kubernetes (desejável para ambientes escaláveis).
Benefits
- Cartão multibenefícios;
Alimentação/Refeição de R$45,00 ao dia
Auxílio Mobilidade de até R$35,00
- Auxílio Educação;
- Totalpass;
- Vittude (terapia on line com 40% de desconto);
- Vale Natal;
- Plano de Saúde e Odontológico Bradesco;
- Day off no seu aniversário;
- Seguro de Vida.
About the company
A Lotus ICT é uma empresa focada em fornecer os melhores soluções em tecnologia, integrando serviços de infraestrutura nas áreas de cloud services, telecom, finanças e diversos outros segmentos. Com equipe local experiente, a Lotus é capaz de implementar soluções específicas para a necessidade dos nossos clientes.