O Engenheiro de Dados Sênior é um líder técnico estratégico, especializado em projetar e gerenciar sistemas de dados complexos, escaláveis e inteligentes. Ele atua como arquiteto, mentor e solucionador de problemas críticos, garantindo qualidade, performance e integridade dos dados, além de impulsionar a aplicação de inteligência artificial generativa e aprendizagem profunda para extração de insights avançados.
Principais Responsabilidades
Projetar e implementar sistemas de dados complexos e escaláveis, utilizando tecnologias como cloud computing, big data, streaming e machine learning e IA definindo estratégias de armazenamento, processamento e análise de dados. Incorporar Large Language Models (LLMs), Retrieval-Augmented Generation (RAG) e bancos vetoriais para processamento inteligente de dados.
Guiar e inspirar a equipe de engenharia de dados, compartilhando conhecimento, definindo padrões e melhores práticas, e promovendo o crescimento técnico da equipe.
Identificar e resolver problemas complexos relacionados a sistemas de dados, arquitetura, performance e escalabilidade, utilizando ferramentas de monitoramento, análise de logs e depuração de código.
Criar e implementar soluções inovadoras para otimizar os sistemas de dados, utilizando tecnologias emergentes, como machine learning, data lake, streaming de dados em tempo real e big data analytics.
Comunicar soluções técnicas de forma clara e concisa para stakeholders, gestores, desenvolvedores e outras áreas, influenciando decisões estratégicas e contribuindo para o alinhamento da estratégia de dados com os objetivos da empresa.
Hard Skills
Domínio profundo de linguagens de programação Python, além de ferramentas de processamento de dados como Apache Spark, Kafka, Flink ou equivalentes.
Conhecimento em LLMs, ajuste fino de modelos de IA e uso de RAG para melhorar eficiência na busca e recuperação de informações. Domínio dos serviços do Amazon Bedrock e/ou Azure OpenAI.
Experiência com arquitetura de sistemas de dados, big data (Hadoop, Hive, HBase), streaming (Kafka, Kinesis) e bancos de dados (SQL, NoSQL).
Conhecimento avançado de ferramentas de modelagem de dados, processamento de dados e visualização de dados, como SQL, NoSQL, Tableau, Power BI, etc.
Conhecimento avançado em construção de Data Lake e Data Warehouse usando ferramentas como AWS Athena, AWS Redshift, AWS S3, AWS Glue, Airbyte, DBT e Postgres.
Compreensão profunda de conceitos de machine learning e aplicacão de técnicas de machine learning em sistemas de dados.
Soft SkillsHabilidades de comunicação clara e eficaz, tanto verbal como escrita, para se comunicar com diferentes públicos (técnicos e não técnicos).
Liderança natural e capacidade de inspirar e motivar equipes, compartilhando conhecimento e promovendo um ambiente de trabalho positivo.
Pensamento estratégico e visão crítica para tomar decisões importantes, avaliar riscos e definir prioridades.
Adaptabilidade para lidar com avanços em inteligência artificial, aprendizado profundo e processamento vetorial de dados.
Proatividade e capacidade de identificar problemas e oportunidades, propondo soluções inovadoras e contribuindo para o crescimento da equipe e da empresa.
Formação e Requisitos