[TS] ENGENHEIRO DE PIPELINES DE DADOS (MICROSOFT FABRIC)

Ouvir, criar e inspirar a transformação digital dos nossos clientes é o que nos motiva.

De pessoas para pessoas 😍

Acreditamos que, mais do que tecnologia, a transformação digital é sobre como as pessoas conduzem as mudanças nas empresas. E por entender isso, o fator humano é o que nos faz evoluir e modernizar processos.

Não é somente mais uma oportunidade... e sim um convite para você fazer parte dessa história. 

Na iblue Consulting você vai trabalhar com uma equipe multidisciplinar, que é responsável por alavancar o crescimento do negócio através das nossas pessoas. 🚀

Buscamos profissionais com os seguintes valores que corroboram com os nossos valores:

• Cuidado com as pessoas;
• Responsabilidade;
• Ética;
• Excelência e Resultados;
• Cliente no ​​​​​​​centro.

Estamos em busca de um ENGENHEIRO DE PIPELINES DE DADOS MICROSOFT FABRIC com experiência prática em Microsoft Fabric, OneLake, lakehouses, notebooks, SQL, Python ou PySpark, arquitetura medallion e construção de pipelines de dados.

Se você possui experiência em metodologias ágeis, qualidade de código, testes e automação e se identifica com valores como colaboração, responsabilidade e comprometimento, essa oportunidade é para você!

Principais Responsabilidades

• Configurar e testar a conexão com o SharePoint Online para o escopo delimitado do piloto.
• Desenvolver componentes de pipeline para ingestão de documentos e metadados selecionados na camada Bronze do OneLake.
• Implementar padrões de carga incremental, detecção de alterações, novas tentativas, registro de execução e tratamento de exceções.
• Desenvolver a lógica da camada Silver para limpeza, normalização, eliminação de duplicidades, tratamento de versões e resolução de conflitos.
• Implementar componentes da camada Gold para preparação de produtos de informação validados conforme as regras de negócio.
• Apoiar processos de extração de atributos, enriquecimento de informações e validação pelos responsáveis de negócio.
• Registrar a linhagem entre documentos de origem, execuções dos pipelines, registros transformados e resultados validados.
• Testar cenários de inclusão, atualização, versionamento, duplicidade, exclusão, exceção e alteração de documentos.
• Implementar painéis operacionais, alertas, históricos de execução, logs e diagnósticos de suporte.
• Colaborar com as equipes de SharePoint e arquitetura da informação para compreender estruturas de origem, metadados, permissões e comportamentos de alteração.
• Documentar restrições técnicas, comportamentos não suportados, soluções alternativas, desempenho e considerações para produção.
• Empacotar códigos, notebooks, configurações e definições de pipelines utilizando práticas aprovadas de versionamento e releases.
• Produzir testes, documentação técnica, instruções de implantação e runbooks operacionais.

Contexto Técnico de Atuação no Projeto

• Atuação prática na construção e validação do fluxo de ingestão de documentos, metadados e dados selecionados do SharePoint Online para o OneLake.
• A solução utilizará Microsoft Fabric, lakehouses, notebooks, SQL, Spark ou PySpark, pipelines e arquitetura medallion.
• Os dados serão organizados nas camadas Bronze, Silver e Gold, com controles de qualidade, transformação, validação, linhagem e monitoramento.
• O projeto deverá validar o comportamento real de conectores e pipelines em relação a metadados, permissões, versões, atualizações, duplicidades e exclusões.
• A solução deverá contemplar componentes reutilizáveis de ingestão, transformação, observabilidade, tratamento de exceções e recuperação.
• O profissional atuará sob direcionamento da arquitetura de Fabric e dados e em colaboração com SharePoint, arquitetura da informação, IA e áreas de negócio.

Requisitos e Qualificações

• Experiência prática com Microsoft Fabric, OneLake, lakehouses, notebooks e pipelines de dados.
  Conhecimento de transformações baseadas em Spark, PySpark ou SQL.
• Experiência em arquitetura e desenvolvimento de pipelines, cargas incrementais e detecção de alterações.
• Conhecimento de tratamento de esquemas, qualidade de dados, observabilidade, recuperação e tratamento de exceções.
• Experiência na integração de APIs REST, arquivos, metadados de documentos ou fontes de dados do Microsoft 365.
• Proficiência em SQL e em pelo menos uma linguagem de engenharia de dados, como Python ou PySpark.
• Conhecimento de arquitetura medallion e organização de dados nas camadas Bronze, Silver e Gold.
• Experiência com controle de código-fonte, parametrização, configuração de ambientes, implantação e testes.
• Capacidade de desenvolver testes repetíveis para demonstrar o comportamento real da plataforma.
• Experiência na criação de documentação técnica, runbooks, procedimentos de implantação e materiais de suporte.
• Inglês intermediário a avançado (B2 ou superior), com capacidade de comunicação escrita e verbal em ambiente corporativo e técnico.

Habilidades Comportamentais

• Pensamento analítico e capacidade de investigação técnica.
• Rigor na validação de dados, execução de testes e documentação de resultados.
• Capacidade de solucionar problemas e investigar falhas de integração ou processamento.
• Organização, atenção aos detalhes e disciplina de engenharia.
• Colaboração com arquitetos, desenvolvedores e profissionais de negócio.
• Comunicação clara sobre restrições, riscos, falhas e comportamentos da plataforma.
• Proatividade e orientação à automação e melhoria contínua.
• Comprometimento com qualidade, rastreabilidade, observabilidade e sustentabilidade.
• Disponibilidade para atuação no fuso horário: Eastern Standard Time - EST (diferença de 2 horas a menos que a de Brasília - Brasil).

Diferenciais

• Conhecimento de SharePoint Online, Microsoft Graph, bibliotecas de documentos, tipos de conteúdo, metadados e versionamento.
• Experiência com formatos Delta, processamento distribuído e arquitetura medallion.
• Experiência com modelos semânticos, processamento de documentos ou preparação de dados para soluções de IA.
• Conhecimento de permissões, identidade e segurança em integrações com Microsoft 365.
• Experiência na criação de soluções piloto preparadas para posterior fortalecimento e utilização em produção.
• Experiência com práticas de DevOps, integração contínua, implantação contínua e monitoramento.
• Certificações Microsoft Fabric Analytics Engineer, Azure Data Engineer ou relacionadas.

Benefits