QA ENGINEER — Engenheiro(a) de Qualidade - Híbrido 4x1

Sobre a empresa e a solução

A empresa está desenvolvendo uma plataforma que funciona como uma camada de infraestrutura e orquestração para projetos complexos de implementação SAP.

Grandes implementações SAP movimentam bilhões de dólares e envolvem milhares de consultores, mas grande parte do conhecimento produzido durante esses projetos permanece com as pessoas e acaba sendo perdido ao término das iniciativas.

A solução utiliza uma plataforma de orquestração baseada em agentes de IA, coordenando diferentes fases da transformação SAP e capturando decisões, testes e contexto durante a execução dos projetos. O objetivo é criar uma memória organizacional contínua, que possa ser reutilizada em projetos futuros.

A oportunidade

A plataforma gera especificações funcionais, configurações e artefatos de testes para implementações SAP.

Como os clientes utilizam esses materiais em projetos de grande porte, a qualidade das respostas geradas é crítica. Uma resposta incorreta produzida com alto grau de confiança pode passar pelas revisões e chegar até uma entrega ao cliente.

Por isso, a posição combina duas áreas:

QA tradicional de software

Testes automatizados end-to-end;
Testes de integração;
Suítes de regressão;
CI/CD;
Qualidade e segurança de releases.

Evaluation Engineering para IA

Avaliação de sistemas não determinísticos;
Criação de datasets de referência (golden datasets);
Critérios de pontuação;
Avaliação de respostas produzidas por LLMs;
Identificação de regressões após alterações de prompts ou modelos.

Principais responsabilidades

Construir e manter a suíte automatizada de testes da plataforma, incluindo testes E2E, integração e regressão.
Criar mecanismos de avaliação das respostas produzidas pelos agentes de IA.
Desenvolver golden datasets, critérios de pontuação e testes de regressão para artefatos gerados por LLMs.
Identificar se alterações em prompts ou modelos melhoraram ou prejudicaram os resultados.
Definir os Quality Gates e os critérios que podem bloquear uma release.
Garantir a confiabilidade dos pipelines de CI.
Identificar e corrigir testes instáveis (flaky tests) e pipelines lentos.
Executar testes exploratórios e testes de release.
Realizar triagem de defeitos, definir severidade e acompanhar sua correção até a validação final.
Transformar padrões de falhas encontrados nos testes em informações para evolução do produto e do roadmap.

Requisitos obrigatórios
3+ anos de experiência em QA, SDET ou Engenharia de Testes.
Experiência prática com automação de testes em produtos em produção.
Forte conhecimento de Python e/ou TypeScript.

Experiência com frameworks modernos de testes E2E, como:
Playwright;
Cypress;
ou equivalente.

Experiência com testes de APIs.
Conhecimento sólido de CI/CD, incluindo criação e manutenção de pipelines.
Capacidade de testar sistemas cujas respostas não são determinísticas.
Experiência com avaliação de resultados de LLMs ou Machine Learning, ou capacidade de estruturar uma abordagem consistente para isso.
Capacidade de avaliar corretamente a severidade e o impacto de defeitos.
Utilização de ferramentas de IA no trabalho diário.
Perfil autônomo, capaz de estruturar processos em ambientes que ainda não possuem um modelo definido.
Experiência anterior em empresas em estágio inicial, preferencialmente tendo participado da construção da própria função/processo de QA.

Diferenciais
Experiência avaliando funcionalidades baseadas em LLMs ou agentes de IA em produção.

Conhecimento de:
desenho de avaliações (evals);
detecção de alucinações;
processos de revisão Human-in-the-Loop (HITL).
Familiaridade com ecossistemas de software corporativo, especialmente:
SAP;
Salesforce;
ERP;
CRM.
Experiência com ferramentas de testes SAP, como Tricentis ou Worksoft.
Experiência com ciclos de testes SAP e UAT.
Conhecimentos de testes de performance, carga ou segurança.
Capacidade de programação suficiente para não apenas identificar um bug, mas também eventualmente corrigi-lo.

Inglês profissional a fluente.

Benefits