Conjunto de referência para avaliar agentes de IA com trabalho real
Um conjunto de referência é um grupo pequeno de casos reais da sua empresa, rotulados, que toda mudança no agente precisa passar antes de chegar aos clientes.

Um conjunto de referência para um agente de IA é um grupo pequeno e rotulado de casos reais das suas próprias operações. Cada caso registra a entrada que o agente recebeu, o resultado que uma pessoa experiente aceitaria e os limites que tornam esse resultado aceitável. Toda troca de modelo, edição de prompt ou atualização de ferramenta precisa passar por esse conjunto antes de chegar a clientes, faturas ou registros. Assim, a avaliação vira uma checagem repetível, e não uma impressão.
Principais pontos
- Monte o conjunto com trabalho que a sua equipe já concluiu, e não com prompts inventados.
- Registre o resultado aceito e a fronteira, para que quem revisa consiga julgar sem adivinhar.
- Defina a regra de aprovação antes de rodar qualquer mudança, incluindo quais falhas bloqueiam a liberação.
- Mantenha o conjunto pequeno, versionado e legível para as pessoas que respondem pelo trabalho.
- Rode o conjunto completo a cada mudança de modelo, prompt, ferramenta ou política, e amostre também as respostas em produção.
O que é um conjunto de referência e o que ele não é
Um conjunto de referência não é um ranking de modelos nem um roteiro de demonstração. Ele é o padrão mínimo que a sua empresa aceita, escrito como casos que o agente precisa resolver corretamente. Os benchmarks públicos medem capacidade geral. O seu conjunto mede se o agente lê o formato do seu orçamento, aplica a sua regra de reembolso, usa o cadastro de cliente certo e para quando a decisão cabe a uma pessoa.
As equipes costumam começar com uma suíte genérica porque ela é fácil de encontrar. O risco é que uma suíte genérica passe enquanto o agente ainda erra na exceção que custa um cliente. Um conjunto útil é pequeno o bastante para que um gestor leia todos os casos em menos de uma hora e específico o bastante para que uma falha apareça com clareza. Ele não substitui o monitoramento depois da liberação. Ele é a barreira que impede que uma falha conhecida volte. Para uma visão mais ampla sobre como julgar agentes em trabalho operacional, veja como avaliar agentes de IA em tarefas de negócio.
Comece pelos casos que a sua empresa já resolveu
A melhor fonte é o trabalho que a sua equipe já terminou. Use chamados fechados, orçamentos aprovados, exceções resolvidas e os repasses que deram errado. Inclua os casos comuns, porque a maior parte do volume diário é rotina, e acrescente os casos difíceis: um endereço escrito em dois formatos, um cliente que alterna entre português e inglês na mesma mensagem, ou uma nota fiscal de fornecedor que chega como imagem digitalizada com um carimbo sobre o total.
Inclua casos em que a resposta correta é parar e pedir para uma pessoa decidir. Esses casos testam a fronteira, e fronteiras falham em silêncio quando ninguém as testa. Remova os dados pessoais que o teste não precisa e mantenha apenas o que a sua organização pode usar para essa finalidade. O NIST AI Risk Management Framework trata medição e documentação como parte da gestão de risco de IA, o que é um bom motivo para registrar de onde vem cada caso.
Um passo a passo para o primeiro conjunto
Monte o primeiro conjunto para uma tarefa só, com um responsável claro e uma linha de chegada clara. Responder a um pedido padrão de orçamento é um alvo melhor do que a operação inteira de um setor.
- Escolha uma tarefa, um responsável e uma saída concluída que alguém consiga julgar.
- Exporte de vinte a trinta casos concluídos do trabalho recente e remova os dados pessoais que o teste não precisa.
- Escreva cada entrada exatamente como o agente a recebe, incluindo anexos, datas e mensagens anteriores da conversa.
- Descreva o resultado aceito em linguagem simples: os fatos que precisam aparecer, as ações que não podem acontecer e o repasse esperado.
- Classifique cada caso como comum, limite ou parar e perguntar, para que as lacunas de cobertura fiquem visíveis de imediato.
- Peça a uma segunda pessoa que rotule uma amostra de forma independente, e reescreva qualquer rótulo que dois revisores leriam de modo diferente.
- Guarde o conjunto com um número de versão e uma nota curta sobre o que ele cobre e o que deixa de fora.
Mantenha a primeira versão simples. Uma planilha ou uma pasta de arquivos de texto basta no começo. O que importa é que cada caso possa ser lido pela pessoa que responde pelo trabalho, sem uma explicação técnica.
Defina a regra de aprovação antes de rodar qualquer coisa
Decida o que significa passar antes da primeira execução. Se você escolher a regra depois de ver os resultados, ela tende a se ajustar ao resultado. Separe falhas graves de problemas leves. Uma falha grave é um cliente errado, uma ação duplicada, um preço inventado, uma aprovação ausente ou uma mensagem enviada sem o repasse exigido. Um problema leve é tom, tamanho ou formatação. Uma média pode esconder a falha que importa, então qualquer falha grave deve bloquear a liberação, independentemente do resultado geral. Escreva a regra como uma frase para cada tipo de falha e deixe-a junto ao conjunto, para que o revisor a veja sem precisar perguntar.
Se você usar um modelo para corrigir as saídas, compare-o com os rótulos humanos antes. O artigo sobre juízes com LLM para avaliar agentes de IA explica onde os corretores automáticos induzem ao erro. Um guia prático de decisão para cada execução fica assim:
- Uma falha grave em qualquer caso interrompe a mudança, e o caso que falhou permanece no conjunto de forma definitiva.
- Se aparecerem apenas problemas leves, o responsável pelo processo decide se a redação é aceitável, e a decisão é registrada junto com a versão.
- Um caso que passava antes e agora falha é uma regressão, mesmo que o resultado geral tenha melhorado.
- Uma nova falha encontrada em produção entra no conjunto antes que a correção seja aprovada.
Rode a cada mudança e mantenha o conjunto vivo
Rode o conjunto completo sempre que mudarem a versão do modelo, o prompt de sistema, as definições de ferramentas, as fontes de consulta ou as regras de negócio. Mudanças em ferramentas merecem cuidado especial, porque uma pequena edição na descrição de uma ferramenta pode alterar qual ferramenta o agente escolhe. O guia sobre o que fazer quando o modelo de IA muda descreve como decidir entre adotar, ajustar ou reverter uma mudança.
Cenário ilustrativo: um distribuidor usa um agente para redigir respostas a alterações de pedidos recorrentes. Uma equipe edita o prompt para deixar as respostas mais curtas. A nova versão passa nas checagens de tom, mas em dois casos deixa de mencionar o horário limite para entrega no mesmo dia. A regra grave sobre horário limite bloqueia a liberação. O prompt é corrigido, o conjunto roda de novo e o registro de mudanças mostra qual caso pegou o problema.
Mantenha o conjunto vivo depois da liberação. Quando a equipe corrige o agente, transforme essa correção em um caso, como descrito em transforme correções da equipe em regras do agente. Quando uma política muda, revise cada caso que depende dela antes da próxima execução. Retire um caso somente com um motivo escrito, para que o conjunto não fique mais fácil sem que ninguém perceba. Registre cada execução com a versão testada, o resultado e o nome da pessoa que aprovou qualquer exceção.
Como a Be Human trabalha o conjunto na operação gerenciada
A Be Human desenha o primeiro papel do agente já com o conjunto de testes pronto, partindo dos casos que a empresa já resolveu e escrevendo a fronteira de aprovação ao lado de cada um. Na operação gerenciada, o conjunto se mantém atualizado: é executado de novo quando modelos, prompts ou ferramentas mudam, revisado nas revisões de permissão e ampliado depois de incidentes. O trabalho é remoto, em inglês ou português, e as pessoas que conhecem melhor os casos participam da rotulagem. Se você não tem certeza de qual tarefa deve vir primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Quantos casos um conjunto de referência precisa ter? Comece com de vinte a trinta casos para uma tarefa, escolhidos para cobrir trabalho comum, casos limite e momentos de parar e perguntar. Cobertura e qualidade dos rótulos importam mais do que a quantidade. Aumente o conjunto quando surgir uma nova falha, e não em um calendário fixo.
Um modelo de IA pode corrigir o conjunto de referência? Ele ajuda na escala, mas não deve ser o único juiz no começo. Compare as correções dele com rótulos humanos em uma amostra e ajuste as instruções até que ambos concordem nas falhas graves. Mantenha a revisão humana em qualquer caso em que um resultado errado seria caro.
Com que frequência o conjunto deve rodar? Rode-o a cada mudança que possa alterar o comportamento, incluindo versões de modelo, prompts, definições de ferramentas e políticas. Rode-o também de forma programada, porque parte do desvio vem de sistemas externos que o agente lê, e não apenas de mudanças que você faz. Uma execução reprovada deve bloquear a liberação até que alguém registre uma decisão.
Quem deve ser o responsável pelo conjunto de referência? O responsável deve ser a pessoa que responde pelo trabalho, como o gestor de operações ou o gerente financeiro, e não apenas o engenheiro que construiu o agente. A equipe técnica mantém a estrutura de testes e o processo de execução, enquanto o dono do negócio aprova inclusões, retiradas e regras de aprovação. Um aprovador nomeado evita que o conjunto se torne algo que ninguém lê.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


