Conjunto de avaliação para agente de IA com seus casos reais
Monte um conjunto de avaliação para agente de IA com casos reais já fechados, resultados esperados e motivos, para testar cada nova versão no seu trabalho.

Um conjunto de avaliação para agente de IA é um conjunto pequeno e fixo de tarefas reais passadas do seu negócio, cada uma associada ao resultado que uma pessoa competente aceitaria. Você o monta puxando casos já encerrados dos seus registros, anotando o resultado esperado e o motivo pelo qual ele está correto, e depois roda cada novo modelo ou prompt contra o mesmo conjunto antes que ele toque no trabalho real. O objetivo não é uma nota de ranking. É uma resposta direta a uma pergunta: a nova versão trata o nosso trabalho pelo menos tão bem quanto a atual?
Principais pontos
- Comece pelos casos que sua equipe já encerrou, não por prompts inventados para uma demonstração.
- Registre o resultado esperado e o motivo pelo qual ele é aceitável, não apenas o texto final.
- Mantenha o conjunto pequeno o bastante para revisar à mão e inclua de propósito os casos raros e caros.
- Rode o mesmo conjunto no agente atual e em cada candidato antes que uma atualização chegue ao trabalho real.
- Aposente casos desatualizados em um calendário, para que o conjunto continue medindo o negócio como ele é hoje.
Por que os benchmarks públicos não captam o seu negócio
Os benchmarks públicos medem capacidade geral. Seu agente trabalha com os nomes dos seus produtos, os seus limites de aprovação, o histórico dos seus clientes e as exceções que sua equipe aprendeu ao longo de anos. Um modelo pode ir bem em testes gerais e, ainda assim, interpretar mal o layout de uma nota fiscal de fornecedor ou aplicar uma regra de reembolso que mudou no mês passado. A orientação de engenharia da Anthropic sobre avaliação de agentes destaca esse mesmo ponto prático: uma avaliação útil parte de tarefas realistas com critérios claros de sucesso, e não de impressões abstratas de qualidade.
É por isso que um conjunto interno importa mais na hora de atualizar. Quando um fornecedor lança uma nova versão, a pergunta não é se ela é melhor em geral. A pergunta é se ela continua fazendo o seu trabalho corretamente e quais das suas tarefas mudaram.
Quais casos antigos entram no conjunto?
Não amostre ao acaso do arquivo. Escolha em quatro grupos, para que o conjunto reflita onde o negócio realmente pode sofrer prejuízo:
- Tarefas frequentes, as que o agente vai repetir dezenas de vezes por semana, onde pequenas quedas de qualidade se acumulam.
- Tarefas caras, em que uma resposta errada significa um reembolso, uma reserva duplicada ou uma fatura incorreta.
- Tarefas arriscadas, em que o agente deve parar e pedir a uma pessoa, como um pedido acima do limite de aprovação.
- Tarefas difíceis, os casos em que um funcionário anterior precisou tomar uma decisão de julgamento ou em que o documento de origem estava confuso.
Um bom conjunto reúne os casos que fariam um funcionário novo pedir ajuda.
Cenário ilustrativo: um pequeno distribuidor de equipamentos quer que um agente redija respostas a pedidos de reembolso. A responsável pela operação separa algumas dezenas de chamados fechados nos últimos meses. Ela inclui reembolsos rotineiros, duas disputas que foram para o gerente de contas, um pedido de um cliente cujo pedido foi parcialmente enviado e um caso em que a nota fiscal original era uma imagem digitalizada. O conjunto não é uma amostra estatística. É um mapa deliberado do trabalho.
Como escrever um resultado esperado?
Cada caso precisa de mais do que uma entrada e uma resposta modelo. Escreva o registro de um jeito que um revisor, ou um avaliador automático, consiga conferir sem reconstruir a situação. Um arquivo de caso utilizável inclui:
- A entrada exatamente como chegou, incluindo anexos e a troca de mensagens.
- O contexto que o agente tinha permissão de ver naquele momento, como o status do pedido ou a versão da política em vigor.
- A ação esperada, por exemplo "redigir a confirmação do reembolso" ou "encaminhar ao gerente de contas".
- Variações aceitáveis, como duas redações que respeitam a política.
- Resultados proibidos, como prometer uma data de entrega que o estoque não confirmou.
- O motivo, escrito em uma ou duas frases, para que o caso continue compreensível depois que quem o escreveu já tiver mudado de função.
O campo do motivo é a parte que as equipes costumam pular, e é justamente ela que torna o conjunto útil depois. Quando um caso falha após uma atualização, o motivo mostra se o agente quebrou uma regra ou se a própria regra mudou.
Um plano passo a passo para o primeiro conjunto
A primeira versão deve ser pequena o bastante para ficar pronta em uma semana de trabalho focado. Uma sequência prática:
- Passo 1: defina a tarefa única que o agente vai assumir, com o limite de aprovação escrito ao lado.
- Passo 2: puxe casos fechados dos últimos meses e pergunte às pessoas que os trataram quais foram os mais difíceis.
- Passo 3: remova ou anonimize dados pessoais e mantenha apenas o que a tarefa precisa. Guarde o conjunto com as mesmas regras de acesso dos registros de origem.
- Passo 4: escreva a ação esperada, as variações aceitáveis, os resultados proibidos e o motivo de cada caso.
- Passo 5: peça a uma segunda pessoa da equipe que revise uma amostra das expectativas. Discordâncias costumam revelar uma regra não escrita.
- Passo 6: rode o agente atual no conjunto completo e registre quais casos passam, quais falham e por quê.
- Passo 7: congele o conjunto com um número de versão, para que qualquer comparação futura use exatamente os mesmos casos.
O NIST AI Risk Management Framework trata medição e documentação como parte da gestão do risco de IA, e por isso o número da versão e os motivos importam tanto quanto as notas.
Como pontuar os resultados?
Separe restrições rígidas de qualidade. Uma resposta que ultrapassa um limite de reembolso ou envia dados ao cliente errado é uma falha, sem exceção, independentemente de quão bem esteja escrita. Dimensões de qualidade como clareza, completude e tom podem ser avaliadas em uma escala simples, e devem ser revisadas por pessoas nas primeiras rodadas.
Juízes automáticos, incluindo modelos de linguagem usados como avaliadores, podem acelerar esse processo, mas precisam de calibração própria. Confira uma amostra dos veredictos deles contra decisões humanas antes de confiar neles para um conjunto de casos. O guia de avaliações da OpenAI descreve esse padrão geral de definir testes, executá-los e revisar os resultados, e é uma boa referência para estruturar o processo. Para um tratamento mais profundo da confiabilidade dos juízes, veja juiz com LLM para avaliar agentes de IA.
Acompanhe também o custo e o tempo de cada caso. Um candidato que passa em todos os casos, mas leva bem mais tempo ou exige muito mais chamadas por tarefa, pode continuar sendo a atualização errada para a sua operação.
Como tomar a decisão de atualizar
Quando chega um novo modelo ou prompt, rode a versão atual e o candidato no mesmo conjunto congelado e compare caso a caso, e não pelas médias. Leia primeiro as regressões. Um candidato que melhora doze casos, mas quebra uma regra de aprovação, não deve ir para produção até que alguém entenda essa quebra. Depois observe os novos acertos, porque eles mostram onde o candidato é realmente melhor e onde uma nova capacidade vale a pena.
As regressões também indicam o que corrigir nas regras ou ferramentas do agente antes da próxima tentativa. Mantenha uma decisão curta por escrito para cada atualização: o que mudou, o que os casos mostraram, o que foi aceito e quem aprovou. Antes que um candidato com autoridade real entre em operação, normalmente é prudente observá-lo primeiro em modo sombra. Veja modo sombra para agentes de IA.
O próprio conjunto também precisa de manutenção. Políticas mudam, produtos ganham novos nomes e casos antigos descrevem processos que ninguém segue mais. Agende uma revisão, remova os casos que não representam mais o trabalho e acrescente casos novos a partir de escalonamentos recentes. A forma de aposentar casos desatualizados está detalhada em manutenção de conjunto de avaliação de IA.
Como a Be Human trabalha isso em um projeto gerenciado
Em um projeto com a Be Human, o conjunto de avaliação começa pela tarefa definida do primeiro papel e pelos limites de aprovação, e não por um modelo genérico. A equipe trabalha com as pessoas que trataram os casos reais para selecioná-los, escrever os resultados esperados e marcar as ações proibidas. Modelos candidatos e mudanças de prompt são rodados contra o conjunto congelado antes de chegar à produção, e os resultados ficam registrados em um histórico de mudanças legível. Durante a operação gerenciada, o conjunto é mantido atualizado por meio de avaliações recorrentes, revisões de permissões e aposentadoria de casos desatualizados, para que o negócio tenha sempre uma resposta confiável para a pergunta sobre atualizações.
Por onde começar
Se você não tem certeza de qual das suas tarefas faria o melhor primeiro conjunto, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale a pena entregar a um agente.
Perguntas frequentes
Quantos casos preciso no primeiro conjunto de avaliação? Comece com casos suficientes para cobrir os grupos frequente, caro, arriscado e difícil de uma tarefa, o que costuma ser um conjunto pequeno que uma pessoa consegue revisar em um ou dois dias. Um conjunto maior será útil depois, mas um conjunto pequeno, preciso e bem documentado vale mais do que um grande cheio de expectativas pouco claras. Acrescente casos conforme descobrir onde o agente falha.
Posso usar registros reais de clientes no conjunto de avaliação? Pode, mas somente depois de remover ou anonimizar os dados pessoais que a tarefa não precisa, e com os mesmos controles de acesso aplicados ao sistema de origem. Muitas equipes mantêm uma versão separada do conjunto, montada com registros sintéticos que reproduzem a estrutura dos casos reais. Verifique suas obrigações legais e contratuais antes de copiar registros para qualquer novo local.
Quem deve escrever os resultados esperados? As pessoas que executaram o trabalho devem participar, porque conhecem as regras não escritas e as exceções que um gestor pode ter esquecido. Uma segunda pessoa deve revisar uma amostra das expectativas para identificar discordâncias cedo. Juízes automáticos podem ajudar na avaliação depois, mas não devem escrever sozinhos a referência de verdade.
E se um novo modelo passar em mais casos no total, mas falhar em um caso importante? Não decida pela média. Trate qualquer falha em uma restrição rígida, como um limite de aprovação ou uma regra de dados, como um bloqueio até que alguém explique o ocorrido e decida se a regra, a ferramenta ou o agente precisa mudar. Registre a decisão e o motivo para que a próxima atualização parta de um histórico claro.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


