Conjunto de testes para avaliar agentes de IA: monte o seu esta semana
Monte um conjunto de testes para avaliar agentes de IA com casos reais de atendimento. Escreva resultados esperados e meça cada mudança do mesmo jeito.

Um conjunto de referência para avaliar agentes de IA é uma coleção pequena e fixa de casos reais, cada um emparelhado com o resultado que um agente correto precisa produzir e com uma regra para julgá-lo. Você roda essa mesma coleção depois de cada troca de modelo, ajuste de prompt ou atualização de ferramenta, para que os resultados sejam comparados entre si e não lembrados a partir de uma demonstração. Uma primeira versão útil pode ser montada em uma semana, a partir de chamados resolvidos, pedidos internos ou perguntas de clientes que sua equipe já atendeu.
Principais pontos
- Um conjunto de referência é uma lista fixa e versionada de casos reais com resultados esperados, não uma lista de prompts impressionantes.
- Comece pelos chamados resolvidos, porque eles mostram as perguntas que as pessoas de fato fazem e as respostas que seu negócio já aceitou.
- Escreva cada resultado esperado de forma observável: a ação tomada, os campos extraídos, o encaminhamento feito ou a resposta que foi retida.
- Pontue toda execução com as mesmas regras e rode o conjunto completo antes de qualquer mudança de modelo, prompt ou ferramenta entrar em produção.
- Mantenha o conjunto pequeno o bastante para uma pessoa revisar e altere-o apenas por meio de uma edição registrada.
Por que um conjunto de testes vale mais que uma pilha de demonstrações
A maioria das equipes testa um agente digitando algumas mensagens que lhe vêm à cabeça e lendo as respostas. Isso funciona até alguém trocar o modelo, editar o prompt de sistema para resolver uma reclamação ou adicionar uma ferramenta, e o agente piorar silenciosamente em algo que ninguém testou naquela semana. Uma demonstração mede o que o testador lembrou de tentar. Um conjunto de referência mede o que o negócio já decidiu que está correto.
O valor está na consistência. Quando os mesmos casos rodam antes e depois de uma mudança, as diferenças nos resultados vêm da mudança, e não do humor do testador, da forma como ele escreveu ou da ordem em que fez os testes. Essa consistência permite ao líder de operações fazer uma pergunta precisa: quais casos melhoraram, quais pioraram, e a troca é aceitável?
O que entra em um caso de referência
Cada caso precisa de quatro partes: a entrada exatamente como chegou, o contexto que o agente teria (o estado do cadastro do cliente, a situação do pedido, a versão da política em vigor), o resultado esperado e o motivo pelo qual esse resultado está correto. Mantenha as entradas sem edição, com erros de digitação, misturas de idiomas e conversas encaminhadas, porque o tráfego real contém tudo isso. Remova dados pessoais ou troque-os por identificadores fictícios antes que o conjunto saia dos sistemas onde foi criado.
Resultados esperados devem descrever comportamento, não redação. “Recusa um reembolso acima do limite de aprovação e encaminha o caso para a fila financeira” pode ser verificado. “Responde de forma educada e prestativa” não pode. Inclua também casos negativos: pedidos que o agente deve recusar, perguntas que precisam ir para uma pessoa e entradas ambíguas o suficiente para que o movimento certo seja uma pergunta de esclarecimento. Agentes costumam falhar de forma mais visível quando agem sobre algo que deveriam ter deixado em paz, então esses casos merecem tanta atenção quanto os rotineiros.
Plano passo a passo para o primeiro conjunto
Siga estas etapas na ordem. Uma equipe pequena consegue concluí-las em poucas sessões focadas.
- Escolha um fluxo com dono nomeado e um volume constante de trabalho resolvido. Não comece pela empresa inteira.
- Exporte os casos resolvidos recentes desse fluxo e separe-os em quatro grupos: tratados corretamente, tratados com retrabalho, encaminhados e tratados de forma errada.
- Selecione casos de todos os grupos, incluindo vários em que uma pessoa precisou corrigir o resultado. Essas correções mostram onde as regras não estão claras.
- Escreva o resultado esperado de cada caso selecionado em uma ou duas frases, usando ações e campos observáveis.
- Anexe a política ou o documento que torna cada resultado correto, para que um revisor consiga conferi-lo depois sem precisar perguntar a ninguém.
- Peça a uma segunda pessoa que escreva ou revise os resultados esperados de forma independente. Divergências costumam revelar uma lacuna de política, não um problema de pontuação.
- Guarde o conjunto em um local versionado, com data, dono e uma nota curta de alteração.
- Rode o agente atual contra o conjunto uma vez e registre o resultado como linha de base antes de mudar qualquer coisa.
Um guia de formato mais curto para esta etapa está disponível em como montar um conjunto de testes de referência para o seu fluxo de IA. A linha de base existe para que toda mudança posterior seja comparada com algo fixo, então não a pule, mesmo quando os primeiros resultados decepcionarem.
Como pontuar cada caso sem um painel de especialistas
A pontuação precisa de três resultados: passa, falha com motivo conhecido e precisa de revisão. Passa significa que todos os elementos obrigatórios do resultado esperado aparecem e nenhuma ação proibida ocorre. Falha registra qual elemento faltou ou qual ação proibida aconteceu. Precisa de revisão cobre casos em que a resposta do agente é defensável, mas diferente do resultado esperado. Esses costumam ser os casos em que o próprio resultado esperado precisa ser atualizado.
Verificações automáticas funcionam bem com resultados estruturados: o registro certo foi tocado, o campo certo foi preenchido, a fila de escalonamento recebeu o caso. Respostas em texto livre exigem uma rubrica curta que um revisor consiga aplicar em menos de um minuto, ou um avaliador baseado em modelo. Se usar um modelo para julgar respostas, confira o avaliador contra casos que uma pessoa já pontuou, porque um juiz pode compartilhar os pontos cegos do agente que avalia. O guia sobre juiz com LLM para avaliar agentes de IA, calibrado antes de confiar nele explica como fazer essa checagem.
Mantenha o relatório simples: quantos casos rodaram, quantos passaram, quais falhas são novas em relação à última execução e as falhas agrupadas por motivo. Uma mudança só vira candidata a liberação quando as novas falhas estão entendidas e o dono as aceitou por escrito.
Cenário ilustrativo: um agente de dúvidas sobre reembolso
Este cenário é ilustrativo e não descreve um cliente real. Imagine um agente de atendimento que responde perguntas sobre pedidos atrasados e pode emitir crédito de loja até um limite fixo. A equipe monta um conjunto de referência com cerca de vinte casos. Ele inclui um atraso ainda dentro do prazo prometido, que pede a resposta padrão; um atraso além do prazo, em que o crédito de loja dentro do limite é o correto; um pedido acima do limite, que precisa ir para o financeiro; uma mensagem em português sobre um pedido cancelado, que deve ser respondida em português; e a alegação de entrega não recebida, em que o agente deve pedir o código de rastreio antes de considerar qualquer crédito.
A execução de linha de base passa na maioria dos casos, mas falha no caso de cancelamento em português, porque o agente responde em inglês. A equipe acrescenta uma instrução de correspondência de idioma ao prompt e roda o conjunto de novo. Esse caso passa agora, mas um caso de crédito de loja é encaminhado ao financeiro por engano, porque a nova instrução deixou o agente mais cauteloso com o limite. Sem o conjunto de referência, a equipe teria publicado a mudança e descoberto a segunda falha por uma reclamação de cliente. Com ele, a regressão aparece antes da liberação, e o dono decide se ajusta a instrução ou o resultado esperado, com uma nota explicando qual dos dois e por quê.
Mantendo o conjunto atual e como a Be Human faz isso
Um conjunto de referência perde a precisão com o tempo. Políticas mudam, produtos mudam e surgem novos tipos de pedido. Revise o conjunto em uma agenda regular, acrescente casos a partir de novas falhas e escalonamentos, e aposente casos cuja política de base não vale mais. Toda edição deve trazer uma nota dizendo o motivo, porque uma alteração sem explicação nos resultados esperados torna os resultados anteriores impossíveis de comparar. O mesmo conjunto sustenta decisões sobre atualizações de modelo, e o guia sobre o que fazer quando o modelo de IA muda mostra como transformar resultados em decisões de adotar, ajustar ou reverter. O versionamento do próprio conjunto está tratado em conjunto de avaliação para agente de IA com tarefas de referência versionadas.
A Be Human trata o conjunto de referência como parte do registro operacional de cada agente, e não como um teste pontual. Na operação gerenciada, os casos são montados a partir do trabalho resolvido do cliente, mantidos sob controle de versão com donos nomeados, executados antes de cada mudança aprovada e revisados junto com o monitoramento e os relatórios de permissões. O acesso aos casos fica restrito ao que cada agente precisa, e qualquer alteração nos resultados esperados segue o mesmo caminho de aprovação de uma alteração no próprio agente.
Por onde começar
Escolha o fluxo em que uma resposta errada custa mais tempo para sua equipe e monte o primeiro conjunto esta semana, usando o trabalho resolvido que você já tem. Mantenha o conjunto pequeno, escreva resultados que alguém consiga verificar e registre a linha de base antes de mudar qualquer outra coisa. Se não tem certeza de qual fluxo merece o primeiro conjunto, o diagnóstico gratuito de IA da Be Human ajuda a encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Quantos casos um conjunto de referência precisa ter? Não existe um número fixo que sirva para todo fluxo, mas o conjunto deve ser pequeno o bastante para uma pessoa revisar em uma sessão e amplo o bastante para cobrir o trabalho rotineiro, os casos de borda e os casos que o agente deve recusar ou encaminhar. Cobertura importa mais que volume. Um conjunto modesto com resultados esperados claros é mais útil que um grande que ninguém lê.
Dá para montar um conjunto sem engenheiros? Sim, para a maioria dos fluxos de negócio. O dono do processo pode exportar o trabalho resolvido, selecionar casos representativos e escrever os resultados esperados. Engenheiros são mais úteis para automatizar verificações estruturadas, como confirmar que o registro certo mudou ou que a fila certa recebeu o caso.
Com que frequência devemos rodar o conjunto? Rode antes de toda mudança de modelo, edição de prompt ou atualização de ferramenta, e também em uma agenda regular mesmo quando nada mudou, porque políticas e comportamento dos clientes se alteram com o tempo. Execuções agendadas também são a forma de enxergar a queda gradual de qualidade antes que ela chegue aos clientes.
É seguro usar chamados reais como casos de teste? Pode ser, desde que você remova ou troque os dados pessoais, limite o acesso às pessoas que precisam dele e guarde o conjunto com os mesmos controles dos registros de origem. Trate o conjunto como material sensível do negócio, não como uma planilha descartável, porque ele descreve como sua empresa decide as coisas.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


