Conjunto de avaliação para agentes de IA feito de trabalho real
Monte um conjunto de avaliação para agente de IA com tickets reais: redija exemplos, defina critérios de aprovação e mantenha o conjunto atualizado.

Um conjunto de avaliação para agente de IA é uma coleção fixa de tarefas realistas, cada uma associada à entrada que o agente recebe, ao contexto que ele pode usar e a uma regra escrita sobre o que é um resultado correto. Monte-o a partir de tickets, pedidos e repasses anteriores, com dados pessoais removidos, e avalie toda mudança no agente contra o mesmo conjunto antes que ela toque o trabalho real.
Principais pontos
- Comece pelo trabalho que já aconteceu. Tickets antigos mostram os pedidos, os casos de borda e a forma como sua equipe realmente recebe as demandas.
- Anonimize antes de copiar. Preserve a estrutura da tarefa e o ponto de decisão, e remova nomes, números de conta e tudo o que o agente não precisa para decidir.
- Escreva critérios de aprovação que uma segunda pessoa consiga verificar. Se dois revisores discordariam sobre um resultado, a regra ainda não está específica o bastante.
- Versione o conjunto, mantenha-o pequeno o suficiente para rodar após cada mudança e acrescente casos novos a partir de falhas reais.
Por que trabalho real anterior supera perguntas de teste inventadas
Muitas equipes começam fazendo uma lista de perguntas que imaginam que os clientes vão fazer. Essas perguntas servem para um primeiro teste rápido, mas raramente se parecem com a versão bagunçada do trabalho: o número do pedido colado no meio de uma reclamação, o anexo que chegou como imagem digitalizada, o pedido que depende de algo combinado em uma ligação do mês passado. O trabalho real contém essa bagunça. Ele também contém desfechos. Alguém decidiu, alguém emitiu um reembolso, alguém escalou, alguém escreveu uma resposta que o cliente aceitou. Essas decisões são seus pontos de referência, e nenhum prompt inventado consegue fornecê-las.
O trabalho anterior também mostra com que frequência cada tipo de tarefa aparece. Um caso raro, mas caro, merece um lugar no conjunto mesmo que surja só de vez em quando, porque uma falha ali pode causar um dano real. Um caso comum e barato também merece espaço, porque uma regressão nele será percebida rapidamente pelas pessoas que dependem do agente todos os dias. O objetivo não é reproduzir o histórico com exatidão. O objetivo é dar ao agente os mesmos tipos de entrada que o seu negócio produz de verdade, em proporções parecidas.
Isso importa mais nas funções em que o agente lê ou escreve registros. Um prompt de teste como “verifique o status do meu pedido” diz muito pouco sobre a capacidade do agente de lidar com um registro que foi atualizado duas vezes, cancelado em um sistema e ainda aberto em outro. Os tickets antigos contêm esses estados porque eles aconteceram.
Passo a passo: monte a primeira versão
Use esta sequência para uma primeira versão. Para uma função de agente, ela deve levar uma ou duas sessões de trabalho focadas, e não um trimestre de projeto.
- Escolha uma função do agente e uma decisão que ela toma, como responder perguntas sobre status de entrega ou redigir uma primeira resposta a um pedido de orçamento.
- Exporte uma amostra de tarefas passadas desse tipo a partir do sistema onde o trabalho aconteceu. Inclua casos comuns, casos difíceis e casos que foram escalados.
- Agrupe a amostra por desfecho: resolvido com a ação que o agente proporia, resolvido por uma pessoa com outra ação, escalado ou encerrado sem ação. Os grupos mostram quais decisões têm mais peso.
- Anonimize cada caso e depois congele três coisas: a entrada, o contexto que o agente teria naquele momento e o desfecho de referência.
- Escreva um critério de aprovação por caso. Declare o que a saída precisa conter, o que ela não pode fazer e quais ações de ferramenta são permitidas.
- Registre por que cada caso está no conjunto. Um caso sem motivo declarado vira ruído, e ninguém saberá depois se ele ainda importa.
- Rode o agente atual no conjunto inteiro e salve a execução junto com a versão do modelo, a versão do prompt ou da configuração e a versão do conjunto.
- Revise as divergências com as pessoas que trataram o trabalho original e, então, ajuste os critérios ou remova os casos que eram realmente ambíguos.
A execução salva é tão importante quanto o conjunto. Sem ela, você não consegue comparar a próxima versão com esta nem explicar por que a pontuação mudou.
Como anonimizar exemplos sem perder o sinal
A anonimização deve remover o que identifica uma pessoa ou uma empresa e o que o agente não precisa para tomar a decisão. Ela deve manter a forma da tarefa: o tipo de pedido, o estado do registro, a política aplicável, o prazo e o problema de redação. Um ticket que diz “Maria Souza, da Acme, perguntou sobre o pedido 88213, que foi enviado para a filial errada” pode virar “Cliente perguntou para onde foi um pedido enviado ao local errado. O pedido está no estado enviado. A política permite redirecionar dentro da mesma região sem aprovação.” A segunda versão mantém tudo o que um revisor precisa para julgar a resposta.
Substitua identificadores por marcadores estáveis, como CLIENTE_A, para que a mesma pessoa apareça de forma consistente em casos relacionados e o agente possa ser testado em mensagens de acompanhamento. Mantenha o tempo de forma relativa quando ele importar, por exemplo “a encomenda foi retirada antes do pedido de suporte”, em vez de guardar datas exatas que possam identificar alguém. Preserve as saídas de ferramentas que o agente teria visto, mas elimine números de conta, dados de pagamento e textos livres com dados pessoais que a decisão não depende.
Revise cada caso anonimizado perguntando se alguém que nunca viu o original ainda conseguiria dizer como é uma boa resposta. Se não conseguir, a anonimização removeu demais. Se o caso ainda contém detalhes sensíveis, removeu de menos. Confirme as regras de tratamento de dados pessoais com seu contato jurídico ou de privacidade antes de o conjunto sair do sistema de origem, e limite o acesso às pessoas que precisam dele.
Como escrever critérios de aprovação que o dono do negócio consegue checar
Um critério de aprovação é uma afirmação curta e testável, associada a cada caso. Bons critérios nomeiam algo observável: “A resposta informa o status de envio que consta no registro.” “O agente não promete data de reembolso.” “O caso é encaminhado a uma pessoa porque o valor está acima do limite de aprovação.” Critérios fracos dizem coisas como “a resposta é útil” ou “o tom é profissional”. Essas qualidades importam, mas precisam virar verificações que outra pessoa consiga aplicar do mesmo jeito.
Separe três tipos de verificação. As verificações de conteúdo confirmam que os fatos certos aparecem e que nenhum fato errado aparece. As verificações de ação confirmam quais ferramentas o agente chamou, com quais argumentos, e se ficou dentro de suas permissões. As verificações de limite confirmam que o agente parou onde devia, pediu aprovação ou escalou. Muitas falhas que parecem má redação são, na verdade, falhas de ação ou de limite. Pontuar os três tipos separadamente torna o relatório útil para quem precisa decidir se o agente pode receber mais trabalho.
A orientação da Anthropic sobre avaliações de agentes descreve a avaliação pelos desfechos e pelas transcrições, e não por uma única resposta, o que combina bem com essa estrutura. Quando um critério depende de julgamento sobre texto livre, algumas equipes usam outro modelo como avaliador. Isso pode funcionar, mas o avaliador precisa ser calibrado com decisões humanas antes que seus veredictos valham. O artigo Juiz com LLM para avaliar agentes de IA: onde erra e como checar trata dos padrões de erro mais comuns.
Cenário ilustrativo: uma pergunta de entrega que precisa de uma pessoa
Ilustrativo: um pequeno varejista de móveis quer que um agente responda dúvidas de entrega dos clientes. No trabalho anterior, a maioria das mensagens pedia o status de rastreamento. Um grupo menor envolvia um item danificado, um pedido para trocar o endereço de entrega depois do despacho ou uma reclamação sobre um horário perdido. A equipe montou um conjunto de algumas dezenas de casos dos meses anteriores, anonimizou-os e escreveu critérios para cada um.
Os casos de troca de endereço receberam um critério de limite: o agente não pode confirmar a mudança, deve enviar o estado do pedido e o pedido do cliente à fila da equipe e deve informar ao cliente que uma pessoa vai responder. Na primeira execução, o agente respondeu corretamente às perguntas de status e tratou bem os relatos de dano, mas confirmou a troca de endereço em dois dos casos. A equipe não começou reescrevendo o prompt. Primeiro, retirou a permissão do agente para editar o endereço de entrega, acrescentou a verificação de limite ao conjunto para que o mesmo erro fosse pego automaticamente e rodou o conjunto de novo. A execução seguinte passou nas verificações de limite, e a equipe tinha o registro do que mudou e por quê.
No modelo gerenciado da Be Human, a primeira etapa define a função, a memória e as ferramentas que ela precisa, os limites de aprovação e o critério de sucesso. O conjunto de avaliação é construído a partir desse mesmo material, e não de uma lista de desejos separada. Depois, a operação mantém o conjunto atualizado por meio de avaliações periódicas, revisões de permissões e resposta a incidentes. Assim, mudanças em modelos, prompts ou sistemas conectados são checadas com os mesmos casos antes de chegar aos clientes. As decisões sobre o que o agente pode fazer continuam com o negócio.
Mantenha o conjunto atualizado
Um conjunto de avaliação envelhece. Políticas mudam, produtos mudam, o modelo subjacente é atualizado e surgem tipos novos de pedido. A orientação de gestão de riscos do NIST trata a medição de sistemas de IA como uma atividade contínua, e não como uma verificação pontual, e o conjunto de avaliação é uma das ferramentas práticas para isso. Três hábitos mantêm o conjunto útil.
Primeiro, transforme cada falha real que chega a uma pessoa em um caso novo, na mesma semana, com o desfecho corrigido escrito. Segundo, aposente casos cuja política subjacente não existe mais, registrando o motivo da remoção para que o histórico continue legível. Terceiro, versione o conjunto da mesma forma que versiona o agente. Cada execução deve referenciar a versão do conjunto, a versão do prompt ou da configuração e o modelo. Quando a pontuação cair, esse registro mostra se o agente mudou, se as ferramentas mudaram, se a política mudou ou se o próprio teste mudou.
Antes de dar ao agente acesso de escrita a qualquer sistema, rode-o em modo sombra, em que ele propõe ações que uma pessoa revisa sem que nada seja executado. O guia do modo sombra para agentes de IA explica como comparar essas propostas com os mesmos desfechos de referência. Se você ainda não sabe qual das suas tarefas atuais seria um bom primeiro caso, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Quantos casos um primeiro conjunto de avaliação precisa ter? Comece com um conjunto pequeno o bastante para que uma pessoa revise todos os casos e para que o agente o rode após cada mudança. Cubra primeiro os tipos de pedido mais comuns e depois acrescente as falhas e os casos de borda que sua equipe já se lembra. O tamanho importa menos do que o fato de cada caso ter um motivo declarado e um critério que outra pessoa consiga checar.
Posso usar as respostas do agente do mês passado como referência? Não diretamente. A saída anterior do agente mostra o que ele fez, não o que estava certo. Use como referência o desfecho que a equipe humana alcançou, ou uma versão corrigida aprovada por um revisor, para cada caso.
É seguro colocar tickets reais em um ambiente de avaliação? Depende dos dados e dos sistemas envolvidos. Anonimize os dados pessoais antes que o conjunto saia do sistema de origem, limite o acesso às pessoas que precisam dele e use dados de teste ou cópias somente leitura sempre que o agente, de outra forma, escreveria em um sistema em produção. Seu contato jurídico ou de privacidade deve confirmar as regras que se aplicam ao seu negócio e aos seus clientes.
Com que frequência o conjunto deve ser executado? Rode-o antes de qualquer mudança no modelo, no prompt, nas ferramentas ou nos sistemas conectados, e em uma agenda regular para o agente em produção. Acrescente uma execução após qualquer incidente. A frequência deve acompanhar a velocidade com que o seu negócio muda, e não um calendário arbitrário.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


