Conjunto de avaliação para agentes de IA: cinquenta casos reais
Como montar um conjunto de avaliação para agentes de IA com cinquenta tarefas reais, resultado esperado e regra de julgamento para medir cada mudança.

Um conjunto de avaliação para agentes de IA é um grupo fixo de tarefas reais da sua operação, cada uma com uma entrada, um resultado esperado e uma regra para julgar a resposta. Para um agente de negócio, cinquenta casos bem escolhidos, tirados do trabalho de verdade, são um ponto de partida prático para saber se uma nova versão de modelo, prompt ou ferramenta deixou o agente melhor, pior ou apenas diferente. O objetivo não é uma nota perfeita, e sim um critério comum contra o qual toda mudança é medida.
Principais pontos
- Monte o conjunto com tarefas que sua equipe já concluiu, e não com exemplos inventados.
- Escreva o resultado esperado e a regra de julgamento de cada caso antes de rodar qualquer versão nova.
- Inclua o trabalho de rotina, os casos difíceis, as informações faltantes e os pedidos que o agente deve recusar ou encaminhar.
- Congele o conjunto, versione-o e rode-o em toda mudança de modelo, prompt, ferramenta ou base de consulta.
- Agrupe as falhas por causa, para que uma queda de resultado aponte para algo que você consegue corrigir.
Por que um conjunto fixo de casos reais vale mais que uma boa demonstração
Uma demonstração mostra que o agente consegue fazer algo uma vez, em condições favoráveis. Um conjunto de avaliação mostra se ele ainda faz o trabalho que o seu negócio precisa depois de uma mudança. A orientação de engenharia da Anthropic sobre avaliação de agentes trata as avaliações como testes repetíveis, com tarefas definidas e resultados graduados, e o guia de evals da OpenAI defende a mesma ideia de registrar o comportamento esperado antes de ajustar o sistema. As duas apontam para a mesma disciplina: definir o que conta como sucesso antes de olhar a saída nova.
Cinquenta é um tamanho útil para um primeiro conjunto. É grande o bastante para que uma resposta de sorte não esconda uma regressão, e pequeno o bastante para que alguém da operação consiga ler cada caso e discutir se ele é justo. Conjuntos maiores podem vir depois, quando o primeiro já tiver provado que representa o trabalho real.
Como reunir tarefas candidatas sem inventá-las?
A matéria-prima deve ser o trabalho do mês passado, e não aquilo que a equipe imagina que o agente vai enfrentar. Pergunte às pessoas que executam a tarefa quais pedidos elas repetem, quais geram perguntas de acompanhamento e quais entregariam a um colega novo com um aviso. Depois, puxe exemplos reais fila de chamados, caixa compartilhada, registro de pedidos ou anotações de ligações.
Monte a lista de candidatos nesta ordem:
- Escreva, em um parágrafo curto, o papel único que o agente vai exercer e as ferramentas que ele pode usar.
- Liste as tarefas recorrentes que essa pessoa concluiu em uma semana típica e marque as que exigem mais julgamento.
- Para cada tarefa, copie um pedido real e o desfecho final aceito pela equipe, mantendo a redação original sempre que possível.
- Remova ou mascare dados pessoais, credenciais de conta e tudo o que um cliente não esperaria ver em um ambiente de teste.
- Classifique cada exemplo como rotineiro, difícil, incompleto, fora de escopo ou tratado incorretamente antes.
Se você não sabe por onde começar, a abordagem de como avaliar agentes de IA em tarefas de negócio segue a mesma sequência, do papel aos exemplos.
Que mistura de cinquenta casos reflete a carga real de trabalho?
Um conjunto feito só de pedidos fáceis vai mostrar sucesso e esconder os problemas que importam. Faça a mistura proporcional ao volume real no trabalho rotineiro, mas garanta que os casos raros e de alta consequência estejam presentes, mesmo que sejam incomuns. Um formato inicial útil tem cinco grupos:
- Tarefas rotineiras que o agente deve concluir sem ajuda.
- Pedidos com informação faltante ou conflitante, em que o comportamento correto é fazer uma pergunta de esclarecimento.
- Ações que cruzam um limite de aprovação e precisam parar para uma pessoa.
- Pedidos fora de escopo que o agente deve recusar e encaminhar ao responsável certo.
- Erros passados, tirados do registro de incidentes ou das correções da equipe.
Cenário ilustrativo: a mesa de pedidos de um distribuidor atacadista usa um agente para redigir respostas a clientes revendedores e propor alterações em pedidos. A maior parte dos candidatos são reposições padrão. A equipe então acrescenta um pedido de desconto que o agente não tem permissão para conceder, um pedido com dois endereços de entrega conflitantes e um caso em que o pedido já havia sido reembolsado uma vez. Esses três últimos casos testam se o agente respeita seus limites, algo que os casos rotineiros não conseguem responder.
Escreva o resultado esperado e a regra de julgamento antes de rodar qualquer coisa
Cada caso precisa de quatro elementos: a entrada, o contexto que o agente pode ver, o resultado esperado e uma regra de aprovação. O resultado esperado deve ser concreto. Para uma ação, é a chamada de ferramenta que deve acontecer e os argumentos principais que ela precisa conter. Para uma resposta, são os fatos que devem aparecer e os compromissos que não podem ser assumidos. Escreva isso antes de ver a saída do modelo novo, porque, caso contrário, o critério tende a se ajustar ao que a nova versão produz.
Alguns checks podem ser determinísticos: o registro correto foi atualizado, a solicitação de aprovação foi criada, não houve uma segunda escrita. Outros exigem julgamento, como saber se a resposta está completa ou clara. Nos checks por julgamento, um juiz baseado em modelo ajuda a escalar, mas suas notas precisam ser comparadas com as de um revisor humano em uma amostra antes que alguém confie nelas. O método está descrito em juiz com LLM para avaliar agentes de IA.
Quando uma ação tem efeitos colaterais, teste a decisão sem executá-la. Respostas gravadas de ferramentas, chamadas de fixtures, permitem verificar o que o agente tentou fazer diante de um estado conhecido, sem tocar nos sistemas em produção. A orientação da OWASP sobre autorização é útil aqui como lembrete de que as permissões do agente devem corresponder à decisão testada, e não ao acesso mais amplo que ele poderia ter.
Rode o conjunto em cada mudança e leia as falhas, não só a nota
Antes de testar uma mudança candidata, rode o conjunto na configuração atual de produção e guarde os resultados. Depois, rode o candidato e compare caso a caso. A média geral pode esconder um estrago: a perda de um único limite de aprovação pesa mais do que várias respostas um pouco piores na redação. Agrupe os resultados por categoria, para ver se a queda está em reembolsos, em escalonamentos ou em pedidos ambíguos.
As saídas podem variar entre execuções, então os casos sensíveis merecem mais de uma rodada, e vale registrar a variação entre elas. Para cada falha, escreva uma linha dizendo a causa provável: a busca trouxe o registro errado, uma instrução foi ignorada, um argumento da ferramenta estava errado ou o julgamento sobre escalonamento falhou. Um vocabulário comum para essas causas está descrito em tipos de falha de agentes de IA.
A decisão após cada rodada é uma entre três: adotar a mudança, ajustá-la e testar de novo, ou reverter. O processo para tomar essa decisão está em o que fazer quando o modelo de IA muda.
A taxa de acerto mostra que algo mudou. As notas de falha mostram se a mudança é aceitável.
Como a Be Human usa o conjunto na operação gerenciada
Em um projeto gerenciado, a Be Human parte da mesma definição de papel usada no primeiro projeto, incluindo a memória e as ferramentas de que o agente precisa e os limites de aprovação que ele deve respeitar, e monta o conjunto de casos a partir dessa definição. Os casos são guardados com versões, as regras de julgamento são revisadas com o responsável pela operação, e cada mudança de modelo, prompt ou ferramenta passa pelo conjunto antes de chegar à produção. Avaliações recorrentes, revisões de permissão e resposta a incidentes podem manter o conjunto alinhado conforme o negócio e suas ferramentas mudam, de modo que o critério continue o mesmo mesmo quando o software por baixo dele muda.
Mantenha o conjunto honesto conforme o negócio muda
Conjuntos de avaliação envelhecem. Produtos mudam, políticas são revisadas e a equipe encontra casos de borda que os cinquenta originais não previram. Acrescente um caso sempre que um incidente real ou uma correção da equipe revelar uma lacuna, e aposente um caso apenas quando o trabalho que ele representa deixar de existir, registrando o motivo da remoção. O NIST AI Risk Management Framework descreve medição e monitoramento como atividades contínuas, e não como uma etapa única de lançamento, o que combina com a forma como um conjunto de casos deve ser tratado.
Dois hábitos protegem o conjunto de perder valor sem que ninguém perceba. Primeiro, não altere o resultado esperado de um caso que falhou para bater com o novo comportamento do agente, a menos que a expectativa original estivesse errada, e registre essa decisão. Segundo, mantenha os casos separados dos exemplos usados para escrever prompts, porque um agente ajustado diretamente com base nas respostas do teste parecerá melhorar sem melhorar no trabalho real. As correções da equipe são uma boa fonte de casos novos, e o método para transformá-las em regras está descrito em transforme correções da equipe em regras do agente.
Transforme os primeiros cinquenta casos em uma decisão
Depois que o conjunto roda, você tem uma linha de base, uma lista de falhas e uma visão mais clara das tarefas que o agente executa com segurança. A pergunta mais útil a seguir é qual tarefa deve ir para o agente primeiro e o que ele precisa provar antes de receber qualquer permissão de escrita. Uma execução em modo sombra, em que o agente propõe ações que uma pessoa revisa antes de qualquer coisa acontecer, costuma ser a ponte natural, e os passos estão descritos em modo sombra para agentes de IA. Se você ainda não tem certeza de qual das suas tarefas faria o melhor primeiro caso, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Quantos casos preciso para um primeiro conjunto de avaliação? Cinquenta é um ponto de partida prático para um papel de agente, porque é grande o bastante para expor regressões e pequeno o bastante para uma pessoa revisar caso a caso. Se o papel cobre tipos de tarefa muito diferentes, dê a cada tipo alguns casos, em vez de acrescentar muitos ao maior grupo. Amplie o conjunto só depois que a primeira versão tiver provado que representa o trabalho real.
Um juiz baseado em LLM pode corrigir os casos para mim? Um juiz baseado em modelo pode avaliar qualidades que dependem de julgamento, como completude, tom ou se a resposta seguiu uma rubrica. Checks determinísticos, como saber se o registro certo mudou ou se uma única aprovação foi solicitada, não devem depender da opinião de um modelo. Antes de confiar em qualquer juiz, compare as notas dele com as de um revisor humano em uma amostra de casos.
Os casos de avaliação podem conter dados reais de clientes? Use o trabalho real para moldar os casos, mas guarde-os com os dados pessoais removidos ou mascarados, sob os mesmos controles de acesso dos demais registros do negócio. Teste as ações com respostas gravadas de ferramentas, e não com sistemas em produção, para que um caso que falhe não consiga escrever em uma conta real. Revise o conjunto com quem responde pelas obrigações de privacidade da sua organização antes de compartilhá-lo fora da operação.
Com que frequência o conjunto deve ser rodado? Rode-o antes de implantar qualquer mudança de modelo, prompt, ferramenta ou base de consulta, e também em uma agenda regular, para que a deriva lenta apareça mesmo quando nada foi alterado de propósito. Guarde os resultados de cada rodada para acompanhar a tendência ao longo do tempo, e não apenas saber se a última execução passou ou falhou.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


