Manutenção de conjunto de avaliação de IA: aposente casos antigos
Rotina para revisar, aposentar e adicionar casos de avaliação de agentes de IA com base no trabalho real, para que os testes sigam fiéis ao processo.

Para manter um conjunto de avaliação de agente de IA útil, revise cada caso em uma cadência fixa, aposente os casos que já não descrevem o trabalho atual e acrescente casos tirados de tarefas reais que deram errado ou foram corrigidas pela equipe. Um conjunto de testes que combinava com o trabalho em certo momento pode continuar aprovando um agente que já não atende ao processo, ou reprovar um agente correto por seguir uma regra que a empresa abandonou. Este artigo traz uma rotina para cada ciclo, critérios para aposentar um caso e um registro que os responsáveis conseguem ler.
Principais pontos
- Uma nota só significa algo se os casos ainda corresponderem ao trabalho atual.
- Dê a cada caso de avaliação um responsável nomeado, uma fonte, uma lista de dependências e a data da última revisão.
- Aposente um caso quando a regra ou o processo por trás dele mudou, e registre o motivo.
- Acrescente casos a partir de escalonamentos, correções da equipe e saídas amostradas, não apenas da imaginação.
- Arquive os casos aposentados para explicar notas antigas e detectar uma falha passada que volte.
Por que casos desatualizados enganam
Um caso de avaliação é uma afirmação sobre o trabalho: dada esta entrada, um bom resultado tem esta cara. Quando o trabalho muda, essa afirmação pode deixar de ser verdadeira sem que ninguém perceba. Um processo de reembolso ganha uma etapa de aprovação nova, um produto muda de nome, um formulário é substituído ou um segmento de clientes passa para outro canal. O caso antigo continua rodando, continua pontuando e continua aparecendo no painel, mesmo sem testar nada que importe para a empresa.
Casos desatualizados enganam em duas direções. Alguns inflam a confiança: o agente passa nos casos fáceis que já não representam a parte difícil do trabalho, então a média continua alta enquanto falhas reais acontecem em áreas que o conjunto não cobre. Outros punem o comportamento correto: o agente segue a regra atual, o caso espera a regra antiga e a nota cai. A equipe então ajusta o agente para trás, para satisfazer uma expectativa vencida. Essa segunda falha costuma ser a mais cara, porque cria uma regressão que parece progresso.
As anotações publicadas sobre avaliação de agentes, como as da Anthropic sobre como desmistificar avaliações, tratam o conjunto como algo que exige manutenção contínua conforme o agente e o ambiente mudam. A boa manutenção segue a mesma lógica. O conjunto de avaliação é um registro vivo do processo do negócio, não uma prova fixa.
Comece com um registro de casos
Antes de revisar qualquer coisa, coloque os casos em um registro que o dono do negócio consiga ler. Uma planilha ou um arquivo versionado basta. Para cada caso, registre:
- Um identificador e uma descrição de uma frase da tarefa, em linguagem simples.
- A entrada, com dados pessoais removidos ou substituídos por marcadores realistas.
- A regra de aceitação: o que um bom resultado precisa conter, evitar ou fazer, incluindo qualquer ação obrigatória em ferramenta ou escalonamento.
- A fonte: de onde veio o caso, como um escalonamento real, uma correção da equipe, uma saída amostrada ou um documento de política.
- O responsável que confirma se a expectativa continua correta.
- As dependências: a versão da política, o esquema da ferramenta, o modelo ou a fonte de dados em que a expectativa se apoia.
- A data da última revisão e a decisão tomada naquela revisão.
O campo de dependências é o mais importante. Ele permite encontrar todos os casos afetados quando uma política ou ferramenta muda, em vez de reler o conjunto inteiro. Se ainda não há registro, um conjunto de tarefas de referência versionadas é um bom ponto de partida, porque obriga cada caso a nomear o comportamento esperado.
Uma rotina de revisão para cada ciclo
Faça a revisão em uma cadência fixa, compatível com a velocidade com que o processo muda. Um ritmo mensal serve para a maioria dos fluxos operacionais. Acrescente uma passagem extra sempre que uma política, ferramenta, modelo ou item de catálogo mudar.
- Reúna as mudanças. Liste cada edição de política, alteração de esquema de ferramenta, atualização de modelo e mudança de catálogo desde a última revisão, e confronte cada uma com o campo de dependências do registro.
- Leia falhas e acertos lado a lado. Para cada falha, decida se o agente errou ou se a expectativa está desatualizada. Confira a fonte de verdade que o caso cita antes de decidir.
- Classifique cada caso afetado como manter, revisar, dividir ou aposentar, e escreva uma frase explicando a decisão.
- Revise uma amostra dos casos que passaram. Um caso que passa sempre pode ser fácil demais para dizer alguma coisa.
- Acrescente novos casos a partir dos escalonamentos, correções da equipe e saídas amostradas do período, seguindo os critérios da seção abaixo.
- Rode o conjunto atualizado contra a versão atual do agente. Informe as notas por categoria, e não apenas como uma média, para que a queda em uma área não fique escondida por ganhos em outra.
- Registre a nova versão do conjunto e os motivos de cada mudança no registro de alterações, para que o próximo leitor consiga comparar notas entre versões.
Quando aposentar um caso?
Aposentar é uma decisão, não uma exclusão. Use as regras abaixo e registre o motivo em cada caso.
- Aposente quando a regra de negócio por trás do caso deixou de valer e ninguém consegue nomear uma regra substituta.
- Revise quando a intenção continua válida, mas a redação, o exemplo, o formato de saída ou o documento de origem estão desatualizados.
- Divida quando um caso verifica vários comportamentos e pode falhar por motivos diferentes. Um caso misto não diz qual comportamento quebrou.
- Aposente um caso quando a ferramenta ou os dados de que ele depende foram removidos e o próprio fluxo também foi descontinuado. Se o fluxo continua por outro caminho, revise o caso.
- Mantenha um caso, mesmo que o agente passe com facilidade, quando ele protege contra uma falha cara, como um compromisso errado com um cliente. Esses casos funcionam como guardas de regressão, e você quer que continuem passando.
- Arquive cada caso aposentado com o motivo e a última versão em que rodou. Você vai precisar dele para explicar notas antigas e verificar se uma correção antiga voltou.
Cenário ilustrativo: a política de devolução muda
Cenário ilustrativo: uma equipe de suporte usa um agente que redige respostas para clientes que perguntam sobre devoluções. O conjunto de avaliação tem uma dúzia de casos montados no fluxo anterior, em que os clientes eram orientados a esperar uma aprovação manual antes de enviar o produto. Depois, a empresa passou a usar, na maioria dos produtos, uma etiqueta de devolução imediata. O agente passou a oferecer a nova etiqueta, o que estava certo, mas vários casos falharam porque esperavam a etapa de aprovação. A nota caiu, e um engenheiro começou a editar o prompt para trazer de volta a redação antiga.
A revisão mensal percebeu o problema porque o registro ligava esses casos à política de devolução. A equipe revisou a expectativa dos casos afetados, aposentou dois casos que descreviam uma etapa de aprovação que nenhum produto usava mais e os arquivou com a versão da política. Depois acrescentou alguns casos de escalonamentos recentes em que clientes perguntavam sobre a etiqueta em produtos excluídos da regra. O registro de alterações documentou cada decisão, para que o revisor seguinte entendesse por que as notas mudaram.
Acrescente casos sem encher o conjunto
Os melhores casos novos vêm do trabalho que a empresa já fez. Três fontes são confiáveis: escalonamentos que uma pessoa precisou resolver, correções que a equipe fez nos rascunhos do agente e saídas tiradas de uma amostra do trabalho recente em produção. Cada uma mostra uma entrada real e um julgamento real sobre o resultado certo. Uma correção feita pela equipe é especialmente útil, porque o revisor já escreveu o que era um bom resultado.
Acrescente um caso só quando for possível enunciar sua regra de aceitação em uma frase. Se não for possível, o caso não está pronto, e o processo subjacente provavelmente precisa ser esclarecido antes. Mantenha o equilíbrio entre categorias para que o conjunto não se encha de pedidos rotineiros enquanto situações raras e caras ficam sem teste. Remova dados pessoais antes de um caso entrar no conjunto e limite quem pode ler o registro quando as entradas contiverem informações de clientes.
Responsabilidade, cadência e como a Be Human faz
Cada conjunto de avaliação precisa de um responsável nomeado do lado do negócio, e não apenas da equipe técnica. Esse responsável confirma se uma expectativa continua correta, aprova aposentadorias e assina mudanças em casos de alto custo. Os engenheiros operam as ferramentas e registram os resultados. Quem decide em que o agente deve ser medido é o dono do negócio. O NIST AI Risk Management Framework trata a medição e o monitoramento contínuo como parte da gestão de riscos de IA, e essa divisão de responsabilidades é uma forma prática de atender a esse princípio. Escreva a cadência no manual de operação para que a revisão não dependa da memória de ninguém. Juízes com LLM podem acelerar a pontuação, mas precisam ser calibrados com um revisor humano e não conseguem decidir se uma expectativa continua correta.
A operação gerenciada pela Be Human inclui avaliações recorrentes, revisão de permissões e melhorias controladas. Na prática, o registro de casos fica junto da memória, das ferramentas e do registro de alterações do agente. Cada caso fica ligado à versão da política ou da ferramenta de que depende, e as mudanças no conjunto de testes são versionadas para que as notas continuem comparáveis ao longo do tempo. Aposentadorias são propostas e aprovadas pelo dono do negócio, e nunca aplicadas em silêncio.
Se você não tem certeza de qual fluxo merece um conjunto de avaliação mantido primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Com que frequência um conjunto de avaliação de agente deve ser revisado? Uma revisão mensal serve para a maioria dos fluxos operacionais, com uma passagem extra sempre que uma política, ferramenta, modelo ou item de catálogo mudar. O ritmo certo depende da velocidade do processo. Se as regras mudam toda semana, vincule as revisões a essas mudanças, e não apenas ao calendário.
Devemos apagar casos antigos de avaliação ou mantê-los? Mantenha-os em um arquivo com o motivo da aposentadoria e a versão em que rodaram pela última vez. Apagá-los elimina sua capacidade de explicar notas passadas ou de verificar se uma falha corrigida voltou. O conjunto ativo deve conter apenas casos que correspondem ao trabalho atual.
Quem deve ser o responsável pelo conjunto de avaliação? O dono do negócio deve ser responsável pelas expectativas, porque é essa pessoa que decide o que é um bom resultado para o trabalho. A equipe técnica opera as ferramentas e registra os resultados. Separar as responsabilidades assim evita que alguém altere discretamente um caso para combinar com o que o agente por acaso produz.
Um juiz com LLM pode substituir a revisão humana dos casos de avaliação? Um juiz automatizado pode pontuar muitas saídas rapidamente, mas precisa ser calibrado com decisões humanas e não consegue decidir se a própria expectativa continua certa. Use-o para acelerar as checagens, depois amostre seus veredictos e compare-os com o julgamento de um revisor antes de confiar nas notas.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


