Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Manutenção de conjunto de avaliação de IA: aposente casos antigos

Rotina para revisar, aposentar e adicionar casos de avaliação de agentes de IA com base no trabalho real, para que os testes sigam fiéis ao processo.

Capa tipográfica do Be Human com o título: Manutenção de conjunto de avaliação de IA: aposente casos antigos
Ilustração conceitual criada com IA · Be Human

Para manter um conjunto de avaliação de agente de IA útil, revise cada caso em uma cadência fixa, aposente os casos que já não descrevem o trabalho atual e acrescente casos tirados de tarefas reais que deram errado ou foram corrigidas pela equipe. Um conjunto de testes que combinava com o trabalho em certo momento pode continuar aprovando um agente que já não atende ao processo, ou reprovar um agente correto por seguir uma regra que a empresa abandonou. Este artigo traz uma rotina para cada ciclo, critérios para aposentar um caso e um registro que os responsáveis conseguem ler.

Principais pontos

  • Uma nota só significa algo se os casos ainda corresponderem ao trabalho atual.
  • Dê a cada caso de avaliação um responsável nomeado, uma fonte, uma lista de dependências e a data da última revisão.
  • Aposente um caso quando a regra ou o processo por trás dele mudou, e registre o motivo.
  • Acrescente casos a partir de escalonamentos, correções da equipe e saídas amostradas, não apenas da imaginação.
  • Arquive os casos aposentados para explicar notas antigas e detectar uma falha passada que volte.

Por que casos desatualizados enganam

Um caso de avaliação é uma afirmação sobre o trabalho: dada esta entrada, um bom resultado tem esta cara. Quando o trabalho muda, essa afirmação pode deixar de ser verdadeira sem que ninguém perceba. Um processo de reembolso ganha uma etapa de aprovação nova, um produto muda de nome, um formulário é substituído ou um segmento de clientes passa para outro canal. O caso antigo continua rodando, continua pontuando e continua aparecendo no painel, mesmo sem testar nada que importe para a empresa.

Casos desatualizados enganam em duas direções. Alguns inflam a confiança: o agente passa nos casos fáceis que já não representam a parte difícil do trabalho, então a média continua alta enquanto falhas reais acontecem em áreas que o conjunto não cobre. Outros punem o comportamento correto: o agente segue a regra atual, o caso espera a regra antiga e a nota cai. A equipe então ajusta o agente para trás, para satisfazer uma expectativa vencida. Essa segunda falha costuma ser a mais cara, porque cria uma regressão que parece progresso.

As anotações publicadas sobre avaliação de agentes, como as da Anthropic sobre como desmistificar avaliações, tratam o conjunto como algo que exige manutenção contínua conforme o agente e o ambiente mudam. A boa manutenção segue a mesma lógica. O conjunto de avaliação é um registro vivo do processo do negócio, não uma prova fixa.

Comece com um registro de casos

Antes de revisar qualquer coisa, coloque os casos em um registro que o dono do negócio consiga ler. Uma planilha ou um arquivo versionado basta. Para cada caso, registre:

  • Um identificador e uma descrição de uma frase da tarefa, em linguagem simples.
  • A entrada, com dados pessoais removidos ou substituídos por marcadores realistas.
  • A regra de aceitação: o que um bom resultado precisa conter, evitar ou fazer, incluindo qualquer ação obrigatória em ferramenta ou escalonamento.
  • A fonte: de onde veio o caso, como um escalonamento real, uma correção da equipe, uma saída amostrada ou um documento de política.
  • O responsável que confirma se a expectativa continua correta.
  • As dependências: a versão da política, o esquema da ferramenta, o modelo ou a fonte de dados em que a expectativa se apoia.
  • A data da última revisão e a decisão tomada naquela revisão.

O campo de dependências é o mais importante. Ele permite encontrar todos os casos afetados quando uma política ou ferramenta muda, em vez de reler o conjunto inteiro. Se ainda não há registro, um conjunto de tarefas de referência versionadas é um bom ponto de partida, porque obriga cada caso a nomear o comportamento esperado.

Uma rotina de revisão para cada ciclo

Faça a revisão em uma cadência fixa, compatível com a velocidade com que o processo muda. Um ritmo mensal serve para a maioria dos fluxos operacionais. Acrescente uma passagem extra sempre que uma política, ferramenta, modelo ou item de catálogo mudar.

  • Reúna as mudanças. Liste cada edição de política, alteração de esquema de ferramenta, atualização de modelo e mudança de catálogo desde a última revisão, e confronte cada uma com o campo de dependências do registro.
  • Leia falhas e acertos lado a lado. Para cada falha, decida se o agente errou ou se a expectativa está desatualizada. Confira a fonte de verdade que o caso cita antes de decidir.
  • Classifique cada caso afetado como manter, revisar, dividir ou aposentar, e escreva uma frase explicando a decisão.
  • Revise uma amostra dos casos que passaram. Um caso que passa sempre pode ser fácil demais para dizer alguma coisa.
  • Acrescente novos casos a partir dos escalonamentos, correções da equipe e saídas amostradas do período, seguindo os critérios da seção abaixo.
  • Rode o conjunto atualizado contra a versão atual do agente. Informe as notas por categoria, e não apenas como uma média, para que a queda em uma área não fique escondida por ganhos em outra.
  • Registre a nova versão do conjunto e os motivos de cada mudança no registro de alterações, para que o próximo leitor consiga comparar notas entre versões.

Quando aposentar um caso?

Aposentar é uma decisão, não uma exclusão. Use as regras abaixo e registre o motivo em cada caso.

  • Aposente quando a regra de negócio por trás do caso deixou de valer e ninguém consegue nomear uma regra substituta.
  • Revise quando a intenção continua válida, mas a redação, o exemplo, o formato de saída ou o documento de origem estão desatualizados.
  • Divida quando um caso verifica vários comportamentos e pode falhar por motivos diferentes. Um caso misto não diz qual comportamento quebrou.
  • Aposente um caso quando a ferramenta ou os dados de que ele depende foram removidos e o próprio fluxo também foi descontinuado. Se o fluxo continua por outro caminho, revise o caso.
  • Mantenha um caso, mesmo que o agente passe com facilidade, quando ele protege contra uma falha cara, como um compromisso errado com um cliente. Esses casos funcionam como guardas de regressão, e você quer que continuem passando.
  • Arquive cada caso aposentado com o motivo e a última versão em que rodou. Você vai precisar dele para explicar notas antigas e verificar se uma correção antiga voltou.

Cenário ilustrativo: a política de devolução muda

Cenário ilustrativo: uma equipe de suporte usa um agente que redige respostas para clientes que perguntam sobre devoluções. O conjunto de avaliação tem uma dúzia de casos montados no fluxo anterior, em que os clientes eram orientados a esperar uma aprovação manual antes de enviar o produto. Depois, a empresa passou a usar, na maioria dos produtos, uma etiqueta de devolução imediata. O agente passou a oferecer a nova etiqueta, o que estava certo, mas vários casos falharam porque esperavam a etapa de aprovação. A nota caiu, e um engenheiro começou a editar o prompt para trazer de volta a redação antiga.

A revisão mensal percebeu o problema porque o registro ligava esses casos à política de devolução. A equipe revisou a expectativa dos casos afetados, aposentou dois casos que descreviam uma etapa de aprovação que nenhum produto usava mais e os arquivou com a versão da política. Depois acrescentou alguns casos de escalonamentos recentes em que clientes perguntavam sobre a etiqueta em produtos excluídos da regra. O registro de alterações documentou cada decisão, para que o revisor seguinte entendesse por que as notas mudaram.

Acrescente casos sem encher o conjunto

Os melhores casos novos vêm do trabalho que a empresa já fez. Três fontes são confiáveis: escalonamentos que uma pessoa precisou resolver, correções que a equipe fez nos rascunhos do agente e saídas tiradas de uma amostra do trabalho recente em produção. Cada uma mostra uma entrada real e um julgamento real sobre o resultado certo. Uma correção feita pela equipe é especialmente útil, porque o revisor já escreveu o que era um bom resultado.

Acrescente um caso só quando for possível enunciar sua regra de aceitação em uma frase. Se não for possível, o caso não está pronto, e o processo subjacente provavelmente precisa ser esclarecido antes. Mantenha o equilíbrio entre categorias para que o conjunto não se encha de pedidos rotineiros enquanto situações raras e caras ficam sem teste. Remova dados pessoais antes de um caso entrar no conjunto e limite quem pode ler o registro quando as entradas contiverem informações de clientes.

Responsabilidade, cadência e como a Be Human faz

Cada conjunto de avaliação precisa de um responsável nomeado do lado do negócio, e não apenas da equipe técnica. Esse responsável confirma se uma expectativa continua correta, aprova aposentadorias e assina mudanças em casos de alto custo. Os engenheiros operam as ferramentas e registram os resultados. Quem decide em que o agente deve ser medido é o dono do negócio. O NIST AI Risk Management Framework trata a medição e o monitoramento contínuo como parte da gestão de riscos de IA, e essa divisão de responsabilidades é uma forma prática de atender a esse princípio. Escreva a cadência no manual de operação para que a revisão não dependa da memória de ninguém. Juízes com LLM podem acelerar a pontuação, mas precisam ser calibrados com um revisor humano e não conseguem decidir se uma expectativa continua correta.

A operação gerenciada pela Be Human inclui avaliações recorrentes, revisão de permissões e melhorias controladas. Na prática, o registro de casos fica junto da memória, das ferramentas e do registro de alterações do agente. Cada caso fica ligado à versão da política ou da ferramenta de que depende, e as mudanças no conjunto de testes são versionadas para que as notas continuem comparáveis ao longo do tempo. Aposentadorias são propostas e aprovadas pelo dono do negócio, e nunca aplicadas em silêncio.

Se você não tem certeza de qual fluxo merece um conjunto de avaliação mantido primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Com que frequência um conjunto de avaliação de agente deve ser revisado? Uma revisão mensal serve para a maioria dos fluxos operacionais, com uma passagem extra sempre que uma política, ferramenta, modelo ou item de catálogo mudar. O ritmo certo depende da velocidade do processo. Se as regras mudam toda semana, vincule as revisões a essas mudanças, e não apenas ao calendário.

Devemos apagar casos antigos de avaliação ou mantê-los? Mantenha-os em um arquivo com o motivo da aposentadoria e a versão em que rodaram pela última vez. Apagá-los elimina sua capacidade de explicar notas passadas ou de verificar se uma falha corrigida voltou. O conjunto ativo deve conter apenas casos que correspondem ao trabalho atual.

Quem deve ser o responsável pelo conjunto de avaliação? O dono do negócio deve ser responsável pelas expectativas, porque é essa pessoa que decide o que é um bom resultado para o trabalho. A equipe técnica opera as ferramentas e registra os resultados. Separar as responsabilidades assim evita que alguém altere discretamente um caso para combinar com o que o agente por acaso produz.

Um juiz com LLM pode substituir a revisão humana dos casos de avaliação? Um juiz automatizado pode pontuar muitas saídas rapidamente, mas precisa ser calibrado com decisões humanas e não consegue decidir se a própria expectativa continua certa. Use-o para acelerar as checagens, depois amostre seus veredictos e compare-os com o julgamento de um revisor antes de confiar nas notas.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →