Métricas de confiabilidade de agentes de IA: quatro medidas essenciais
Acompanhe sucesso, escalonamento, correções e tempo de recuperação para julgar se um agente de IA é confiável. Definições e rotina de revisão semanal.

Métricas de confiabilidade de agentes de IA são as medições que mostram se um agente conclui corretamente o trabalho real do negócio, quando passa uma tarefa para uma pessoa, com que frequência alguém precisa corrigir o resultado e quão rápido a operação volta ao normal depois de uma falha. Para a camada de agentes de uma empresa, quatro medidas fazem a maior parte do trabalho: taxa de sucesso da tarefa, taxa de escalonamento, taxa de correção e tempo de recuperação. Acompanhadas semanalmente, com definições escritas, elas dizem ao dono se um agente deve receber mais autonomia, menos autonomia ou uma função mais estreita.
Principais pontos
- Defina o sucesso da tarefa por um resultado escrito, e não pelo fato de o agente ter produzido uma resposta.
- Leia a taxa de escalonamento junto com a taxa de correção, porque uma taxa de escalonamento em queda pode esconder erros que a equipe corrige em silêncio.
- O tempo de recuperação começa na detecção da falha e termina numa correção verificada, incluindo qualquer trabalho na fila que precise ser conciliado.
- Defina limites provisórios para cada tipo de tarefa antes da primeira revisão e altere-os somente por uma decisão registrada.
- Revise os quatro números em uma reunião curta por semana, com exemplos reais abertos ao lado.
O que uma métrica de confiabilidade mede em um agente da empresa
Os benchmarks de modelos respondem a uma pergunta estreita: como um modelo se sai em um teste fixo. Um agente da empresa é mais do que um modelo. Ele lê uma solicitação, consulta a memória, chama ferramentas, respeita permissões e grava informações em um sistema de registro. Uma nota alta em benchmark não diz se o reembolso que ele emitiu seguiu a sua política, nem se o lembrete enviado chegou ao contato certo. As métricas de confiabilidade medem o agente em operação, no trabalho que a sua empresa de fato executa.
O NIST AI Risk Management Framework trata a medição como uma atividade contínua, ligada aos riscos que um sistema cria, e não como uma nota única obtida no lançamento. Essa visão combina com o papel de quem lidera operações. Você precisa de um conjunto pequeno de números que se movam quando algo importante muda e que apontem para a causa. As quatro medidas abaixo foram escolhidas com esse objetivo. Cada uma tem um denominador claro, um responsável nomeado e uma próxima ação definida quando ela se move.
Sucesso da tarefa: defina pelo resultado
Uma tarefa é bem-sucedida quando o resultado atende aos critérios de aceite escritos antes de o agente rodar. Para um agente de lembretes de cobrança, isso pode significar que a fatura correta foi identificada, a mensagem usou o modelo aprovado, o envio foi registrado e o registro no sistema de origem corresponde ao que foi enviado. A taxa de sucesso é o número de tarefas concluídas com sucesso dividido pelo número de tarefas tentadas no período. Tarefas escalonadas não contam como sucesso, e tarefas abandonadas porque uma ferramenta falhou são contadas à parte.
O erro mais comum é medir apenas se o agente respondeu. Um agente que escreve uma resposta fluente para a pergunta errada está ocupado, não bem-sucedido. As diretrizes de engenharia da Anthropic sobre avaliações de agentes apontam na mesma direção: avalie o resultado que o agente produziu no seu ambiente, e não apenas a transcrição do que ele disse. Escreva os critérios de aceite como fatos observáveis, como um status alterado, um campo preenchido ou uma mensagem enviada a um destinatário identificado. Se duas pessoas discordarem sobre um teste ter passado, os critérios ainda não são específicos o bastante. Um método prático para montar esses critérios está descrito em Como avaliar agentes de IA em tarefas de negócio.
Taxa de escalonamento: com que frequência o agente sabe parar
A taxa de escalonamento é o número de tarefas passadas a uma pessoa dividido pelo número de tarefas tentadas. Ela responde a uma pergunta que muitos donos deixam de lado: o agente reconhece os casos que não deveria decidir sozinho? Um agente bem projetado escalona quando uma política exige intervenção humana, quando as informações estão faltando ou se contradizem, quando uma ferramenta devolve um resultado ambíguo ou quando a ação pedida ultrapassa o limite de aprovação. Um agente que nunca escalona não é confiável. Ele está chutando, e os chutes costumam aparecer depois como correções ou incidentes.
Leia a taxa por motivo. Separe os escalonamentos em: exigido por política, incerteza, falha de ferramenta e fora de escopo. Uma parcela crescente de escalonamentos por falha de ferramenta costuma apontar para um problema de integração, e não do agente. Uma queda nos escalonamentos por incerteza, depois de uma mudança de prompt ou de permissão, merece atenção, porque o agente pode ter ficado mais confiante por motivos errados. A passagem de bastão também importa. Um escalonamento útil envia a decisão necessária e as evidências que a sustentam, e não uma transcrição bruta. O conteúdo de Escalonamento humano em IA: entregue a decisão necessária aprofunda esse ponto.
Taxa de correção: o que as pessoas ajustam depois que o agente age
A taxa de correção é o número de tarefas concluídas que um membro da equipe editou, desfez ou refez, dividido pelo número de tarefas concluídas revisadas. O denominador vem das tarefas revisadas, e não de todas as tarefas, então o número depende de como você amostra. A maioria das equipes não consegue revisar tudo, por isso revisa uma amostra ponderada pelo risco e informa a taxa para essa amostra. Registre o tamanho da amostra e o método de seleção junto com a taxa, para que o número possa ser comparado entre semanas.
A taxa de correção é a métrica que captura os erros silenciosos. A taxa de escalonamento conta os casos que o agente sinalizou. A taxa de correção conta os casos que ele não sinalizou, mas que uma pessoa ainda precisou mudar. Marque cada correção com uma causa, como campo errado, tom inadequado, contexto faltando, política desatualizada ou uso indevido de permissão. O padrão entre as causas é mais útil do que o total. Se a maior parte das correções vier de políticas desatualizadas, a solução está no conhecimento e na memória do agente, e não em um prompt mais longo. Devolva as correções recorrentes às regras do agente para que a mesma intervenção não precise ser feita à mão toda semana.
Tempo de recuperação: quanto tempo uma falha fica aberta
O tempo de recuperação é o intervalo entre a detecção de uma falha e o retorno verificado à operação normal. Defina a detecção como o primeiro momento em que alguém ou algum sistema sinaliza a falha. Defina operação normal como o estado em que o fluxo roda, as saídas passam nas verificações combinadas e qualquer trabalho enfileirado durante a falha foi conciliado. Parar o agente não é recuperação. Um agente pausado com uma fila de pendências que ninguém conciliou ainda não se recuperou.
Informe o tempo de recuperação por categoria de incidente e mantenha visível o caso mais longo, e não apenas a média. Uma recuperação longa costuma revelar um passo ausente no runbook, um responsável pouco claro ou uma dependência que ninguém mapeou. O tempo de recuperação também depende de o agente conseguir retomar sem repetir trabalho já concluído, porque tentativas que criam registros duplicados alongam a recuperação e corroem a confiança. Acompanhe o tempo até uma correção verificada, e não só o tempo até a primeira resposta, já que as equipes confundem com frequência um reconhecimento rápido com uma solução. Os passos para conduzir essa resolução estão em Plano de resposta a incidentes de agentes de IA: severidade e rollback.
Como colocar as quatro métricas em uma rotina semanal
Comece com uma função de agente e um tipo de tarefa. Implantações amplas tornam os números difíceis de interpretar. Depois, siga estes passos:
- Escreva os critérios de aceite de cada tipo de tarefa como fatos observáveis e nomeie quem pode alterá-los.
- Registre cada execução com o resultado, o motivo de qualquer escalonamento, as edições feitas pela equipe e os horários de detecção e de resolução. Os campos de registro são descritos em Observabilidade de agentes de IA: o que registrar?.
- Marque cada escalonamento e cada correção com uma categoria curta de causa, tirada de uma lista combinada antes.
- Revise, toda semana, uma amostra pequena e ponderada pelo risco, e aumente a amostra apenas quando os achados justificarem.
- Defina limites provisórios para cada métrica, registre-os e altere-os somente por uma decisão registrada.
- Faça uma revisão semanal curta com os quatro números, dois ou três exemplos brutos e uma ação registrada.
Cenário ilustrativo: uma pequena empresa usa um agente para redigir lembretes de pagamento de faturas vencidas. Ao longo de um mês, a taxa de sucesso se mantém estável, mas a taxa de correção sobe, principalmente por causa do tom e de lembretes enviados a contatos que tinham mudado de função. A taxa de escalonamento também cai depois de uma atualização de permissões. Lidos em conjunto, os números apontam a causa: o agente deixou de escalonar mudanças de contato, e a equipe está pegando esses casos manualmente. A resposta é restaurar a regra de escalonamento, incluir esses casos no conjunto de testes e manter a revisão da amostra por mais duas semanas antes de mudar qualquer limite.
A Be Human desenha esses agentes já com as métricas definidas desde o início. A primeira etapa define uma função útil, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada mantém os números à vista por meio de monitoramento, avaliações recorrentes, revisões de permissão e resposta a incidentes, e cada mudança controlada fica registrada em um log de alterações que o dono pode ler. Se ainda não está claro qual tarefa deve ser a primeira função de agente a medir, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Qual das quatro métricas uma equipe pequena deve medir primeiro? Comece por taxa de sucesso e taxa de escalonamento, porque juntas mostram se o agente conclui o trabalho e se sabe quando parar. A taxa de correção pode vir em seguida, assim que alguém revisar uma amostra toda semana, e o tempo de recuperação ganha sentido depois do primeiro incidente real. Mantenha as definições curtas o bastante para que uma pessoa consiga aplicá-las sem precisar de uma reunião.
Qual é uma boa meta para essas métricas? Os limites certos dependem da tarefa, do custo de um erro e do grau de autonomia que o agente tem, por isso não existe um número universal que valha copiar. Defina limites provisórios para os seus tipos de tarefa, registre-os e aperte ou afrouxe apenas por uma decisão registrada, depois de ver resultados reais. Um limite que nunca muda costuma ser um limite que ninguém revisa.
Em que a taxa de correção difere de uma taxa de erro? Uma taxa de erro normalmente conta falhas contra um conjunto de testes fixo, enquanto a taxa de correção conta as tarefas concluídas que as pessoas precisaram alterar durante a operação real. A segunda medida captura os erros silenciosos que o agente nunca sinalizou, por isso ela deve estar na revisão semanal ao lado da taxa de escalonamento. Cada medida responde a uma pergunta diferente, e ambas são necessárias.
Essas métricas exigem algum software especial? Uma planilha ou um registro simples bastam no começo, desde que cada execução registre um resultado, um motivo de escalonamento, as edições feitas pela equipe e dois horários. Ferramentas dedicadas de observabilidade ajudam conforme o volume cresce, mas as definições importam mais do que a ferramenta. Sem definições claras, qualquer painel vai exibir números que ninguém sabe como usar.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


