Amostragem de revisão humana para agentes de IA: quanto checar
Revise agentes de IA por risco: mais checagem em tarefas de alto impacto, menos enquanto a precisão se mantém, e reinício quando o comportamento muda.

Amostragem de revisão humana é o processo em que uma pessoa confere uma parte escolhida do trabalho já concluído por um agente de IA, e usa esse resultado para decidir quanta checagem vem a seguir. A taxa certa depende do custo do pior erro plausível em cada grupo de tarefas, sobe quando o risco ou os achados de erro aumentam, e só desce depois que a precisão se mantém estável por uma janela definida. Uma taxa única para todo o trabalho quase sempre está errada, porque ou desperdiça tempo do revisor em tarefas de baixo impacto, ou deixa passar falhas raras nas de alto impacto.
Principais pontos
- Defina a taxa de revisão pelo custo do pior erro plausível em cada tarefa, não pelo quanto a tarefa parece rotineira.
- Faça amostragem por tipo de tarefa e nível de risco, nunca com um número único para todo o trabalho do agente.
- Reduza a revisão somente depois que a precisão medida se mantiver estável em uma janela completa de saídas reais.
- Volte a uma revisão mais intensa após uma troca de modelo, uma mudança de ferramenta, um erro grave ou sinais iniciais de drift.
- Dê ao plano de amostragem um responsável nomeado e registre cada mudança na taxa, com o motivo.
Por que uma taxa única de revisão falha
Uma primeira reação comum é escolher um percentual fixo e aplicá-lo em tudo. O problema é que o trabalho de um agente não é uniforme. O resumo de uma reunião interna e a alteração da conta bancária de um fornecedor podem sair do mesmo agente no mesmo dia, mas um resumo errado é um incômodo pequeno, enquanto um dado bancário errado é um erro de pagamento que alguém precisa desfazer. Uma taxa média trata as duas situações da mesma forma, então ou sobrecarrega os revisores com checagens triviais, ou deixa as tarefas perigosas com pouca análise.
O segundo problema é que uma taxa uniforme esconde tendências. Se os revisores veem apenas a taxa geral de acerto, uma piora em uma tarefa específica pode ser encoberta por bons resultados em outras. A amostragem funciona melhor quando cada grupo de tarefas tem seu próprio registro, sua própria taxa e um responsável que percebe quando aquele grupo muda.
Comece agrupando as tarefas por risco
Antes de escolher qualquer taxa, separe as tarefas do agente em grupos que compartilham a mesma consequência de erro. Um ponto de partida prático são três níveis.
- Alto risco: ações que movimentam dinheiro, alteram registros dos quais outros sistemas dependem, enviam mensagens em nome da empresa ou tocam dados pessoais ou regulados. Comece com revisão completa ou faça a ação passar por uma etapa de aprovação antes de ser executada.
- Médio risco: saídas que clientes ou funcionários usam, mas que podem ser corrigidas com pouco custo, como um rascunho de resposta, um resumo interno ou uma classificação que alimenta uma fila que alguém confere.
- Baixo risco: consultas, formatação e rascunhos internos em que o erro aparece de imediato e pode ser revertido sem efeitos externos.
Dentro de cada nível, separe os tipos de tarefa quando os modos de falha forem diferentes. Estimativas de reembolso e atualizações de endereço podem ser ambas de alto risco, mas falham de formas diferentes e merecem registros separados. Mantenha os grupos poucos o bastante para que um revisor consiga dominar cada um, e específicos o bastante para que um achado aponte para uma causa.
Meça a precisão antes de confiar em uma taxa
A amostragem só gera decisões úteis se os revisores avaliarem as saídas do mesmo jeito. Escreva para cada grupo de tarefas um roteiro curto com poucos critérios, como: o registro correto foi alterado? Todos os campos obrigatórios estão presentes? A fonte citada sustenta a afirmação? A saída ficou dentro das ações permitidas ao agente? O revisor registra aprovado ou reprovado, a categoria do erro se houve reprovação, e se a saída foi usada antes da correção.
Um registro de revisão precisa de detalhes suficientes para ser lido depois por alguém que não estava presente. Campos úteis incluem o grupo da tarefa, uma referência à entrada, a saída, o revisor, o veredito, a categoria do erro, o tempo gasto na revisão e se alguém agiu com base na saída. No começo, uma planilha basta. O que importa é capturar sempre os mesmos campos, para que as tendências apareçam ao longo de semanas em vez de serem discutidas em reuniões.
Uma taxa de revisão é uma decisão sobre risco, e cada mudança nela deve ser explicável para quem assume as consequências.
Cenário ilustrativo: o plano de amostragem de uma equipe de compras
O cenário a seguir é ilustrativo e não descreve uma empresa específica. Uma equipe de compras usa um agente para redigir e-mails de cadastro de fornecedores e para atualizar registros de fornecedores. A atualização de registros é de alto risco, porque um dado bancário errado causa um erro de pagamento. Os e-mails de cadastro são de médio risco, porque são visíveis para os fornecedores, mas fáceis de corrigir.
No primeiro período, a equipe revisa todas as atualizações de registro antes de serem gravadas e confere os e-mails por amostra aleatória. Quando as atualizações de registro ficam limpas durante uma janela completa de volume real, a equipe passa essas atualizações para amostragem, mantendo uma etapa de aprovação para qualquer mudança nos dados bancários. Depois, o sistema de fornecedores muda o formato das datas. Os registros da amostra passam a mostrar erros de data, então o grupo volta à revisão completa até que o leitor seja corrigido e as novas saídas sejam verificadas.
Método de amostragem que sobe e desce com o risco
O método abaixo pode ser executado com uma planilha e um roteiro compartilhado. Não exige ferramentas especiais, mas exige um registro estável das saídas.
- Passo 1: Agrupe as tarefas por nível de risco e tipo, e defina um responsável único para cada grupo.
- Passo 2: Defina um nível inicial de revisão para cada grupo. Nos grupos de alto risco, comece com revisão completa ou com uma etapa de aprovação.
- Passo 3: Sorteie amostras de forma aleatória dentro de cada grupo. Inclua uma fatia fixa de saídas que o agente avaliou como confiantes, e não apenas as que marcou como incertas, porque erros confiantes são os que mais passam despercebidos.
- Passo 4: Avalie cada saída revisada conforme o roteiro do grupo e registre o motivo de cada reprovação.
- Passo 5: Analise os achados por grupo em uma janela móvel, longa o bastante para incluir as oscilações normais de volume e de tipos de entrada.
- Passo 6: Se um erro grave aparecer em qualquer grupo, interrompa a liberação automática desse grupo e volte à revisão completa.
- Passo 7: Se a janela inteira mostrar precisão estável e nenhum erro grave, reduza a taxa um nível, e não direto para zero.
- Passo 8: Registre cada mudança de taxa com a data, a evidência, o revisor e o aprovador.
A disciplina central é que a taxa muda em pequenos passos e nos dois sentidos. Uma taxa que só desce não é amostragem. É uma retirada gradual da atenção.
Quando reiniciar a taxa
Alguns eventos devem levar um grupo de volta a uma revisão mais intensa, independentemente dos resultados recentes, porque a precisão passada deixa de prever a precisão futura. Trate-os como gatilhos permanentes.
- Troca de versão do modelo ou atualização do provedor do modelo usado pelo agente.
- Nova ferramenta, schema de API alterado ou mudança de formato em um documento de origem que o agente lê.
- Qualquer erro grave encontrado em uma saída da amostra, mesmo que o restante da amostra tenha sido aprovado.
- Mudança brusca de volume, tipo de entrada ou segmento de clientes que o grupo ainda não tratava.
- Alteração nas permissões ou nas instruções do agente.
- Aumento lento das correções ao longo de várias semanas, que é um sinal de drift e não um dia ruim isolado. O guia sobre detecção de drift explica como separar drift de ruído.
Quando houver um reinício, registre-o como um evento, não como uma falha do plano. O registro deve dizer o que mudou, quais grupos foram afetados e por quanto tempo a revisão mais intensa vai durar.
A amostragem detecta problemas, a aprovação os previne
A amostragem é um método de detecção. Ela encontra erros depois que a saída existe, o que é aceitável para trabalho de baixo risco e para trabalho de médio risco que pode ser corrigido antes de chegar a alguém de fora da empresa. Para ações que não podem ser desfeitas, como um pagamento enviado ou uma mudança que dispara um aviso externo, a revisão precisa acontecer antes da ação, por meio de uma etapa de aprovação. As permissões seguem a mesma lógica: o agente deve ter apenas o acesso de que suas tarefas precisam, e cada limite de aprovação deve estar escrito. A orientação da OWASP sobre autorização é uma referência útil para pensar o princípio do menor privilégio dessa forma. Quando um humano é necessário para uma decisão que o agente não pode tomar com segurança, a passagem de bastão em si deve ser desenhada, como descrito no guia sobre escalonamento humano em falhas de agentes de IA.
A Be Human desenha esses limites como parte do primeiro trabalho e, depois, opera o plano de amostragem na operação gerenciada. Esse trabalho inclui avaliações recorrentes das saídas revisadas, revisões de permissões, um registro de mudanças que o dono do negócio consiga ler e ajustes controlados da taxa de revisão quando as evidências sustentarem. O objetivo é um registro operacional que mostre, para cada grupo de tarefas, o que o agente fez, quem conferiu e por que o nível de checagem é o que é hoje.
Escolhendo a primeira tarefa para revisar
Comece com um grupo de tarefas, não com o agente inteiro. Escolha um grupo em que os erros sejam caros o bastante para importar, mas em que um revisor consiga ler a saída em poucos minutos, e escreva o roteiro dele antes de chegar a primeira saída. O guia de amostragem para saídas de agentes descreve como dimensionar a primeira amostra de um único grupo. Se você não sabe qual tarefa deve receber o primeiro plano de revisão, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Com que frequência uma pessoa deve revisar o trabalho de um agente de IA? Não existe uma taxa universal, e quem oferece uma está chutando. Comece com revisão completa ou com uma etapa de aprovação para ações de alto risco e, depois, passe os grupos de médio e baixo risco para amostragem aleatória assim que a precisão se mantiver estável em uma janela completa de saídas reais.
Qual deve ser o tamanho de uma amostra de revisão? A amostra precisa ser grande o bastante para revelar os erros que importam em seu grupo de tarefas, e deve ser sorteada de forma aleatória ao longo da janela, e não escolhida à mão. Quando o volume é pequeno, poucas saídas não conseguem mostrar um erro raro, então a revisão mais intensa deve durar mais para esses grupos.
Os revisores devem checar apenas as saídas que o agente marca como incertas? Não. As marcações de incerteza são úteis, mas a amostra também deve incluir uma fatia fixa de saídas que o agente avaliou como confiantes, porque erros confiantes são os que mais passam sem aviso. Combinar as duas coisas dá um retrato mais justo da precisão real.
Quem é o responsável pelo plano de amostragem? Um responsável de operações, nomeado, deve cuidar do plano, com os revisores avaliando segundo um roteiro compartilhado. Cada mudança na taxa de revisão deve ser registrada com o motivo, a evidência que a sustenta e a pessoa que aprovou, para que a decisão possa ser lida e questionada depois.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


