Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Quantas saídas de IA revisar por amostragem: um método por risco

Método por risco para decidir quantas saídas de agentes de IA revisar, quais sempre checar e como registrar o que a amostra deixa passar.

Capa tipográfica do Be Human com o título: Quantas saídas de IA revisar por amostragem: um método por risco
Ilustração conceitual criada com IA · Be Human

Revise saídas suficientes para pegar as falhas que custariam dinheiro, clientes ou confiança, e não mais do que sua equipe consegue ler com cuidado. Para a maioria dos agentes de negócio, isso significa um piso fixo de revisão completa para qualquer saída que toque uma parte externa ou um sistema de registro, uma amostra ponderada por risco para o restante e checagens extras após qualquer mudança. A amostragem nunca prova que o trabalho não verificado está correto, por isso o método também precisa dizer claramente o que não está sendo checado.

Principais pontos

  • Defina a taxa de revisão pelo custo de um erro, não pelo volume de saídas que o agente produz.
  • Mantenha revisão completa para ações com efeito externo até o agente ganhar menos escrutínio.
  • Monte a amostra por tipo de tarefa, canal e mudança recente, para que os caminhos raros também sejam lidos.
  • Dispare revisão extra após cada troca de modelo, prompt, ferramenta ou política, e após cada incidente.
  • Registre o que não está sendo checado e revise essa lista na mesma cadência da amostra.

Comece separando as saídas pelo custo de um erro

Antes de escolher um número, organize as saídas do agente em níveis. O nível define a taxa de revisão, por isso essa separação é o passo mais importante. Use a pergunta: se esta saída estivesse errada e ninguém percebesse, o que aconteceria em seguida?

  • Nível A, consequência baixa: resumos internos e rascunhos que uma pessoa lê antes de sair da equipe.
  • Nível B, consequência moderada: textos para clientes, atualizações de status e orçamentos que uma pessoa poderia corrigir depois do envio, com dano limitado.
  • Nível C, consequência alta: qualquer coisa que movimente dinheiro, altere um registro do qual outras áreas dependem, assuma uma data ou um preço, ou trate dados pessoais.

Anote o nível ao lado de cada tipo de tarefa em um registro curto. Se uma tarefa puder se encaixar em dois níveis, coloque-a no mais alto. Revise esse registro sempre que uma nova ferramenta ou canal for conectado, porque a consequência de uma tarefa costuma mudar quando as permissões mudam.

Quantas saídas revisar: um método inicial

Um ponto de partida razoável tem quatro regras. Use-as como primeira versão e ajuste depois dos primeiros ciclos de revisão.

  • Nível C: revise cada saída antes que ela tenha efeito. Não amostre esse nível no período inicial e não reduza a revisão enquanto o agente não tiver um histórico claro naquele tipo exato de tarefa.
  • Nível B: revise um mínimo fixo por semana para cada tipo de tarefa e canal. Defina o mínimo como uma quantidade de itens, não como uma proporção do volume, porque uma proporção de um fluxo grande significa muita leitura e uma proporção de um fluxo pequeno significa quase nada.
  • Nível A: revise um sorteio aleatório pequeno por semana, mais toda saída que o próprio agente marcar como incerta ou incompleta.
  • Aumente todas as taxas em um fluxo novo, em uma nova versão de modelo, em uma ferramenta recém-conectada ou nas primeiras semanas após um incidente. Reduza uma taxa somente depois de vários ciclos seguidos sem falha relevante, e faça isso um passo por vez.

As quantidades dependem da capacidade da equipe e de quantas situações diferentes o agente trata. Um revisor que lê com atenção consegue cobrir um número limitado de itens por sessão. Se o mínimo for maior que isso, a revisão deixa de ser revisão, então reduza o número de tipos de tarefa amostrados ou restrinja o canal, em vez de passar os olhos por cima.

Por que a amostragem aleatória sozinha deixa passar as falhas que você teme

A amostragem aleatória é boa para mostrar a qualidade típica do trabalho comum. Ela é fraca para encontrar falhas raras, e falhas raras costumam ser as que causam o maior dano. Se um erro específico aparece apenas em uma pequena parcela dos casos, um sorteio de poucos itens pode nunca conter um deles, e uma revisão sem problemas vai parecer tranquilizadora quando significa muito pouco.

Por isso, acrescente amostras direcionadas ao sorteio aleatório. Bons alvos incluem saídas que envolveram erro de ferramenta ou nova tentativa, saídas com valores fora do padrão, datas próximas do fim de mês ou de trimestre, registros de clientes que coincidem com uma exceção conhecida, pedidos que cruzam fusos horários e qualquer saída em que o sinal de confiança do agente tenha sido baixo.

Uma amostra aleatória limpa diz algo sobre o caso típico. As amostras direcionadas dizem algo sobre os casos em que uma falha causaria dano.
Cenário ilustrativo: um agente de cobrança redige respostas de rotina todas as semanas e também trata uma pequena quantidade de aprovações de reembolso. Um sorteio aleatório de respostas de rotina raramente incluiria um problema de reembolso. A equipe coloca as aprovações de reembolso em revisão completa e amostra as respostas de rotina por categoria, para que o caminho raro seja lido sempre que acontecer.

Para ver como avaliadores automáticos podem fazer uma triagem prévia das saídas sem substituir essa camada humana, leia juiz com LLM para avaliar agentes de IA.

O que o revisor deve checar e registrar

Uma revisão que apenas pergunta se a saída parece boa vai deixar passar as falhas que importam. Dê ao revisor uma lista curta de checagens ligadas à tarefa e registre o resultado em um formato que possa ser pesquisado depois.

  • A ação tomada ou a saída produzida estava certa para esta entrada?
  • O agente usou apenas as fontes e ferramentas que tinha permissão para usar?
  • Datas, valores, nomes e identificadores batem com o registro de origem?
  • Se isto fosse enviado ou aplicado como está, algum cliente, colega ou sistema sairia prejudicado?
  • Veredito: aceitar, aceitar com observação, rejeitar ou escalar.
  • Código de motivo, tirado de uma lista curta e fixa, para que os padrões possam ser contados depois.

Registre quem revisou, o horário, o tipo de tarefa, o nível e a versão do modelo e do prompt que gerou a saída. Sem a versão, uma falha não pode ser ligada a uma mudança, e a revisão não consegue dizer se uma atualização ajudou. As saídas rejeitadas devem alimentar as regras do agente e o conjunto de testes, para que o mesmo erro seja pego mais cedo da próxima vez.

Diga o que não está sendo checado

Todo plano de amostragem deixa a maior parte do trabalho sem leitura. Um plano que esconde isso é menos seguro do que um que declara. Escreva a cada ciclo uma declaração curta de cobertura com quatro partes.

  • Quais saídas nunca foram amostradas e por quê: volume, canal, horário, ou um nível que foi revisado com taxa menor por decisão.
  • Qual parte de cada nível foi de fato lida e quais itens foram pulados pelos revisores.
  • Pontos cegos conhecidos: falhas que os revisores não foram treinados a reconhecer, como erros sutis de política que só um especialista perceberia.
  • Falhas que só aparecem depois, como uma reclamação duas semanas após o envio de uma mensagem, e como esses sinais chegam à fila de revisão.

Verifique também o viés de seleção. Revisores costumam escolher as saídas que parecem mais fáceis de julgar, e isso deixa a amostra mais limpa do que o trabalho real. Sorteie os itens por uma regra, não à mão, e registre o sorteio. O NIST AI Risk Management Framework, do NIST, descreve a medição e a documentação dos riscos de IA como uma prática contínua, o que combina com este tipo de declaração de cobertura.

Como a Be Human conduz isso em operações gerenciadas

Em operações gerenciadas, a Be Human trabalha com o dono do negócio na primeira etapa para definir os níveis, os pisos de revisão e as amostras direcionadas para o papel real do agente. Depois, a equipe opera a fila de revisão, mantém o registro de cada veredito e de cada código de motivo e inclui a declaração de cobertura nas avaliações recorrentes e nas revisões de permissão. Quando uma amostra mostra uma falha, o caminho do incidente e a mudança de regra são acompanhados juntos, para que a taxa de revisão e as regras de operação mudem com base em evidência registrada. A decisão sobre quanta autoridade cada nível recebe continua com o negócio.

Aperte e afrouxe a taxa ao longo do tempo

As taxas de revisão devem se mover nas duas direções, mas com cronograma e com evidência. Aperte imediatamente após uma falha relevante, uma nova integração, uma troca de modelo ou uma reclamação que remonte ao agente. Afrouxe somente depois de vários ciclos seguidos em que a amostra esteja limpa, a declaração de cobertura não mostre novos pontos cegos e as checagens direcionadas não tenham encontrado nada novo. Ao afrouxar, mude um nível ou um tipo de tarefa por vez, para que, se surgir um problema, você saiba qual mudança o causou. Mantenha o piso do Nível C para ações externas, a menos que o negócio tenha aceitado o risco por escrito e de forma deliberada.

Para entender como testes controlados podem vir antes de qualquer autoridade concedida, leia modo sombra para agentes de IA. Se você ainda não tem certeza de quais trabalhos da sua empresa são adequados para um agente, faça o diagnóstico gratuito de IA da Be Human para encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Quantas saídas de um agente de IA devo revisar por semana? Comece pelos níveis, e não por um percentual fixo. Revise toda saída de alta consequência antes que ela tenha efeito, defina uma quantidade mínima para cada tipo de tarefa do nível moderado e faça um sorteio aleatório pequeno do nível de baixa consequência. Aumente a taxa após qualquer mudança e reduza somente depois de vários ciclos limpos.

Uma amostra aleatória basta para confiar em um agente? Uma amostra aleatória mostra a qualidade típica do trabalho comum, mas não pode provar que falhas raras não existem. Acrescente amostras direcionadas para erros de ferramenta, valores fora do padrão, datas de fronteira, saídas de baixa confiança e outros casos em que uma falha causaria mais dano. Combine as amostras com uma declaração escrita do que não foi checado.

Quando posso parar de revisar as saídas de um agente? Você não deve parar por completo enquanto o agente executar ações com efeito externo ou alterar registros dos quais outras áreas dependem. Pode reduzir a taxa das tarefas de nível inferior um passo por vez, após resultados limpos e sustentados, e deve aumentá-la de novo após qualquer mudança no modelo, nos prompts, nas ferramentas ou nas políticas. Mantenha o piso para trabalhos de alta consequência, a menos que o negócio tenha aceitado o risco por escrito.

Quem deve fazer as revisões? Escolha pessoas que conheçam a regra de negócio por trás de cada tarefa, e não apenas quem construiu o agente. Limite o tempo das revisões para que os revisores consigam ler com atenção, faça um rodízio para reduzir o cansaço e registre cada veredito com um código de motivo. As conclusões dos revisores devem voltar para as regras do agente e para o conjunto de testes, para que o mesmo erro seja pego mais cedo.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →