Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Quantas saídas de IA revisar por semana: comece pequeno e ajuste

Defina quantas saídas de agentes de IA revisar por semana usando níveis de risco, uma contagem inicial e regras para ajustar conforme as evidências crescem.

Capa tipográfica do Be Human com o título: Quantas saídas de IA revisar por semana: comece pequeno e ajuste
Ilustração conceitual criada com IA · Be Human

Para a maioria das equipes que operam alguns agentes de IA, um ponto de partida viável é uma amostra semanal fixa dividida por risco: toda ação de alto impacto revisada, mais uma amostra aleatória limitada de trabalho de rotina. Comece com cerca de 10 saídas revisadas por nível de risco e depois suba ou desça a amostra de cada nível conforme a gravidade dos erros, a quantidade de mudança no escopo do agente e o número de semanas sem falhas registradas. As seções abaixo mostram como definir esses níveis, como escolher a amostra e como ajustá-la sem depender de palpite.

Principais pontos

  • Revise por nível de risco, e não com um número único para todos os agentes e todas as tarefas.
  • Comece com uma amostra fixa pequena por nível e um revisor nomeado, e mantenha a configuração por quatro semanas antes de mudá-la.
  • Verifique toda ação que escreva para o cliente, movimente dinheiro ou altere uma permissão, independentemente do tamanho da amostra.
  • Aumente a amostra após um erro grave, uma nova ferramenta ou uma troca de modelo. Reduza apenas após um período limpo, com motivo registrado por escrito.
  • A amostragem só funciona quando o revisor consegue ver a entrada, as chamadas de ferramenta e a decisão que o agente tomou.

Por que um número único para todas as saídas falha

A pergunta «quantas saídas devemos revisar?» parece ter uma resposta única, mas um número fixo falha em duas direções. Se ele for alto o suficiente para importar em um fluxo arriscado de reembolso, consome o tempo da equipe com rascunhos de baixo risco. Se for baixo o suficiente para ser sustentável nos rascunhos, pode deixar passar o único reembolso errado que custa caro. A contagem só faz sentido quando você sabe de qual população está tirando a amostra e quanto um erro nessa população custa.

Uma pergunta melhor é: para cada tipo de saída do agente, quanto dano um erro não detectado causa, e quantas saídas precisamos ver para notar um padrão antes que ele se espalhe? Essa pergunta gera respostas diferentes para tarefas diferentes e dá um motivo para defender cada número quando alguém perguntar por que a equipe revisou 10 resumos, mas todas as alterações de pagamento. Registre os números em linguagem simples nas notas operacionais, para que o raciocínio sobreviva a trocas de pessoas na equipe.

O NIST AI Risk Management Framework descreve a gestão de risco de IA como uma atividade contínua de mapear, medir e monitorar riscos específicos do contexto, e não como uma aprovação feita uma vez. A amostragem é uma das formas mais práticas de manter esse monitoramento ativo sem revisar tudo.

Um plano passo a passo para a amostra semanal

Use esta sequência na primeira vez que configurar a revisão de um agente e repita as etapas de população e níveis sempre que as ferramentas ou permissões dele mudarem.

  • Passo 1: liste todos os tipos de saída que o agente produz em uma semana, como respostas em rascunho, resumos internos, atualizações de registro e reembolsos propostos.
  • Passo 2: atribua cada tipo de saída a um nível de risco. Uma escala simples de três níveis funciona para a maioria das equipes: alto (altera estado externo ou dinheiro), médio (texto voltado ao cliente ou decisões reversíveis) e baixo (rascunhos e resumos internos).
  • Passo 3: defina a amostra semanal de cada nível. No nível alto, revise todas as saídas e não amostre. Nos níveis médio e baixo, comece com cerca de 10 saídas em cada um.
  • Passo 4: selecione a amostra de forma aleatória, dentro de cada nível, entre as saídas da semana. Não escolha as que parecem interessantes nem as que um integrante da equipe abriu por acaso.
  • Passo 5: registre o veredito de cada saída revisada usando sempre os mesmos campos curtos: aprovada, problema leve ou falha, além da categoria da falha.
  • Passo 6: compare os resultados da semana com as quatro semanas anteriores e aplique as regras de ajuste da seção abaixo.
  • Passo 7: escreva uma linha no registro operacional dizendo o que mudou e por quê, ou que nada mudou.

A aleatoriedade do passo 4 importa mais do que a contagem exata. Se os revisores escolherem as saídas, a amostra vai pender para os casos fáceis de ler, e a percepção de qualidade ficará otimista demais.

Quantas saídas revisar no início

Uma contagem inicial de cerca de 10 por nível médio ou baixo é um padrão prático, não uma garantia estatística. Com 10 saídas revisadas, você consegue ver se existe um problema e se ele parece sistemático, como o mesmo campo errado sendo preenchido várias vezes. Você não consegue usar 10 saídas limpas para provar que a taxa de falha está abaixo de certo nível. Se precisar dessa afirmação, por exemplo antes de ampliar um agente para um novo segmento de clientes, será preciso uma amostra maior e uma tolerância declarada com clareza.

Se o volume semanal for pequeno, digamos algumas poucas saídas por nível, revise todas durante o primeiro mês. A amostragem só economiza tempo quando a população é grande o bastante para que revisar tudo seja desnecessário.

Uma amostra mostra onde olhar. Ela não diz que todo o resto está bem.

Cenário ilustrativo: uma pequena equipe de operações usa um agente que redige respostas a clientes, resume chamados de suporte e propõe pedidos de reembolso para uma pessoa aprovar. A equipe classifica os reembolsos propostos como nível alto e revisa todos, classifica as respostas como nível médio com amostra de 10 por semana e classifica os resumos internos como nível baixo, também com amostra de 10 por semana. Na terceira semana, a amostra de respostas mostra dois rascunhos que citam um prazo de devolução desatualizado. A equipe ainda não sabe se isso é um caso isolado ou um problema de recuperação de informação, então eleva a amostra do nível médio para 20 nas duas semanas seguintes e acrescenta uma nota para conferir a fonte do documento de política.

Como ajustar a amostra conforme as evidências crescem

O ajuste deve seguir regras escritas, e não o humor da equipe. Uma política inicial razoável é manter a amostra de cada nível por quatro semanas e então decidir com base no registro. O guia abaixo cobre a maioria dos casos.

  • Aumente a amostra de um nível quando qualquer falha na categoria de alto impacto aparecer, mesmo uma única vez.
  • Aumente a amostra de um nível por duas semanas após qualquer troca de modelo, prompt ou ferramenta, e então reavalie.
  • Aumente a amostra quando a mesma categoria de falha aparecer em duas semanas seguidas, mesmo que cada ocorrência pareça leve.
  • Reduza a amostra somente após quatro semanas consecutivas sem falhas e sem problemas leves naquele nível, e apenas em um passo moderado, como de 20 para 10.
  • Nunca reduza a amostra do nível alto abaixo de revisão completa enquanto o agente tiver permissão de escrita em sistemas externos.
  • Mantenha a configuração quando os resultados forem mistos e escreva o que você vai observar no próximo período.

A regra de redução é a que as equipes mais costumam pular, porque parece admitir que o sucesso demora a chegar. Reduzir a amostra é uma decisão de aceitar menos visibilidade direta, então precisa ser registrada e reversível. Se uma falha aparecer depois de você reduzir um nível, volte imediatamente para a amostra maior e registre a lacuna.

O drift também pode tornar uma amostra limpa enganosa. Um agente pode continuar preciso nas tarefas que você verifica e mudar aos poucos nas tarefas que são mais raras na sua amostra. Quando os resultados parecerem estáveis, mas os usuários relatarem problemas, leia Degradação de qualidade em agentes de IA ao longo do tempo.

O que o revisor deve registrar para cada saída

A revisão só é útil se o registro puder ser comparado semana a semana. Mantenha os campos curtos e fixos. O revisor deve conseguir preencher o registro de uma única saída em poucos minutos.

  • Identificador da saída e data, para que o revisor e o auditor encontrem o item exato.
  • Nível de risco e o motivo pelo qual a saída está nesse nível.
  • Veredito: aprovada, problema leve ou falha.
  • Categoria da falha, de uma lista curta combinada de antemão, como fatos errados, ferramenta errada, destinatário errado, aprovação ausente ou redação pouco clara.
  • Se o motivo declarado na saída do agente correspondia às evidências que ele tinha, o que ajuda a identificar respostas confiantes baseadas em fontes ausentes.
  • Uma linha com a descrição de como seria uma saída correta.

O último campo costuma ser o mais valioso para melhorar o agente. Correções da equipe escritas dessa forma podem virar regras que o agente segue na vez seguinte. O método para transformar correções em regras está em Transforme correções da equipe em regras do agente.

Como a Be Human trata a amostragem na operação gerenciada

Na operação gerenciada da Be Human, o plano de revisão é definido já no primeiro projeto, junto com o papel do agente, a memória e as ferramentas de que ele precisa, os limites de aprovação e o critério de sucesso. Cada nível de risco está ligado a ferramentas e permissões específicas, então o nível alto é definido pelo que o agente pode alterar, e não por uma impressão geral sobre a tarefa. O monitoramento registra vereditos e categorias de falha em um formato que o dono consegue ler, e a revisão de permissões segue uma agenda, para que um nível não mude em silêncio quando uma nova ferramenta é adicionada. Quando as evidências sustentam uma mudança, o ajuste é registrado como alteração controlada, com motivo, e a amostra pode ser elevada de novo sem um novo projeto. A Be Human atua de forma remota, em português e em inglês, e o método de amostragem continua sob o seu controle.

Se você ainda não sabe qual tarefa de agente deve receber o primeiro nível de revisão, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Quantas saídas de um agente de IA novo devem ser revisadas por semana? Comece revisando todas as saídas de qualquer ação que altere estado externo ou dinheiro, e cerca de 10 saídas aleatórias por semana em cada nível de risco médio ou baixo. Mantenha essa configuração por quatro semanas para ter registro suficiente para ver padrões. Depois disso, ajuste com regras escritas, e não com um palpite fixo.

Uma amostra semanal limpa significa que o agente é confiável? Significa que as saídas que você verificou estavam aceitáveis, o que é útil, mas mais restrito do que confiabilidade. Uma amostra pequena pode deixar passar falhas raras e não permite provar uma taxa de falha. Combine a amostragem com um conjunto estável de casos de teste e observe mudanças nos tipos de erro que você registra.

Quem deve fazer a revisão, o dono do negócio ou um integrante da equipe? O revisor precisa conhecer bem o trabalho o suficiente para julgar se uma saída está correta, e costuma ser alguém da equipe que executa a tarefa manualmente. O dono deve definir os níveis e ler o resumo semanal, mas não precisa revisar cada item. Troque os revisores de tempos em tempos para que os hábitos de uma única pessoa não definam o padrão.

Com que frequência o tamanho da amostra deve mudar? Revise as configurações ao fim de cada período de quatro semanas e também após qualquer incidente, atualização de modelo ou nova ferramenta. As mudanças devem ser pequenas e registradas, com um motivo claro. Mudanças grandes e frequentes geralmente indicam que os níveis foram mal definidos, então revisite a classificação de risco antes de ajustar a contagem.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →