Quantas respostas do agente de IA revisar por semana: método

Para saber quantas respostas do agente de IA revisar por semana, separe o trabalho do agente em faixas de risco e revise uma parte fixa de cada faixa. Revise tudo o que pode causar dano ou não pode ser desfeito, sorteie uma amostra do trabalho de rotina e acrescente uma amostra dirigida de casos incomuns. Quando o revisor encontrar um erro, aumente a amostra daquela categoria até o agente voltar a mostrar estabilidade.

Principais pontos

• Dimensione o esforço de revisão primeiro pelo risco e depois pelo volume. Poucas saídas de alto impacto merecem mais atenção do que uma pilha grande de saídas de baixo impacto.
• Combine uma amostra aleatória, que mostra a qualidade típica, com uma amostra dirigida, que mostra os casos de borda em que os agentes falham.
• Defina um mínimo de amostra por categoria, para que uma semana tranquila nunca signifique semana sem revisão.
• Trate o tamanho da amostra como algo ajustável: aumente após qualquer mudança ou erro e reduza só depois de uma sequência de semanas limpas.
• Registre o resultado de cada revisão em um único lugar, para enxergar tendências em vez de opiniões isoladas.

Por que não ler tudo nem ler nada?

Dois hábitos costumam aparecer quando uma empresa coloca um agente em operação. O primeiro é ler todas as respostas. Passa sensação de segurança, mas não se sustenta. O revisor se cansa, a atenção cai e a revisão vira, sem que ninguém perceba, um carimbo automático. O segundo é parar de ler assim que os primeiros dias parecem bons. Parece eficiente, mas a qualidade muda com o tempo, porque entradas, documentos, ferramentas e modelos mudam.

A amostragem fica entre os dois extremos. Você aceita que não verá tudo e, em troca, desenha a amostra para pegar os problemas que importam. A pergunta deixa de ser "quantas respostas devemos ler?" e passa a ser "quais respostas, com que frequência e o que fazemos quando encontrarmos algo?"

Uma boa amostra cumpre três funções. Ela estima a qualidade típica, revela falhas raras, porém caras, e gera um registro que você pode comparar de semana em semana. Se a amostra fizer só a primeira coisa, você perde as falhas que machucam. Se fizer só a segunda, não saberá se o trabalho do dia a dia está piorando aos poucos.

Como ajustar a amostra ao risco e ao volume?

Comece pelo risco, porque o volume sozinho é um guia ruim. Um agente que redige resumos de reuniões internas pode rodar em alto volume com revisão leve. Um agente que propõe um reembolso, uma cláusula contratual ou um compromisso com o cliente exige revisão atenta, mesmo que produza poucas saídas por semana.

Coloque cada tipo de saída em uma de três faixas, conforme o que acontece se ela estiver errada:

• Risco alto: a saída chega ao cliente, movimenta dinheiro, altera um registro oficial ou dispara uma ação difícil de reverter. Revise todas, ou exija aprovação antes de ela sair do agente.
• Risco médio: a saída é usada por um funcionário que provavelmente notará um problema, ou pode ser corrigida a baixo custo. Revise uma quantidade fixa por categoria a cada semana, com um mínimo para que categorias pequenas nunca sejam ignoradas.
• Risco baixo: a saída é interna, reversível e fácil de ignorar se estiver errada. Revise um pequeno sorteio, o suficiente para notar um padrão.

O volume então ajusta as faixas média e baixa. Se uma categoria de risco médio produz poucas saídas na semana, revise quase todas, porque uma amostra pequena de uma população pequena diz pouco. Se produz muitas, uma contagem fixa por semana costuma bastar, já que a confiança ganha com cada item extra diminui rápido. O que pesa mais é que o sorteio seja realmente aleatório e cubra os diferentes tipos de solicitação, e não que o número seja grande.

Quando houver dúvida sobre onde algo se encaixa, coloque na faixa mais alta. Você pode rebaixar depois, com evidências.

O que entra na amostra dirigida?

A amostra aleatória mostra a saída média. A maioria das falhas graves não é média. Elas se concentram em certas condições, por isso some uma amostra dirigida à aleatória.

Bons candidatos para a revisão dirigida:

• Saídas em que o agente escalou para uma pessoa, hesitou, tentou de novo ou usou um número incomum de etapas.
• Saídas que um usuário editou bastante, rejeitou ou sobre as quais reclamou.
• Solicitações que parecem novas, como um tipo de documento, um segmento de clientes ou um idioma que o agente ainda não tratou.
• As primeiras saídas depois de qualquer mudança no modelo, nas instruções, nas ferramentas ou nos documentos conectados.
• Saídas sem fonte citada, ou que citam uma fonte antiga ou vinda de uma pasta inesperada.
• Casos em que o agente demonstrou incerteza, lembrando que a confiança declarada é apenas um sinal aproximado. O artigo Nível de confiança da IA é confiável? explica por que ela deve levar a uma olhada, e não substituí-la.

A amostra dirigida costuma ser pequena, mas é onde o revisor mais aprende por item. Registre o suficiente de cada execução para encontrar esses casos sem busca manual. O guia Observabilidade de agentes de IA: o que registrar? lista os campos que tornam isso prático, e a introdução de observabilidade do OpenTelemetry é uma boa referência geral para a ideia de rastros e sinais.

Plano semanal de amostragem, passo a passo

Este plano cabe em uma equipe pequena, sem ferramentas especiais. Uma planilha compartilhada basta para começar.

• Passo 1: Liste os tipos de saída. Anote tudo o que o agente produz ou faz, como rascunho de resposta, classificação, resumo, atualização de registro ou ação agendada.
• Passo 2: Atribua uma faixa de risco a cada tipo, com base na consequência de um erro. Peça a uma pessoa com autoridade que confirme as faixas.
• Passo 3: Defina a contagem semanal por tipo. Risco alto recebe revisão total ou aprovação prévia. Risco médio e baixo recebem uma contagem fixa com piso, para que uma semana calma ainda tenha revisão.
• Passo 4: Faça o sorteio em um dia fixo. Escolha os itens por um método que nem o agente nem os revisores consigam influenciar, como um a cada N itens ou uma seleção aleatória no registro da semana, e não o que estiver na tela.
• Passo 5: Acrescente a amostra dirigida, a partir da lista acima.
• Passo 6: Revise com um checklist curto (próxima seção) e registre um resultado por item: aceitável, problema leve ou problema grave.
• Passo 7: Aplique a regra de expansão. Qualquer problema grave em uma categoria dobra a amostra dela na semana seguinte e dispara uma investigação da causa. Várias semanas limpas em sequência permitem uma redução moderada, nunca abaixo do piso.
• Passo 8: Faça uma reunião semanal curta. Olhe a tendência, decida o que muda e defina um responsável por cada correção.

A regra de expansão do passo 7 é a parte que a maioria das equipes pula. Sem ela, um erro descoberto é só uma anedota. Com ela, o erro garante automaticamente mais atenção onde é preciso.

O que o revisor deve verificar em cada resposta?

Um checklist curto e consistente vale mais do que um longo e subjetivo. Revisores que julgam por impressão discordam entre si, e você não consegue comparar semanas. Limite-se aos pontos que importam para a tarefa:

• A resposta estava correta em relação à fonte de verdade, e não apenas plausível?
• Ficou dentro da tarefa e das permissões que o agente recebeu?
• Se usou documentos, usou os certos e disse quais? Veja como fazer a IA citar fontes nas respostas.
• O tom e o formato eram adequados ao público?
• Escalou quando devia e não escalou quando não devia?
• Se executou uma ação, a ação estava correta e o registro ficou preciso depois?

Dê a cada item um aprovado ou reprovado, mais uma nota em texto livre quando algo falhar. É nas notas livres que os padrões aparecem primeiro. Depois de algumas semanas, você verá as mesmas expressões voltando, e elas viram candidatas a novos casos de teste.

As falhas encontradas na amostragem devem alimentar seu conjunto de testes, e não apenas as correções. Se o revisor pegar uma resposta errada, adicione esse caso a um conjunto de testes de referência para que o mesmo erro seja verificado automaticamente após cada mudança futura. A amostragem encontra problemas novos no trabalho real, e o conjunto de testes impede que problemas antigos voltem. Para uma visão mais ampla de testes com tarefas reais, veja como avaliar agentes de IA em tarefas de negócio. O NIST AI Risk Management Framework e os guias de avaliações (evals) da OpenAI e da Anthropic trazem mais contexto sobre medição estruturada.

Um cenário ilustrativo

Este é um cenário ilustrativo, não um caso real. Uma pequena empresa de serviços usa um agente que trata os e-mails de clientes. Ele produz três tipos de saída: um rascunho de resposta que um funcionário envia, uma etiqueta automática de categoria em cada e-mail e uma proposta de alteração no cadastro do cliente, que aguarda aprovação.

O dono define as faixas assim. As alterações de cadastro são de risco alto, então cada uma é aprovada por uma pessoa antes de ser aplicada, e a própria aprovação conta como revisão. Os rascunhos de resposta são de risco médio, porque um funcionário os lê antes de enviar, mas uma equipe ocupada pode aprovar rápido demais. As etiquetas de categoria são de risco baixo, já que uma etiqueta errada apenas encaminha o e-mail para o lugar errado.

Para a semana, o dono define: todas as alterações de cadastro revisadas, doze respostas sorteadas entre os diferentes tipos de e-mail e oito etiquetas sorteadas. A amostra dirigida soma qualquer resposta muito editada pela equipe e qualquer e-mail que chegou em um idioma que o agente ainda não tinha visto.

Na segunda semana, o revisor encontra uma resposta que citava uma política desatualizada. É um problema grave, então a amostra de respostas dobra na semana seguinte e a equipe verifica qual documento o agente usou. Descobre que um arquivo antigo de política continuava na pasta conectada. Eles o removem, adicionam o caso ao conjunto de testes, e a amostra maior da semana seguinte volta limpa. Depois de três semanas limpas, a amostra de respostas retorna a doze. Em nenhum momento alguém leu todos os e-mails, e mesmo assim o único erro caro foi encontrado e rastreado até a causa.

Como a amostra muda com o tempo?

Trate as primeiras semanas de qualquer agente como um período de amostragem intensa. Se for possível rodar o agente em paralelo ao trabalho humano antes de dar a ele autoridade, faça isso. O guia Teste um agente de IA em modo de observação descreve como comparar a saída do agente com as decisões humanas antes de qualquer envio.

Depois do lançamento, aumente a amostra sempre que algo mudar: uma nova versão do modelo, instruções editadas, uma nova ferramenta, uma nova fonte de documentos ou um novo tipo de solicitação de cliente. Reduza devagar e só quando o histórico sustentar. Mantenha um piso permanente, porque a qualidade pode cair de forma gradual, sem nenhum evento único a ser culpado. O artigo Degradação de qualidade em agentes de IA ao longo do tempo trata das mudanças lentas que uma amostra semanal constante está bem posicionada para detectar.

Observe também os revisores. Se todos os itens passam por muitas semanas, pergunte se o checklist está leniente demais ou se a amostra está fácil demais, e de vez em quando insira um exemplo sabidamente ruim para confirmar que os revisores ainda o pegam.

Como a Be Human trata a amostragem

Na operação gerenciada da Be Human, o plano de amostragem é definido no primeiro contato, junto com a função do agente, as ferramentas e os limites de aprovação. Os tipos de saída são atribuídos a faixas de risco, as ações de risco alto passam por aprovação humana e as avaliações recorrentes sorteiam amostras aleatórias e dirigidas a partir dos registros do agente. Os resultados são anotados, revisados com o responsável do cliente e usados para ajustar instruções, permissões ou casos de teste por meio de um processo de mudança controlado.

Perguntas frequentes

Quantas respostas devo revisar por semana? Não existe um número único, porque ele depende de risco e volume. Revise todas as saídas de risco alto, defina uma contagem fixa com piso mínimo para cada categoria de risco médio e baixo e acrescente uma pequena amostra dirigida. Aumente a contagem após qualquer mudança ou erro e reduza apenas depois de várias semanas limpas.

A amostra deve ser aleatória ou escolhida por uma pessoa? Use as duas. O sorteio aleatório dá um retrato honesto da qualidade típica e impede que os revisores escolham só itens fáceis ou interessantes. A amostra dirigida pega os casos incomuns, como edições pesadas, escalonamentos e novos tipos de solicitação, onde as falhas são mais prováveis.

Quem deve revisar as respostas amostradas? O ideal é alguém que conheça a tarefa o bastante para julgar o que está correto e que não seja a pessoa que construiu ou ajustou o agente. Alternar os revisores ajuda a revelar divergências no checklist. Em trabalhos de risco alto, quem responde pelo resultado deve ver os resultados diretamente.

O que fazer quando a revisão encontra um problema? Registre, classifique a gravidade e amplie a amostra daquela categoria. Depois encontre a causa, seja uma instrução, um documento, uma ferramenta ou uma mudança de modelo, e corrija por meio de uma mudança documentada. Por fim, adicione o caso ao seu conjunto de testes, para que o mesmo erro seja detectado automaticamente no futuro.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.