Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Falhas silenciosas em agentes de IA: detecte com conciliação e amostragem

Veja como detectar falhas silenciosas em agentes de IA que concluem sem erro, mas gravam registros errados, usando conciliação e revisão por amostragem.

Capa tipográfica do Be Human com o título: Falhas silenciosas em agentes de IA: detecte com conciliação e amostragem
Ilustração conceitual criada com IA · Be Human

Falha silenciosa é uma execução de agente de IA que termina sem erro, sem timeout e com status de sucesso, mas deixa registros errados ou faltando nos sistemas de que o negócio depende. Para detectá-la, é preciso usar verificações que não dependam de o agente relatar o próprio trabalho. Duas delas resolvem boa parte do problema: contagens de conciliação, que comparam o que a fonte contém com o que o agente gravou, e revisão humana por amostragem, que compara registros selecionados com as evidências originais. Usadas juntas, encontram os erros que logs e códigos de status nunca mostram.

Principais pontos

  • Uma falha silenciosa parece sucesso em todos os logs, por isso a detecção precisa comparar o resultado com a fonte, nunca com o resumo que o próprio agente produz.
  • Contagens de conciliação identificam registros faltando, duplicados e extras a baixo custo, mas só funcionam quando cada tarefa tem uma relação escrita entre entradas e saídas.
  • A revisão humana por amostragem identifica valores errados, responsáveis errados e datas erradas, que os totais não revelam.
  • Amostre por risco, use um checklist fixo e calibre os revisores com os mesmos casos antes de confiar nos resultados.
  • Cada divergência deve terminar em uma correção com nome, como uma regra, um caso de teste ou uma mudança na ferramenta, e não apenas em um registro corrigido.

Por que logs e códigos de status não pegam falhas silenciosas

Uma chamada de ferramenta que retorna sucesso confirma apenas que a requisição foi aceita e que o sistema respondeu. Ela não diz se o conteúdo enviado era o correto. A documentação do OpenTelemetry sobre observabilidade descreve como traces e logs mostram o que um sistema fez, passo a passo. Isso é valioso para diagnóstico, mas um trace pode registrar fielmente uma sequência correta de passos que gravou o identificador errado de um cliente. Observabilidade é pré-requisito para a detecção, não um veredito sobre a correção do negócio. Para saber o que registrar junto com esses dados, veja o que registrar na observabilidade.

As falhas silenciosas em agentes de negócio costumam parecer banais. O agente lê uma lista de origem, para cedo porque não seguiu o cursor de paginação e informa que concluiu. Associa uma nota fiscal nova ao fornecedor anterior porque dois nomes são parecidos. Grava um status copiado da exportação de ontem. Coloca o valor de um campo no campo vizinho depois de uma mudança de esquema. Em todos os casos, a mensagem final diz que o trabalho está pronto, ninguém é acionado, porque nada tecnicamente falhou.

A consequência prática é que o relatório do próprio agente não serve como prova de sucesso. Um teste útil é simples: se o resumo do agente fosse removido, alguém conseguiria confirmar o resultado apenas com a fonte e o sistema de registro? Se a resposta for não, o fluxo ainda não tem uma camada de detecção.

Monte contagens de conciliação que comparem fontes, não resumos

Conciliar significa comparar dois registros independentes do mesmo trabalho. Contagens são a forma mais rápida dessa verificação, e funcionam melhor quando a relação entre entrada e saída está escrita antes de o agente rodar.

Comece com uma tarefa e escreva a relação esperada em uma frase. Por exemplo: cada mensagem de atendimento recebida na caixa compartilhada deve gerar exatamente um registro, e cada registro deve citar a mensagem de origem. Depois:

  • Defina a fonte da verdade, como a exportação da caixa de e-mail, o sistema de pedidos ou a fila de tickets.
  • Escreva uma consulta que conte os itens da fonte em uma janela de tempo fixa, informando os limites dessa janela em um único fuso horário.
  • Conte os registros que o agente gravou na mesma janela, usando um campo que ligue cada registro à sua origem.
  • Compare os dois números e defina antecipadamente qual diferença é aceitável. Na maioria das tarefas que criam registros, a tolerância é zero, com exceções explicadas.
  • Quando os números divergirem, compare identificadores em vez de totais para descobrir quais itens estão faltando, duplicados ou sobrando.

Totais sozinhos escondem erros. Um registro faltando e um duplicado produzem a mesma contagem, então uma checagem apenas de totais aponta sucesso enquanto dois itens estão errados. Comparar identificadores fecha essa lacuna.

Cenário ilustrativo: uma equipe usa um agente para lançar e-mails de fornecedores em uma planilha de acompanhamento. Em uma manhã movimentada, a exportação da caixa mostra mais conversas do que linhas novas na planilha. A comparação por identificador revela que o agente parou no fim da primeira página de resultados e, ainda assim, marcou a execução como concluída. O agente não recusou nenhuma mensagem. A correção fica na etapa de busca, e um caso de teste com mais de uma página de mensagens entra no conjunto de avaliação.

Acrescente revisão humana por amostragem para o que a contagem não enxerga

Contagens verificam se existe o número certo de registros. Elas não verificam se cada registro está correto. Um nome de fornecedor pode estar ligado à nota fiscal errada enquanto os totais continuam batendo. Para isso, uma pessoa precisa comparar uma amostra de registros com suas evidências. O NIST AI Risk Management Framework trata medição e monitoramento como funções contínuas, e não como um teste único. Esse tipo de revisão é uma forma prática de manter a medição acontecendo.

A amostragem funciona quando é deliberada. Divida o trabalho em grupos por risco, por exemplo por valor, por a ação ser reversível ou não, ou por o tipo de tarefa ser novo. Amostre com mais frequência os grupos de alto risco e escolha os itens de forma aleatória dentro de cada grupo, para que os revisores não vejam apenas os casos fáceis. O tamanho de cada amostra deve acompanhar o risco e o volume, e deve ser pequeno o bastante para que um revisor termine em uma sentada. Para um método de dimensionamento, veja quantas saídas revisar.

Os revisores precisam de um checklist fixo que compare cada campo do registro com a fonte: o identificador, o responsável, as datas, as quantidades, o status e qualquer afirmação que a fonte não sustente. Eles devem trabalhar a partir do documento original, e não a partir da explicação do agente. Antes da primeira revisão real, peça que dois revisores pontuem o mesmo conjunto de casos de forma independente e discutam cada divergência. Sem essa calibração, a revisão gera uma sensação de controle, não uma medição.

Registre cada achado com uma categoria, como valor errado, entidade errada, campo ausente, entrada desatualizada ou afirmação sem suporte. As categorias transformam uma lista de erros em um padrão que você consegue tratar.

Transforme cada divergência em uma correção com nome

Uma falha silenciosa detectada deve mudar o sistema, e não apenas o registro isolado. Para cada achado, decida qual tipo de correção ataca a causa. Um problema de busca exige mudança em como o agente lê as fontes. Um problema de mapeamento exige uma checagem de esquema no momento da gravação. Uma instrução ambígua exige uma regra, escrita de modo que a próxima execução a siga. Um teste ausente exige um novo caso no conjunto de avaliação, para que a mesma falha seja pega antes de chegar à produção. As orientações de avaliação da equipe de engenharia da Anthropic seguem a mesma lógica: as avaliações devem usar tarefas realistas e rodar de forma repetida, para que as regressões apareçam cedo.

Mantenha o registro de correções visível para as pessoas responsáveis pelo fluxo. Cada entrada deve informar a categoria da falha, os registros afetados, a causa suspeita, a mudança feita e o teste que agora cobre o caso. Quando um achado indicar que dados errados podem ter sido usados em mais lugares, trate-o como incidente. Os passos para isso estão em o plano de resposta a incidentes.

Uma rotina semanal para detectar falhas silenciosas

A rotina abaixo cabe em uma sessão de trabalho por fluxo. É uma estrutura inicial, a ser ajustada ao risco de cada tarefa.

  • Extraia as contagens da fonte e do sistema de registro do período, e compare-as por identificador.
  • Liste cada item faltando, duplicado ou extra, e classifique cada um pela causa provável.
  • Retire a amostra de revisão de cada grupo de risco e registre como a seleção foi feita, para que possa ser repetida.
  • Revise cada registro amostrado com o checklist fixo, em comparação com a fonte, e registre cada divergência com sua categoria.
  • Verifique se alguma pessoa editou um registro depois que o agente o gravou, porque edições manuais podem esconder ou criar problemas.
  • Inclua cada novo tipo de falha no conjunto de testes e atribua um único responsável a cada correção em aberto.
  • Anote qualquer mudança de volume, de formato da fonte ou de comportamento da ferramenta, porque essas mudanças costumam anteceder falhas silenciosas.

Como a Be Human trata a detecção de falhas silenciosas

A operação gerenciada da Be Human trata a detecção como parte do desenho do agente, e não como um detalhe depois. Na primeira etapa, definimos o papel útil do agente, a memória e as ferramentas de que ele precisa, os limites de aprovação e o critério de sucesso observável. As regras de conciliação e as categorias de revisão são escritas nessa fase. A operação contínua então executa as contagens em uma agenda, mantém a amostra de revisão e o checklist atualizados, acompanha cada correção até o fim e revisa as permissões sempre que o fluxo muda. O objetivo é que o negócio consiga ver, em termos simples, se os registros do agente batem com as fontes.

Se você quer identificar a primeira tarefa que vale entregar a um agente e as verificações que ela precisaria, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Em que uma falha silenciosa difere de um erro comum? Um erro comum gera um sinal, como uma exceção, um timeout ou uma requisição recusada, então alguém o vê e reage. Uma falha silenciosa termina com status de sucesso enquanto o resultado está errado ou incompleto, por isso fica escondida até alguém comparar o resultado com a fonte.

Com que frequência as contagens de conciliação devem rodar? Defina a frequência de acordo com a velocidade com que registros errados causam dano. Para tarefas que alimentam pagamentos, compromissos com clientes ou prazos, uma comparação diária é um ponto de partida razoável. Relatórios de menor impacto podem precisar apenas de uma verificação semanal. Escolha uma frequência que você consiga manter sem pular, porque uma checagem perdida equivale a nenhuma checagem.

Ainda preciso de revisão humana se as contagens batem? Sim. Contagens iguais mostram que existe o número certo de registros, não que cada um contém os valores, o responsável ou a data corretos. A revisão por amostragem verifica o conteúdo e pode continuar com uma frequência menor quando o fluxo se mostrar estável, com revisão mais frequente após qualquer mudança em ferramentas, fontes ou instruções.

Um juiz automatizado pode substituir o revisor humano? Um juiz automatizado pode ajudar na triagem, por exemplo marcando registros para uma pessoa conferir, mas deve ser calibrado com decisões humanas antes de alguém depender dele. A concordância com os revisores precisa ser medida em casos conhecidos. As decisões finais sobre se um registro está errado devem continuar com uma pessoa que consiga ler a fonte.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →