Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Orçamento de erros para agentes de IA: falhas aceitáveis por tarefa

Veja como definir um orçamento de erros para cada tarefa de um agente de IA, para saber quando reduzir a autonomia, adicionar revisão ou ampliar permissões.

Capa tipográfica do Be Human com o título: Orçamento de erros para agentes de IA: falhas aceitáveis por tarefa
Ilustração conceitual criada com IA · Be Human

Um orçamento de erros para agentes de IA é a quantidade de falha que uma tarefa específica pode absorver em um período definido, antes que a equipe reduza a autonomia do agente naquela tarefa. Você define o orçamento por tarefa, partindo do custo de uma ação errada para o negócio e do nível de revisão que aquela tarefa exige. Depois, mede as falhas contra o orçamento toda semana. É o orçamento que indica se você deve seguir, adicionar uma verificação ou recolher a autoridade concedida.

Principais pontos

  • Um orçamento de erros pertence a uma tarefa, não ao agente como um todo.
  • Comece pelo custo de uma ação errada, não pela qualidade média do modelo.
  • Esgotar o orçamento dispara uma pausa na autonomia e uma análise da causa, não a busca por um culpado.
  • Amplie a autoridade somente depois de um período limpo dentro de uma janela definida, e mude uma permissão por vez.
  • Mantenha o orçamento na mesma revisão semanal de custo, incidentes e histórico de mudanças, para que ele não saia de vista.

Por que um único número de precisão engana o dono

A primeira pergunta da maioria das equipes é quão preciso o agente é. Ela é razoável, mas um único índice de precisão esconde o que o líder de operações precisa decidir. Um agente que redige resumos internos pode errar com frequência e, mesmo assim, ser seguro, porque uma pessoa lê cada rascunho antes de ele sair. Já um agente que emite reembolsos, altera um endereço de entrega ou envia uma mensagem ao cliente pode errar raramente e ainda causar um dano sério, porque ninguém vê a ação antes de ela produzir efeito.

O orçamento de erros muda a conversa de «quão bom é o agente» para «quanto trabalho errado esta tarefa tolera, e o que acontece quando atingirmos esse limite». Essa forma de pensar combina com a maneira como as equipes de operação já gerenciam níveis de serviço para sistemas e pessoas. A ideia vem da prática de confiabilidade de sites, em que a meta de confiabilidade deixa espaço para uma quantidade conhecida de falha, e esse espaço é gasto de forma deliberada. Para um agente, a mesma lógica funciona se você definir a falha em termos de negócio e registrar o limite por escrito antes de o agente começar a trabalhar.

O Marco de Gestão de Riscos de IA do NIST descreve a disciplina mais ampla de mapear, medir e gerenciar o risco de IA ao longo da vida de um sistema. O orçamento de erros é uma forma prática de tornar essa disciplina concreta em um fluxo de trabalho, porque transforma um compromisso geral de gestão de risco em um número, um responsável e um gatilho.

Comece pelo custo de uma ação errada

Antes de escolher qualquer limite, escreva o que uma ação errada custa em cada tarefa que o agente pode executar. Custo aqui não é só dinheiro. Inclui um cliente que recebe uma resposta errada e volta a ligar, um colaborador que precisa desfazer uma alteração, uma exposição regulatória, um problema de reputação ou uma decisão tomada com informação ruim. Agrupe as tarefas em poucas faixas de custo, de acordo com o pior resultado realista de um único erro, e não com a frequência com que a tarefa roda.

Um teste útil é perguntar o que a equipe faria na segunda-feira de manhã depois de uma ação ruim. Se a resposta for «corrigir uma linha de texto», a tarefa fica em uma faixa baixa. Se a resposta for «contatar o cliente, estornar um pagamento, revisar os registros e explicar o erro para o gerente», a tarefa fica em uma faixa alta. Tarefas de faixa alta recebem um orçamento pequeno, uma janela de medição curta e uma etapa de aprovação humana. Tarefas de faixa baixa podem ter um orçamento maior e mais autonomia, porque o custo de aprender com as falhas delas é modesto.

Essa etapa também protege você de um erro comum: definir um único orçamento para o agente inteiro. Um agente que responde perguntas, atualiza registros e envia e-mails não deveria ter uma única margem de falha. Cada capacidade tem uma consequência diferente, então cada uma precisa de sua própria linha.

Defina o orçamento de cada tarefa, passo a passo

Use esta sequência para cada tarefa que você pretende entregar a um agente. Ela serve tanto para um primeiro piloto quanto para uma operação madura que está sendo ampliada.

  • Nomeie a tarefa em uma frase, com a entrada que ela recebe e a ação que executa no final.
  • Defina o que conta como falha nessa tarefa. Escreva como uma condição observável, como «envia mensagem com status de pedido errado» ou «aplica desconto fora da lista aprovada».
  • Separe falhas leves de falhas graves. Um erro de digitação e um reembolso errado não são o mesmo evento e não devem consumir do mesmo orçamento.
  • Atribua a tarefa a uma faixa de custo e registre, em uma linha, o pior resultado realista daquela faixa.
  • Escolha a janela de medição. Tarefas de faixa alta normalmente precisam de janelas mais curtas, para que um problema apareça em dias e não em meses.
  • Fixe o orçamento como o número de falhas graves que a equipe aceita dentro daquela janela, e uma margem separada e mais folgada para as leves.
  • Nomeie um responsável que leia o orçamento toda semana e tenha autoridade para pausar a tarefa.
  • Decida antecipadamente o que acontece ao atingir o limite: pausar a tarefa, enviar todas as ações para aprovação humana ou reduzir a tarefa a modo somente leitura.
  • Registre o orçamento ao lado da tarefa nas suas notas operacionais, com a data em que foi definido e o motivo do número escolhido.

As duas últimas etapas são as mais importantes. Um orçamento que não dispara nenhuma ação é um relatório, não um controle. Defina a resposta antes da primeira falha, porque a equipe ficará tentada a abrir exceções quando o agente estiver fazendo um trabalho útil.

Como um orçamento aparece em uma semana ilustrativa

O cenário a seguir é ilustrativo e não descreve um cliente real nem um resultado real. Uma pequena empresa de serviços usa um agente para responder perguntas de clientes sobre o status de pedidos. O agente pode consultar o sistema de pedidos e enviar uma resposta, mas não pode alterar um pedido nem emitir crédito. A equipe classifica a tarefa em uma faixa intermediária, porque uma mensagem de status errada gera um telefonema e algum desgaste, mas nenhum dinheiro é movimentado.

O dono define uma janela de uma semana e escreve um orçamento que permite uma pequena quantidade de falhas leves, como uma frase pouco clara ou um link de rastreio desatualizado, e nenhuma falha grave, definida como um status que contradiz o sistema de pedidos. Na primeira semana, o agente produz algumas falhas leves e uma grave: ele lê como ativo um pedido cancelado, porque um campo foi atualizado depois da consulta. O orçamento está esgotado.

A resposta não é punir o agente nem a equipe. A equipe pausa as respostas automáticas para aquele tipo de pedido, encaminha-as para revisão humana e abre uma investigação sobre a defasagem de tempo. Acrescentam uma nova consulta antes do envio e uma checagem que compara o status com o registro mais recente. Somente depois de duas semanas limpas o dono libera de novo as respostas automáticas, e a mudança de permissão é registrada no histórico de alterações antes de entrar em vigor.

Quando reduzir a autonomia e quando ampliá-la

O orçamento é mais útil como guia de decisão. Toda semana, o dono deve conseguir escolher, sem debate, uma entre quatro respostas para cada tarefa, com base na situação do orçamento.

  • Manter: a tarefa está dentro do orçamento, mas a janela ainda não é longa o bastante para mostrar estabilidade. Mantenha as permissões atuais e continue medindo.
  • Reduzir: a tarefa consumiu a maior parte do orçamento ou produziu uma falha grave. Adicione aprovação humana, restrinja as entradas ou mude a tarefa para modo somente leitura até entender a causa.
  • Pausar: o orçamento foi esgotado, ou uma falha afetou um cliente, dinheiro ou uma obrigação legal. Interrompa a ação autônoma nessa tarefa e execute o processo de incidente.
  • Ampliar: a tarefa ficou dentro do orçamento durante a janela inteira, os tipos de falha são bem compreendidos e a próxima permissão tem um escopo claro e delimitado. Amplie uma permissão e meça de novo.

A disciplina está na etapa de ampliação. As equipes costumam ampliar a autoridade porque o agente parece confiável, ou porque alguém quer a economia de tempo. O orçamento oferece uma resposta neutra. Se a janela foi limpa e a definição de falha ainda corresponde ao que o negócio considera importante, a ampliação se justifica. Se não, ela espera. Para entender como a qualidade pode cair sem uma falha dramática e única, veja Degradação de qualidade em agentes de IA ao longo do tempo, que trata das mudanças lentas que um orçamento pode deixar passar quando ninguém revisa a tendência.

Como a Be Human conduz orçamentos de erro em operações gerenciadas

A Be Human projeta e opera infraestrutura de IA personalizada, em que cada agente mantém sua identidade, memória, canais, ferramentas, permissões e contexto operacional sob controle humano. Em um primeiro projeto, o trabalho começa com a definição de um papel útil, da memória e das ferramentas de que ele precisa, dos limites de aprovação e de um critério de sucesso observável, que é o lugar natural para definir o primeiro orçamento de erros. Na operação gerenciada, o mesmo orçamento é revisado junto com monitoramento, avaliações recorrentes, revisão de permissões e resposta a incidentes, de modo que um orçamento esgotado leve a uma mudança específica de permissão e a uma decisão registrada, e não a um ajuste informal. Os projetos são entregues remotamente, em inglês e em português.

Mantenha o orçamento confiável e encontre a primeira tarefa para entregar

Um orçamento só continua útil se as definições de falha permanecerem atualizadas. Revise-as quando o negócio mudar uma política, quando um novo canal for adicionado ou quando o modelo por trás do agente for atualizado, porque cada uma dessas situações pode tornar uma definição antiga estreita ou frouxa demais. Mantenha um registro curto de cada alteração em um orçamento e de cada ampliação de autoridade, para que um revisor futuro entenda por que um número foi escolhido. Para uma forma prática de manter esse registro legível, veja Agentes de IA precisam de um registro de mudanças que o dono entenda. Antes que qualquer tarefa ganhe acesso de escrita, muitas equipes também executam o agente em modo de observação, como descrito em Modo sombra para agentes de IA: teste propostas antes de dar escrita.

Se você ainda não tem certeza de qual tarefa merece um orçamento primeiro, faça o diagnóstico gratuito da Be Human para identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

O que é um orçamento de erros para agentes de IA? É a quantidade de falhas graves e leves que uma tarefa específica do agente pode produzir em um período definido, antes que a equipe mude o quanto o agente pode fazer por conta própria. O orçamento é definido por tarefa, com base no custo de uma ação errada, e é revisado em uma agenda regular. Seu principal valor é transformar a pergunta sobre risco aceitável em um número, com um responsável nomeado e uma resposta previamente decidida.

Como escolher o número do orçamento? Comece pela faixa da tarefa, que depende do pior resultado realista de um único erro, e depois escolha uma margem pequena para tarefas de faixa alta e uma maior para tarefas de faixa baixa. Use uma janela de medição longa o bastante para mostrar um padrão, mas curta o bastante para pegar problemas cedo, muitas vezes uma semana para tarefas ativas. Registre o número e o motivo dele ao lado da tarefa e revise-o depois das primeiras janelas, quando você já tiver dados reais.

Em que um orçamento de erros difere de uma meta de precisão? Uma meta de precisão descreve a parcela de respostas que atendem a um padrão e trata todo erro como igual. Um orçamento de erros separa falhas leves e graves, associa cada classe a uma consequência de negócio e especifica o que acontece ao atingir o limite. A precisão pode ser uma entrada útil para o orçamento, mas ela não diz quando pausar a autoridade nem quando ampliá-la.

Quando devo dar mais autonomia a um agente? Amplie a autoridade somente quando a tarefa tiver ficado dentro do orçamento durante toda a janela de medição, quando os tipos de falha forem bem compreendidos e quando a próxima permissão tiver um escopo estreito e claramente delimitado. Amplie uma permissão por vez, registre a mudança e meça de novo antes de ampliar outra. Se o orçamento estiver perto do limite, ou se o processo de negócio tiver mudado recentemente, mantenha o nível atual até que o quadro esteja claro.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →