Ir para conteúdo
be-human.ai
← Voltar ao blog

Infraestrutura de IA personalizada

Modos de falha de agentes de IA em empresas e seus sinais precoces

Como uma camada de agentes de IA da empresa costuma falhar, da memória desatualizada ao acúmulo de permissões, e os sinais precoces de cada falha.

Capa tipográfica do Be Human com o título: Modos de falha de agentes de IA em empresas e seus sinais precoces
Ilustração conceitual criada com IA · Be Human

Uma camada de agentes de IA da empresa costuma falhar em silêncio. O agente continua respondendo enquanto sua memória envelhece, suas permissões se ampliam, suas ferramentas mudam por baixo dele ou ele segue instruções escondidas em conteúdos que lê. Cada uma dessas falhas deixa sinais precoces nos registros, nas aprovações e nas correções feitas pelos usuários. Líderes que sabem o que observar conseguem corrigir a causa enquanto ela ainda é uma mudança pequena.

Principais pontos

  • A maioria das falhas de agentes parece operação normal até que alguém compare a resposta com a realidade atual do negócio.
  • As falhas que mais se repetem são memória desatualizada, acúmulo de permissões, deriva de ferramentas, entradas não confiáveis e queda de qualidade sem medição.
  • Cada falha tem um sinal que você pode registrar: uma resposta desatualizada, um direito de acesso que ninguém lembra de ter pedido, ou um erro de ferramenta que o agente repete em silêncio.
  • Defina um dono para cada agente e escreva a regra de parada antes do primeiro incidente, não depois.
  • Revise memória, permissões e ferramentas em uma agenda fixa e trate cada mudança como um pedido apoiado em evidências.

Por que uma camada de agentes quebra de formas comuns

Uma camada de agentes não é um sistema único. Ela reúne um modelo, a memória que o agente consulta, as ferramentas que ele pode acionar, os canais por onde ele fala, as permissões que governam tudo isso e as pessoas que decidem o que ele deve fazer. Uma falha pode começar em uma dessas partes e aparecer em outra. Uma tabela de preços desatualizada na memória gera uma cotação errada, mas segura de si, em um canal de clientes. Um conector que muda o formato da resposta faz um fluxo pular registros sem disparar nenhum alarme.

A lição prática é que você raramente vê a falha onde ela começa. Para qualquer agente, faça duas perguntas: que evidência mostraria que ele ainda faz o trabalho que definimos, e o que mostraria que ele se desviou? Um mapa de arquitetura da pilha de IA em uma página ajuda nessa tarefa, porque mostra a qual componente cada sinal pertence e quem deve olhar para ele.

Deriva de memória: o agente lembra de um negócio que já mudou

A memória é o que torna o agente útil. Ela guarda preferências de clientes, redações aprovadas, regras de produto e o status de casos abertos. Também é a parte com maior chance de envelhecer, porque o negócio muda enquanto a memória é atualizada à mão, por um job de sincronização ou simplesmente não é atualizada. A deriva de memória acontece quando o agente trata um fato antigo como atual, ou quando duas versões guardadas do mesmo fato divergem e o agente escolhe uma sem avisar.

Sinais precoces para observar:

  • O agente cita uma política, um preço, um contato ou um processo que a equipe já substituiu.
  • A equipe passa a corrigir o agente no chat em vez de corrigir o registro de origem.
  • Dois agentes, ou dois canais, dão respostas diferentes para a mesma pergunta.
  • O agente responde com segurança sobre um tema que antes ele sinalizava como incerto.

Cenário ilustrativo: uma empresa de serviços muda a janela de cancelamento, mas a regra antiga continua nas anotações guardadas do agente. Por vários dias, o agente confirma a janela anterior nas mensagens aos clientes. A equipe só percebe quando um cliente cita a mensagem do agente de volta. A correção não é responder de novo. É corrigir o registro de memória, incluir nele uma data e um dono, e verificar todas as outras respostas que se apoiaram na mesma anotação.

Acúmulo de permissões: o acesso cresce mais rápido que o trabalho

O acúmulo de permissões é o crescimento lento de acessos. O agente recebe leitura em uma pasta compartilhada para responder a uma pergunta, depois escrita para atualizar um documento, depois uma chave de API que uma integração posterior reaproveita. Ninguém decide dar ao agente autoridade ampla. Cada concessão é pequena e razoável no momento em que é feita, e o total acaba maior do que o papel jamais exigiu.

As orientações de autorização da OWASP enfatizam o princípio do menor privilégio e a verificação de acesso a cada requisição, em vez de presumi-lo a partir de uma concessão antiga. Esse é o padrão que vale para o agente. Sinais precoces incluem:

  • O agente consegue executar uma ação que não aparece na descrição do seu papel.
  • Uma credencial não tem dono nomeado nem revisão registrada.
  • As aprovações são dadas por reflexo, porque uma pessoa aprova tudo sem ler o pedido.
  • Os registros mostram o agente tocando sistemas fora do escopo declarado.

Remover acesso é a correção mais fácil e também a que mais se adia. Em vez disso, agende uma verificação recorrente com uma revisão trimestral de permissões de agentes de IA, com uma lista fixa de concessões, donos e motivos. Cada concessão deve ser mantida com um motivo escrito, reduzida ou removida.

Deriva de ferramentas e integrações: o agente funciona, mas não como foi desenhado

Agentes dependem de ferramentas: um conector de CRM, uma agenda, um repositório de documentos, uma consulta de status de pagamento. Essas ferramentas mudam. Um campo é renomeado, um endpoint devolve um erro que o agente nunca viu, ou um webhook chega duas vezes. Muitas configurações tratam esses casos tentando de novo, chutando um valor ou informando sucesso mesmo assim. O resultado é um fluxo que parece completo enquanto registros faltam ou aparecem duplicados.

Sistemas de pagamento e de eventos costumam reenviar mensagens, então um manipulador que não foi feito para rodar duas vezes pode agir duas vezes. A documentação da Stripe sobre requisições idempotentes descreve o padrão em que uma requisição repetida produz o mesmo resultado, e esse é o comportamento a exigir de qualquer ferramenta que o agente chame. Sinais precoces incluem:

  • A taxa de erro sobe em um conector enquanto as mensagens finais do agente continuam dizendo que a tarefa foi concluída.
  • Registros duplicados aparecem depois de uma nova tentativa.
  • O agente começa a chamar uma ferramenta com parâmetros vazios ou padrão.
  • Um fluxo termina visivelmente mais rápido do que antes, o que pode significar que etapas foram puladas.

Entradas não confiáveis e excesso de autonomia: agir sobre um texto em que não deveria confiar

Um agente lê e-mails, chamados, páginas da web e documentos enviados. Qualquer um deles pode conter texto escrito para manipulá-lo, como uma linha em uma nota de fornecedor pedindo que o agente troque uma conta bancária. Isso é injeção de prompt, e aparece entre os principais riscos do OWASP Top 10 para aplicações com LLM. Um risco relacionado, o excesso de agência, ocorre quando o agente pode tomar ações relevantes, como enviar mensagens a clientes, sem a etapa de revisão que o negócio pretendia.

A defesa é estrutural, não uma única instrução no prompt. O conteúdo que o agente lê nunca deve conceder autoridade a ele, e ações de alto impacto devem exigir uma aprovação que o próprio conteúdo não consiga satisfazer. Sinais precoces incluem:

  • Pedidos de ações incomuns aparecem dentro de documentos, como mudança de pagamento ou pedido de acesso.
  • A saída do agente repete um texto da fonte como se fosse uma instrução a seguir.
  • Mensagens saem sem a revisão que o processo deveria incluir.
  • Usuários relatam que o agente se comportou de outro jeito depois de ler um arquivo ou página específica.

Checklist de sinais precoces e plano de resposta

Execute este checklist todo mês para cada agente e atribua cada item a um dono nomeado:

  • Memória: compare uma amostra das respostas recentes com o registro de origem atual e confirme que cada fato guardado tem dono e data.
  • Permissões: compare cada ação concedida com a descrição do papel e remova o que não é usado ou não tem explicação.
  • Ferramentas: leia os logs de erro de cada conector e confirme que as novas tentativas não criam registros duplicados.
  • Entradas: confirme que ações de alto impacto ainda exigem uma aprovação que o conteúdo não consegue contornar.
  • Qualidade: rode de novo um conjunto fixo de tarefas de teste após cada mudança em prompt, ferramenta ou fonte de memória.
  • Rastreabilidade: confirme que cada ação pode ser ligada a um pedido, a uma chamada de ferramenta e a um horário. A introdução à observabilidade do OpenTelemetry explica como traços, métricas e logs dão esse tipo de visibilidade.

Quando um sinal aparecer, siga sempre os mesmos passos:

  • Pause a ação afetada, e não o agente inteiro, se a regra de parada permitir.
  • Registre o que o agente fez, o que ele leu e em qual fonte ele se apoiou.
  • Corrija a origem do problema: o registro de memória, a permissão, o conector ou a regra de entrada.
  • Rode de novo as tarefas de teste daquela área antes de restabelecer a ação.
  • Escreva a mudança no runbook do agente para que o próximo dono saiba por que ela aconteceu. A rotina descrita em o que é AgentOps e como operar um agente no dia a dia mantém esse passo curto.

Como uma operação gerenciada identifica essas falhas

A operação gerenciada da Be Human trata cada modo de falha como algo a monitorar, e não como algo a descobrir por meio de uma reclamação. A primeira etapa define um papel útil para o agente, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. O trabalho contínuo cobre monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões e resposta a incidentes. Mudanças em memória, ferramentas ou permissões passam por um pedido escrito com evidências, para que o motivo de cada alteração fique registrado. Esse histórico também mostra quando o escopo de um agente cresceu além do papel para o qual ele foi construído.

Se você quer descobrir a primeira tarefa que vale entregar a um agente, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Como diferenciar deriva de memória de um erro comum? Uma única resposta errada normalmente é um erro comum, mas o mesmo fato desatualizado aparecendo em várias respostas aponta para a memória. Verifique se o fato existe em uma fonte guardada, se essa fonte bate com a política atual e se o agente ainda a cita. Corrija o registro em si, e não apenas a resposta que expôs o problema.

Quem deve ser o dono das revisões de permissão de um agente? O dono do processo de negócio deve decidir o que o agente pode fazer, e um responsável pelo sistema deve verificar as credenciais que aplicam essa decisão. Sempre que possível, quem pede uma mudança de acesso não deve ser o único a aprová-la. Mantenha um registro escrito de cada revisão, com o motivo e a data da próxima revisão.

Um problema de permissão sempre exige uma correção técnica? Muitas vezes, primeiro é preciso uma decisão: remover o acesso, reduzi-lo ou mantê-lo com um dono nomeado e uma data de revisão. Controles técnicos aplicam a decisão, mas não podem tomá-la por você. Depois que a decisão está registrada, a mudança técnica costuma ser simples.

O que fazer primeiro se eu suspeitar de injeção de prompt? Pause as ações de alto impacto daquele agente e, se for seguro, deixe funcionando o trabalho apenas de leitura. Preserve os registros do que o agente leu e fez e identifique a origem do conteúdo suspeito. Depois, reforce a regra que impede que conteúdos concedam autoridade e confirme que as etapas de aprovação não podem ser puladas.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →