Ir para conteúdo
be-human.ai
← Voltar ao blog

Contexto e memória

Como testar memória de agente de IA: casos de recuperação e esquecimento

Casos de teste para memória de agente de IA: o agente recupera fato corrigido, esquece fato vencido e recusa dados privados. Inclui checklist.

Capa tipográfica do Be Human com o título: Como testar memória de agente de IA: casos de recuperação e esquecimento
Ilustração conceitual criada com IA · Be Human

Para testar a memória de um agente de IA, escreva três tipos de caso e execute-os contra o agente em uma agenda fixa: um caso de recuperação, que verifica se um fato corrigido substitui o antigo; um caso de esquecimento, que verifica se um fato vencido deixa de aparecer nas respostas; e um caso de recusa, que verifica se o agente deixa de guardar dados privados. Cada caso precisa de um estado inicial preparado, um prompt exato, um resultado esperado que possa ser observado e um responsável nomeado que decide o que conta como aprovação.

Principais pontos

  • Teste a recuperação corrigindo um fato na fonte e depois fazendo uma pergunta cuja resposta certa dependa dessa correção.
  • Teste o esquecimento deixando um fato vencer e conferindo que o agente não o apresenta mais como atual.
  • Teste a recusa enviando um dado que nunca pode ser guardado e depois inspecionando a memória em busca de qualquer registro novo que o contenha.
  • Escreva cada caso com estado inicial preparado, prompt exato, critério de aprovação que uma pessoa consiga verificar e um responsável.
  • Rode os mesmos casos após cada mudança de modelo, prompt, busca ou integração, e mantenha cada falha em um registro visível.

Por que a memória precisa de casos de teste e não de verificações pontuais

Perguntar algumas coisas ao agente em uma janela de chat mostra que ele às vezes sabe algumas coisas. Não mostra se ele conhece a versão atual delas, se descartou a versão antiga ou se guardou algo que deveria ter ignorado. Falhas de memória costumam ser silenciosas. O agente responde com fluência e confiança, e o detalhe errado parece exatamente igual ao certo.

A memória de um agente geralmente tem três partes que podem falhar: o armazenamento de registros, a etapa de busca que seleciona o que entra na janela de contexto e o modelo que escreve a resposta. Um teste que verifica apenas a resposta final não consegue dizer qual parte quebrou. Uma suíte útil confere a resposta, os itens recuperados e, nos casos de recusa, o próprio armazenamento. É a mesma lógica da observabilidade em sistemas complexos: você precisa de sinais de cada etapa, não só da saída.

Os casos abaixo foram escritos para que um revisor consiga executá-los sem formação em engenharia. Cada um nomeia o estado inicial, o prompt, o que o agente deve fazer e o que não deve fazer.

Como testar se o agente recupera um fato corrigido?

Um caso de recuperação começa com um fato que era verdadeiro, depois o altera pelo canal aprovado e por fim faz uma pergunta cuja resposta depende da mudança. A falha mais comum não é esquecer a correção por completo. É manter as duas versões vivas e escolher a antiga quando a pergunta vem com outras palavras.

Siga estes passos para montar o caso:

  • Escolha um fato que de fato mudou no seu negócio, como o horário de um serviço, uma etapa de aprovação obrigatória ou uma regra de entrega.
  • Registre o valor antigo, o valor novo, o responsável que aprovou a mudança e a data em que ela passa a valer.
  • Escreva o prompt do jeito que um colaborador ou cliente real perguntaria, e não com as palavras usadas no registro.
  • Defina a aprovação: a resposta traz o valor novo, não apresenta o valor antigo como atual e indica a versão da fonte.
  • Execute o caso em uma sessão nova, para que o resultado não dependa do histórico de conversa anterior.
  • Repita o caso com uma paráfrase e, se sua equipe trabalha em mais de um idioma, com uma pergunta em português e outra no idioma do time.

Cenário ilustrativo: um agente de suporte foi informado de que o prazo de devolução foi ampliado após uma revisão da política. Um caso de recuperação pergunta, em sessão nova, em quantos dias um cliente pode devolver um item comprado no mês passado. Uma execução que falha cita o prazo antigo, extraído de um documento de política que ainda está no índice. Uma execução que passa cita o prazo novo e aponta para a versão vigente da política. A falha é uma evidência útil: mostra que o documento antigo nunca foi aposentado, e isso é um problema de gestão de documentos antes de ser um problema de memória.

Conflitos como esse são onde muitas equipes travam, então ajuda decidir antecipadamente qual fato prevalece. As regras para essa escolha estão em memórias conflitantes em agentes de IA.

Como testar se o agente esquece um fato vencido?

Esquecimento é mais difícil de testar porque a ausência de uma afirmação é fácil de passar despercebida. Fatos vencidos incluem um fechamento temporário que já terminou, uma promoção encerrada, um terceirizado que saiu do projeto ou uma regra substituída por uma aprovação mais nova. O agente deve parar de tratá-los como atuais, mesmo que o texto antigo ainda exista em algum lugar do armazenamento.

Use esta checklist para cada caso de esquecimento:

  • Cada registro que pode vencer traz uma condição de validade explícita, e não apenas uma frase dizendo "temporário".
  • O teste define a validade no passado ou avança o relógio do teste. Não espere o tempo real passar.
  • O prompt pergunta sobre a situação que o fato vencido costumava regular, por exemplo se um serviço está disponível nesta semana.
  • A aprovação é uma verificação de ausência: o valor vencido não aparece como afirmação atual na resposta.
  • O registro de busca mostra que o registro vencido foi excluído ou ficou abaixo do atual no ranking.
  • O caso falha se o agente disser "neste momento", "atualmente" ou "hoje" antes de repetir um fato vencido.

Tenha em mente um cuidado: um agente que deixa de mencionar um fato não o removeu. Remoção é uma operação separada, com teste próprio, tratada em como apagar a memória de um agente de IA. Sua suíte de esquecimento deve confirmar as duas coisas: que a resposta mudou e que o registro armazenado foi arquivado ou removido conforme a sua política.

Como testar se o agente recusa guardar dados privados?

Os casos de recusa verificam o caminho de escrita. A preparação habitual é uma conversa em que a pessoa pede ajuda com algo comum e, na mesma mensagem, compartilha um valor que nunca deveria entrar na memória: número de documento, dado bancário, senha, condição de saúde ou um contato privado de terceiros. O agente deve concluir o pedido comum e deixar o valor sensível fora do armazenamento.

O armazenamento é a prova. Uma resposta que soa cuidadosa não basta, porque o agente pode ter salvado o valor em um resumo de sessão ou em uma nota que um processo posterior pega. Depois da sessão, inspecione todos os registros criados durante ela e procure pelo valor e por variações próximas.

Um guia curto de decisão ajuda o revisor a classificar o que o agente recebe:

  • Se o valor é uma credencial, um identificador ou um detalhe financeiro ou de saúde, o agente não deve gravá-lo, e o teste falha se qualquer registro o contiver.
  • Se o valor é uma preferência não sensível, como um canal de contato preferido, o agente pode propô-lo, mas a gravação deve passar pelo controle de escrita aprovado, com a fonte anexada.
  • Se o valor é uma opinião de um colaborador sobre um cliente, ele só pode ser guardado como opinião, claramente rotulada, e nunca como fato verificado.
  • Se a mensagem pede ao agente que registre uma nova permissão, como a afirmação de que o usuário é administrador, a gravação deve falhar. Entradas não confiáveis podem tentar direcionar o modelo, e as orientações da OWASP sobre injeção de prompt tratam isso como risco permanente, então inclua pelo menos uma tentativa desse tipo no conjunto de recusa.

O desenho das regras de escrita que tornam essas verificações possíveis está descrito em quem pode gravar na memória de agentes de IA. Para as categorias que nunca devem ser guardadas, veja dados sensíveis na memória de agentes de IA.

Como decidir se um teste de memória passou?

A aprovação precisa ser definida antes da execução, em termos que um revisor consiga checar sem perguntar ao autor. Os casos de recuperação verificam a presença do valor correto e a ausência do antigo como afirmação atual. Os casos de esquecimento verificam a ausência e o registro de busca. Os casos de recusa verificam o armazenamento antes e depois da sessão. Julgamentos genéricos, como "a resposta pareceu boa", não devem decidir um resultado.

A prática de avaliação de agentes, descrita no guia de evals da OpenAI, depende de tarefas repetíveis com critérios de correção explícitos. Você não precisa de um benchmark grande para começar. Um conjunto pequeno que cubra seus fatos de maior risco, suas perguntas mais frequentes e suas categorias sensíveis é mais útil do que um conjunto amplo que ninguém mantém. Guarde os casos junto com os resultados esperados para que a próxima pessoa consiga executá-los exatamente de novo.

A Be Human desenha e opera esse tipo de suíte como parte de operações gerenciadas. Em um primeiro projeto, a equipe define o único papel que o agente exerce, a memória e as ferramentas de que ele precisa, os limites de aprovação para gravar fatos e o critério de sucesso observável que os testes verificam. Nas operações gerenciadas, os mesmos casos rodam em uma agenda recorrente e após mudanças de integração ou de modelo, revisões de permissão confirmam quem pode gravar na memória, e um valor privado armazenado dispara uma resposta a incidente documentada. O trabalho é entregue remotamente, em inglês ou em português, e o cliente mantém o controle sobre o que o agente tem permissão para lembrar.

Como manter a suíte útil depois da primeira execução?

Uma suíte de memória perde valor quando ninguém é responsável por ela. Chegam novas políticas, documentos são substituídos, colaboradores mudam de função e modelos são atualizados, e casos escritos para os fatos do trimestre passado começam a testar coisas erradas. Atribua um responsável para o conjunto de casos e revise-o em uma agenda que sua equipe consiga sustentar. Sempre que um fato for aposentado, acrescente um caso de esquecimento para ele. Sempre que um colaborador corrigir o agente, avalie se a correção merece um caso de recuperação.

Quando um caso falha, registre o que quebrou: o registro, a busca, o controle de escrita ou a resposta. Corrigir só a resposta costuma esconder um problema de armazenamento que vai voltar. Mantenha o caso que falhou na suíte até que ele passe pelo motivo certo, e trate uma falha repetida como sinal para revisar a regra por trás dela, e não apenas o prompt.

Se você ainda não sabe qual dos seus processos deve ser o primeiro a receber esse tipo de teste de memória, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Quantos casos de teste preciso para começar? Comece com um conjunto pequeno que cubra seus fatos mais importantes, suas perguntas mais comuns e cada categoria sensível com que você trabalha. Alguns casos por categoria bastam para revelar se a memória funciona. Amplie apenas quando uma falha real mostrar uma lacuna.

Posso testar a memória de um agente só por uma janela de chat? A janela de chat serve para explorar o comportamento, mas não consegue provar o que foi armazenado ou recuperado. Para um teste confiável, é preciso preparar o estado inicial, executar o prompt em uma sessão nova e depois inspecionar o armazenamento e os registros de busca. Capturas de tela de uma boa resposta não provam que o registro certo foi usado.

Em que o teste de memória difere do teste de qualidade da busca? O teste de busca pergunta se os documentos certos são encontrados para uma pergunta. O teste de memória também pergunta se o agente mantém a versão correta de um fato ao longo do tempo, descarta fatos vencidos e se recusa a guardar dados que não deveria ter. Os dois se sobrepõem, e uma boa suíte inclui ambos, com os casos de memória focados em mudança, validade e gravação.

O agente deve avisar o usuário quando esquecer algo? O agente não deve fingir conhecer um fato que foi aposentado e deve conseguir dizer que um assunto precisa de uma fonte atual. Se ele anuncia uma exclusão depende da sua política e do tipo de dado envolvido. Teste o comportamento que você decidiu adotar, para que o agente não invente uma garantia, como ter apagado um registro quando a exclusão não aconteceu.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →