Como revisar resumos de conversas de agentes de IA antes que virem memória

Para revisar o resumo de uma conversa feito por um agente, compare cada afirmação dele com as mensagens originais ou com o registro do sistema de onde ela saiu, e marque cada uma como confirmada, corrigida ou sem suporte antes que o resumo possa ser gravado na memória de longo prazo. Resumos são necessários porque nenhum agente consegue carregar uma conversa longa inteira, mas cada frase compactada perde ressalvas, responsáveis e condições, e assim um pequeno erro pode ser lido mais tarde como fato decidido. Uma etapa de revisão com responsável definido, links para as fontes e um caminho claro de correção impede que esses erros virem permanentes.

Principais pontos

• Um resumo é uma afirmação sobre o passado, e não um fato, até que uma regra ou uma pessoa o tenha conferido com a fonte.
• Cada afirmação do resumo deve apontar para a mensagem ou o registro que a sustenta.
• Separe o que foi decidido, o que foi pedido e o que apenas foi discutido, porque agentes tendem a misturar essas coisas.
• Para corrigir uma memória errada, substitua ou desative a entrada, em vez de acrescentar uma nota ao lado dela.
• Faça amostragens de resumos em uma rotina fixa, e revise com mais frequência depois de uma troca de ferramenta, de um novo canal ou de um incidente.

Por que os resumos se afastam da conversa

Um agente escreve um resumo porque a transcrição completa não cabe no contexto de trabalho por muito tempo, ou porque guardar tudo tornaria a busca posterior lenta e cheia de ruído. É nessa compactação que os erros entram. Um resumo pode transformar “talvez a gente passe a visita para quinta-feira” em “visita passada para quinta-feira”, juntar duas pessoas com nomes parecidos ou preencher uma lacuna com um detalhe plausível que ninguém disse. O agente raramente erra de forma óbvia. O problema é que o resumo parece mais limpo e mais certo do que a conversa que lhe deu origem, e a sessão seguinte trata esse texto como o registro oficial.

A razão de existirem resumos é o limite de quanto um agente consegue manter ao mesmo tempo. Para uma explicação mais completa de por que detalhes antigos desaparecem, veja O que é janela de contexto em IA? Por que o agente esquece.

Os cinco tipos de erro que você deve procurar

A maior parte dos erros danosos em resumos cai em poucos tipos. Uma instrução geral para garantir que o resumo esteja correto raramente basta, então confira cada tipo de forma deliberada.

• Entidade errada: o fato pertence a outro cliente, outra unidade, outro veículo ou outra pessoa.
• Valor errado: uma data, quantidade, endereço, valor ou número de referência difere da fonte.
• Status errado: algo proposto ou desejado aparece registrado como combinado, feito ou aprovado.
• Detalhe inventado: surge um complemento com cara de verdadeiro que ninguém mencionou.
• Condição perdida: um limite como “somente se”, “apenas neste trimestre” ou “não para a outra unidade” desaparece.

As condições perdidas merecem atenção especial, porque o resumo continua parecendo completo. Uma frase sem a sua condição soa como compromisso, e um agente que agir com base nela não saberá que havia uma condição.

Revisão passo a passo antes de guardar o resumo

Siga esta sequência para qualquer resumo que seria gravado na memória de longo prazo. Uma pessoa pode fazer, um segundo agente com acesso de leitura restrito pode fazer, ou um script pode cuidar das partes mecânicas enquanto uma pessoa revisa o restante.

• Exija que cada resumo liste os identificadores das mensagens ou os IDs dos registros por trás de cada afirmação.
• Separe o resumo em afirmações simples, um fato por linha, para que cada uma possa ser conferida isoladamente.
• Compare cada afirmação com a sua fonte e classifique-a como confirmada, corrigida ou sem suporte.
• Mantenha as afirmações sem suporte em estado pendente, fora da memória ativa, até alguém confirmá-las.
• Grave cada correção como uma substituição que preserve o valor antigo, o valor novo, a fonte e quem revisou.
• Registre a própria revisão, para que depois seja possível ver quais resumos foram conferidos e com qual regra.

Cenário ilustrativo: uma empresa de serviços de campo usa um agente para resumir conversas com administradores de condomínios. Um administrador escreve: “Podemos fazer a visita de quinta-feira, desde que o código do portão seja corrigido antes.” O resumo preliminar diz “visita de quinta-feira confirmada”. Ao separar o resumo em afirmações, o problema aparece, porque a fonte tem uma condição e nenhuma confirmação. O revisor marca a afirmação como corrigida e grava “visita de quinta-feira solicitada, pendente de correção do código do portão”, com link para a mensagem. O despachante passa a ver uma visita pendente, e não uma visita agendada.

Quem revisa e com que frequência

A precisão precisa de um responsável. Na maioria das equipes pequenas e médias, esse papel cabe ao líder de operações, que decide quais campos importam, quais fontes valem e o que uma correção precisa conter. Um revisor nomeado faz a amostragem. O revisor precisa de acesso de leitura às mensagens de origem e às entradas de memória, mas não de permissão para alterar nenhuma delas por padrão. Mantenha essa separação, porque um revisor que também pode editar a memória pode corrigir coisas em silêncio e não deixar registro.

Comece com amostragens frequentes enquanto o agente é novo, e depois passe para uma rotina estável quando entender quais tipos de resumo causam problemas. Uma amostra deve incluir todos os canais, todos os tipos de cliente e todos os integrantes da equipe que falam com o agente, e não apenas as conversas fáceis. Revise mais cedo depois que uma ferramenta mudar, que um novo canal for aberto ou que uma informação errada chegar a um cliente. Para o lado de acessos desse trabalho, consulte Como revisar as permissões dos seus agentes de IA, passo a passo, que trata da auditoria de memória e do que revisar.

Quando uma memória errada precisa ser corrigida

Uma correção que apenas acrescenta uma nota ao lado do fato antigo é fraca. A busca pode retornar primeiro a entrada antiga, e o agente pode ler as duas e agir com base na que pontuar mais alto. Substitua a entrada errada, ou desative-a com um ponto final claro, e mantenha o registro da mudança fora da memória de trabalho do agente para que possa ser auditado depois. O agente deve conseguir dizer de onde veio um fato e quando ele foi alterado. Para saber como decidir entre duas entradas que se contradizem, leia Memórias conflitantes em agentes de IA: qual fato prevalece?. Para a parte de remoção, veja Como apagar a memória de um agente de IA: corrigir, expirar, excluir.

Vale considerar também de onde veio o texto resumido. Se o resumo foi feito a partir de um e-mail, de uma página da web ou de um documento enviado por alguém de fora da empresa, o conteúdo é um dado a ser resumido, e não uma instrução que o agente deve seguir. Texto não confiável pode tentar mudar o comportamento do agente, e um resumo pode levar esse texto adiante, para dentro da memória. As orientações da OWASP sobre injeção de prompt descrevem como manter o conteúdo externo separado das instruções do agente.

Sinais de que um resumo precisa de uma segunda olhada

Nem todo resumo precisa de leitura completa. Encaminhe primeiro ao revisor os resumos com estes sinais.

• Contém um compromisso, data, valor ou quantidade que a fonte não afirma com as mesmas palavras.
• Usa termos absolutos como sempre, nunca, somente ou confirmado onde a fonte estava hesitante.
• Cita uma pessoa ou unidade que não aparece entre os participantes da conversa.
• Contradiz uma entrada de memória existente sem referenciar a mudança.
• Resume uma conversa que terminou sem um resultado claro.
• Vem de um canal onde pessoas de fora da empresa podem escrever.
• Foi produzido depois de um erro de ferramenta, de um tempo esgotado ou de uma busca parcial.

Como a Be Human trata isso em operações gerenciadas

A Be Human desenha as regras de resumo como parte do desenho da memória já no primeiro projeto, para que o operador saiba quais campos precisam de link para a fonte, quais status existem e quem pode aprovar uma correção. Em operações gerenciadas, a Be Human faz avaliações recorrentes sobre resumos amostrados, revisa o acesso do revisor junto com as demais permissões do agente e trata uma memória errada pelo mesmo caminho de incidentes usado para outros erros, com registro do que mudou. O objetivo é que uma pessoa consiga ver o que o agente acredita, de onde essa crença veio e como corrigi-la.

Por onde começar esta semana

Escolha o tipo de conversa em que uma memória errada custaria mais, que costuma ser compromissos, agendas ou alterações de conta. Adicione links para as fontes nesse formato de resumo, aplique a separação em afirmações sobre um conjunto de exemplos recentes e anote os tipos de erro que aparecem com mais frequência. Depois defina quem revisa o próximo lote e o que conta como correção.

Se você não tem certeza de quais conversas gerariam a memória errada mais cara, faça o diagnóstico gratuito de IA da Be Human para descobrir a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Um agente de IA deve escrever resumos das próprias conversas? Sim, na maioria dos cenários de negócio, mas apenas como rascunhos que apontem para as fontes. Um resumo que não consegue mostrar as mensagens por trás dele deve ficar fora da memória de longo prazo. Resumos dão ao agente uma visão compacta do trabalho passado, então a pergunta real é como revisá-los, e não se devem existir.

Como saber se um resumo está errado sem ler todas as conversas? Faça amostragens de conversas em uma rotina regular e concentre-se nos tipos em que os erros são caros, como compromissos, datas e alterações de conta. Use os sinais deste artigo para decidir quais resumos o revisor lê primeiro. Uma amostra pequena, com regras claras, costuma encontrar mais problemas reais do que uma amostra grande lida sem uma lista de verificação.

O próprio agente pode conferir os seus resumos? Ele pode ajudar. O agente pode dividir o resumo em afirmações e anexar as linhas da fonte que acredita sustentar cada uma, o que torna a revisão humana mais rápida. Mas ele não deve ser a única verificação, porque tende a confirmar a própria redação. Um revisor separado, com acesso de leitura às fontes, oferece uma segunda leitura que não depende da primeira.

O que deve acontecer com uma entrada de memória depois de corrigida? Substitua-a, ou desative-a com um ponto final claro e um registro da mudança, em vez de deixar a versão antiga ativa ao lado da nova. Mantenha o registro da correção fora da memória de trabalho do agente para que as pessoas possam auditá-lo. O agente deve conseguir explicar de onde veio um fato e quando ele foi alterado.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.