Avaliação de recuperação para memória de agentes de IA antes do lançamento
Veja como testar se um agente de IA recupera o fato certo da empresa antes do lançamento, com uma avaliação repetível que continua válida após trocar o modelo.

Uma avaliação de recuperação para memória de agentes de IA é um conjunto fixo de perguntas reais da empresa, cada uma ligada ao fato que o agente precisa encontrar e à fonte que o contém. Ela roda antes do lançamento e de novo após cada mudança. Responde a uma pergunta que uma resposta bem escrita costuma esconder: o agente recuperou o fato certo da memória da empresa, ou escreveu algo plausível a partir do trecho errado? Como o teste se apoia em fatos e nos donos desses fatos, e não em um modelo específico, ele continua dando uma medida útil quando um modelo mais forte substitui o atual.
Principais pontos
- Avalie se o agente recuperou o fato que governa a resposta, e não se a resposta soa bem.
- Escreva cada caso com a fonte e o dono antes de o agente rodar.
- Separe falhas de recuperação de falhas de resposta para saber qual parte corrigir.
- Guarde os casos fora do modelo para que a troca de modelo seja uma mudança medida, e não um palpite.
- Rode os mesmos casos congelados após cada mudança e analise cada erro junto com o dono do fato.
O que a avaliação de recuperação mede na memória da empresa
A memória da empresa é tudo o que um agente pode consultar para responder uma pergunta: políticas, condições de serviço, documentação de produtos, procedimentos operacionais e histórico de clientes. A recuperação é a etapa em que o agente seleciona parte desse material e o coloca diante da resposta. A avaliação de recuperação testa essa etapa diretamente. Para cada pergunta, verifica se o trecho que governa a resposta estava entre o material que o agente de fato recebeu e se a resposta final se apoiou nele.
Isso é diferente de avaliar só a resposta. Uma resposta fluente pode estar errada de um jeito difícil de notar, e uma resposta correta pode estar certa por acaso, tirada de uma nota que coincide com o vocabulário da pergunta. Medir a recuperação em separado mostra onde o sistema quebra: no índice, na forma como os documentos foram divididos em pedaços, na ordenação dos resultados, nas instruções que moldam a resposta ou no próprio material de origem. Cada um desses pontos exige uma correção diferente, e uma edição no prompt só ajuda em um deles.
Como montar o conjunto de casos a partir de fatos com donos
Cada caso precisa de quatro campos: a pergunta como um colaborador ou um cliente a formularia, o fato que deve governar a resposta, o documento e a versão que contêm esse fato e a pessoa que confirmou que o fato ainda está vigente. As equipes costumam pular outros dois campos que importam. O primeiro são os trechos que não podem ser usados, normalmente versões antigas de uma política já substituídas. O segundo é o conjunto de perguntas que a memória deve recusar ou encaminhar para uma pessoa, em vez de responder.
Escreva o conjunto junto com as pessoas que são donas dos processos, e não apenas com o engenheiro que monta o índice. Se a operação escreveu uma regra, a operação é a autoridade sobre o que ela diz. Quando a avaliação espera um fato que o dono não sustentaria, a avaliação está errada, e qualquer agente que passe nela também está errado. Comece pelas perguntas em que uma resposta errada custa mais caro e amplie o conjunto com o tempo. A mecânica de transformar trabalho real em casos rotulados está descrita em como montar um conjunto de avaliação com casos reais.
Um plano passo a passo para a primeira avaliação
Use esta sequência para um único papel antes de qualquer lançamento. Com os donos disponíveis, a primeira rodada costuma exigir um esforço concentrado, e os passos são os mesmos qualquer que seja o tamanho da empresa.
- Defina o papel e as fontes de memória que ele pode ler, com um dono nomeado para cada fonte.
- Reúna as perguntas que a equipe realmente faz a esse papel, a partir de chamados, registros de chat ou entrevistas curtas.
- Escreva cada caso com a pergunta, o fato que governa a resposta, a versão da fonte e o dono que confirmou.
- Acrescente casos negativos: trechos antigos que o agente não pode usar e perguntas que ele deve encaminhar.
- Execute a recuperação apenas contra o índice atual e registre os trechos devolvidos para cada pergunta.
- Pontue cada caso segundo a regra de aprovação que o dono aceitou antes de a rodada começar.
- Revise cada erro manualmente e identifique a causa antes de mudar qualquer coisa.
- Congele o conjunto, guarde-o fora da configuração do agente e rode-o novamente a cada mudança.
Mantenha a primeira rodada pequena o bastante para que uma pessoa consiga ler cada erro. Uma lista grande que ninguém lê esconde o padrão atrás do volume, enquanto uma lista pequena lida toda semana ensina mais à equipe do que uma lista grande que fica arquivada.
Pontue a recuperação separada da resposta final
Para cada caso, registre quatro coisas: se o trecho que governa a resposta apareceu no material recebido pelo agente, se a fonte citada é a versão atual, se a resposta corresponde ao fato desse trecho e se o agente recusou ou encaminhou quando deveria. Mantenha esses resultados separados. Um agente pode recuperar o trecho certo e ainda assim escrever uma resposta errada, e pode escrever uma resposta certa a partir de uma fonte superada. São problemas diferentes, com donos diferentes.
Escreva a regra de aprovação em linguagem simples antes da rodada, por exemplo: o trecho que governa a resposta deve aparecer em todos os casos do grupo de prazo de aviso, e somente o dono dessa política pode dispensar essa exigência. Mudar a regra depois de ver os resultados transforma a avaliação numa descrição do que o sistema já faz. Quando um caso é difícil de julgar por correspondência exata, um avaliador automático pode ajudar, mas ele precisa de checagens próprias contra rótulos humanos, como explicado em juízes com LLM para avaliar agentes de IA.
Quando um caso falha, siga esta ordem de verificação:
- Se o trecho que governa a resposta nunca foi recuperado, verifique o índice, a divisão dos documentos e a consulta que o agente enviou, antes de tocar no prompt.
- Se o trecho foi recuperado, mas ignorado, as instruções de resposta ou a ordem do contexto fornecido são as causas prováveis.
- Se uma versão superada foi recuperada, arquive essa fonte antes de ajustar qualquer outra coisa.
- Se o dono rejeita o fato esperado, corrija a fonte e o caso juntos, e registre a mudança.
Cenário ilustrativo: uma equipe usa um agente que responde perguntas sobre alteração de reserva dentro do prazo de aviso. O documento da nova política está no índice, mas um manual antigo continua ao lado dele. A avaliação mostra que perguntas com a palavra remarcar recuperam o manual, enquanto perguntas do tipo quero mudar meu horário recuperam a política nova. Uma edição no prompt poderia deixar as respostas melhores para uma formulação e esconder a lacuna na outra. O registro de recuperação aponta para a fonte duplicada, que é a correção real.
Mantenha a medição útil após uma troca de modelo
Um modelo mais forte costuma escrever respostas mais fluentes, e isso pode esconder uma lacuna de recuperação. Ele consegue chegar a uma resposta plausível a partir de um contexto parcial, de modo que a pontuação final sobe enquanto a falha de recuperação permanece. Por isso, rode a avaliação em dois modos. As execuções apenas de recuperação não devem mudar quando o modelo muda, porque o modelo não faz parte dessa etapa. As execuções de ponta a ponta podem mudar por bons ou maus motivos, então precisam ser lidas caso a caso, e não como uma média única.
Quando o modelo for substituído, rode os dois modos novamente sobre o conjunto congelado, compare cada caso com o resultado anterior e revise todo caso cujo status mudou. Registre qual versão do modelo, do índice e das fontes produziu cada resultado. Se o índice for reconstruído ou uma fonte for editada, rode a recuperação primeiro, pois é o ponto mais cedo em que a mudança aparece. A forma de pontuar permanece a mesma entre as rodadas, então qualquer movimento nos resultados reflete uma mudança no sistema, e não uma mudança na régua.
A abordagem gerenciada da Be Human trata isso como parte da operação, e não como um teste pontual. Um projeto começa definindo um papel, suas fontes de memória, os donos dessas fontes e os limites de aprovação em torno delas. A avaliação de recuperação é escrita com esses donos antes do lançamento e guardada junto às notas operacionais do agente. Depois do lançamento, avaliações recorrentes repetem os mesmos casos após mudanças de integração ou atualizações de modelo, revisões de permissão verificam quais fontes o agente pode ler, e os erros são registrados onde as pessoas donas dos fatos conseguem ver o que mudou. Para uma visão mais ampla de como isso se encaixa na manutenção de rotina, veja uma rotina mensal para agentes saudáveis.
Defina a regra de aprovação antes da primeira rodada
Antes da primeira rodada, combine por escrito três pontos: quais fatos contam como governantes para o papel, quem tem permissão para alterá-los e quem revisa os erros toda semana. Essas decisões importam mais do que as ferramentas. Equipes que pulam essa etapa tendem a ajustar o agente até a avaliação passar, e nesse ponto ela já não diz a ninguém se a memória da empresa está correta. Envolva os donos desde o início, e a avaliação manterá seu valor conforme a empresa, seus documentos e seus modelos mudarem. Se ainda não sabe qual papel deve ser o primeiro, faça o diagnóstico gratuito da Be Human para encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Quantos casos preciso antes do lançamento? Comece pelas perguntas que carregam mais risco para um único papel, em vez de mirar um total fixo. Um conjunto pequeno o bastante para uma pessoa ler cada erro é mais útil do que um conjunto grande que ninguém revisa. Acrescente casos após cada incidente real ou correção feita pela equipe, para que o conjunto cresça junto com o trabalho de verdade.
A avaliação de recuperação substitui a checagem da qualidade da resposta? Não, ela testa outra etapa. A avaliação de recuperação mostra se o fato que governa chegou ao agente, enquanto a checagem da resposta mostra se o texto é fiel a esse trecho e se o tom e as permissões estão certos. Você precisa das duas, e cada uma deve ter sua própria regra de aprovação.
Posso usar um avaliador automático para corrigir os resultados? Pode, sobretudo nos casos em que a correspondência exata falha, mas o avaliador precisa ser checado antes contra rótulos escritos por pessoas. Sem essa checagem, você estará medindo a opinião do avaliador, e não o fato da empresa. Registre os erros do avaliador no mesmo histórico de revisão em que registra os erros do agente.
O que fazer quando o modelo mudar? Rode o conjunto congelado nos modos apenas de recuperação e de ponta a ponta, compare cada caso com o resultado anterior e revise todo caso cujo status tenha mudado. Mantenha a regra de aprovação inalterada para que a comparação continue honesta. Se um caso virar, verifique o índice e as versões das fontes antes de creditar ou culpar o novo modelo.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


