Ir para conteúdo
be-human.ai
← Voltar ao blog

Contexto e memória

Erros de busca: por que um agente de IA cita a política errada

Rastreie a resposta errada do agente até falha de busca, documento desatualizado ou fonte duplicada, e corrija cada causa com uma verificação repetível.

Capa tipográfica do Be Human com o título: Erros de busca: por que um agente de IA cita a política errada
Ilustração conceitual criada com IA · Be Human

Uma resposta errada de um agente de IA costuma ser, antes de tudo, um problema de busca, e só depois um problema de raciocínio. O agente só consegue raciocinar sobre os trechos que chegaram ao seu contexto. Então, quando ele cita a política errada, a primeira pergunta é quais trechos ele recebeu e se o trecho correto estava entre eles. A maioria das respostas erradas se explica por uma de três causas: falha de busca, documento desatualizado ou fonte duplicada. Cada causa tem uma correção diferente.

Principais pontos

  • Uma resposta errada é evidência. Registre a pergunta, os trechos recuperados e a fonte citada antes de mudar qualquer coisa.
  • Falha de busca significa que o texto correto existia, mas nunca chegou ao agente. Verifique primeiro a divisão em trechos, os metadados e o vocabulário.
  • Documento desatualizado significa que o índice ainda guarda uma versão antiga. Remova-o do índice, e não apenas da pasta compartilhada.
  • Fonte duplicada significa que duas ou mais cópias conflitantes disputam a mesma resposta. Mantenha um registro único com dono e aposente as demais.
  • Toda correção precisa de uma pergunta de teste que teria pegado o erro, para que o mesmo problema não volte em silêncio.

Por que um agente capaz ainda cita a política errada

Modelos de linguagem leem bem o que recebem e não sabem o que não receberam. Quando chega uma pergunta sobre política, um agente típico busca na base de conhecimento da empresa, pega um pequeno conjunto de trechos e escreve a resposta a partir deles. Se a cláusula correta ficou de fora desse conjunto, a resposta pode soar fluente e bem organizada. Isso torna o erro mais difícil de notar do que uma falha óbvia. Muitas vezes ele passa despercebido na conversa e só aparece quando alguém compara o texto citado com a política vigente.

Por isso, culpar o modelo raramente é o primeiro passo certo. A arquitetura de referência da Google Cloud para geração aumentada por recuperação trata a busca e a geração como etapas separadas da aplicação. Essa separação ajuda na depuração, porque cada etapa pode ser inspecionada isoladamente. Se os trechos recuperados estão errados, trocar o modelo não conserta a resposta e pode esconder a causa real por algum tempo.

Passo 1: registrar a resposta errada com suas evidências

Antes de alguém editar um documento ou um prompt, reúna as evidências da resposta que deu errado. Sem elas, as equipes costumam corrigir o sintoma mais visível e deixar a causa no lugar. Para cada erro relatado, registre:

  • A pergunta exata como foi feita, o papel ou canal de onde veio e o horário.
  • A resposta dada pelo agente e a fonte citada, incluindo qualquer versão ou data exibida na citação.
  • Os trechos recuperados para aquela pergunta, na ordem em que voltaram, com seus identificadores de fonte.
  • A resposta correta, confirmada pelo dono da política, e o documento em que ela está.
  • Se alguma nota de memória ou contexto de conversa anterior foi carregada junto com os trechos.

Isso é prática comum de observabilidade aplicada a um agente. A introdução à observabilidade da OpenTelemetry descreve traces e logs como forma de acompanhar o que um sistema fez em cada etapa, e é exatamente o que você precisa para reconstruir uma resposta depois do fato.

Em qual das três causas o erro se encaixa?

Use as evidências para classificar o erro em uma categoria. As categorias são simples, e cada uma aponta para um responsável e uma correção diferentes.

  • Falha de busca: o trecho correto existe na base de conhecimento, mas não está entre os trechos recuperados para a pergunta. O agente respondeu com o que tinha.
  • Documento desatualizado: o trecho citado foi o recuperado, mas a empresa já mudou a regra e o índice ainda guarda o texto antigo.
  • Fonte duplicada: dois ou mais trechos recuperados tratam da mesma regra com redações ou valores diferentes, e o agente escolheu o que ficou mais bem ranqueado.
  • Lacuna de conhecimento: nenhum trecho da base cobre a pergunta. Registre-a como pergunta em aberto, em vez de tratá-la como erro de busca.

Para decidir entre elas, faça você mesmo a mesma pergunta na base de conhecimento. Se o trecho correto aparece na sua busca, mas não no conjunto recuperado pelo agente, é falha de busca. Se aparecem várias versões da regra, o problema é de desatualização ou duplicidade. Se nada relevante aparece, é lacuna, e a pergunta em aberto deve ir para um registro que um responsável nomeado revisa. O guia sobre como registrar lacunas de conhecimento explica como manter essas entradas úteis.

Como corrigir uma falha de busca

Uma falha de busca costuma ser problema de empacotamento ou de redação. O trecho está no índice, mas pode estar mal dividido, mal rotulado ou escrito de um jeito diferente de como as pessoas perguntam. Siga estas verificações na ordem e refaça a pergunta após cada mudança, inspecionando o conjunto recuperado, e não apenas a resposta final.

  • Verifique se uma cláusula da política foi partida entre dois trechos. Um limite em um trecho e a exceção no seguinte podem ser recuperados separadamente, e o agente enxerga só metade da regra. Mantenha cláusulas inteiras juntas sempre que a estrutura do documento permitir.
  • Verifique os metadados: título, departamento, tipo de documento e data de vigência. Bons metadados permitem que a busca restrinja os candidatos antes do ranqueamento, para que material não relacionado não concorra com o certo.
  • Compare a pergunta da equipe com o vocabulário do documento. Se as pessoas falam em “alçada de aprovação” e a política diz “limite de autorização”, inclua essa correspondência no glossário que o agente lê.
  • Confirme que o trecho corrigido agora aparece entre os primeiros resultados para a pergunta original e para duas ou três paráfrases dela.

A questão do tamanho dos trechos é tratada com mais detalhe no guia de tamanho de chunk para bases de conhecimento. O objetivo não é o menor trecho possível. O objetivo é um trecho que carregue a regra completa.

Como corrigir documentos desatualizados e fontes duplicadas

Os erros de desatualização e de duplicidade têm a mesma origem. O índice guarda mais de uma resposta para a mesma pergunta, e nada registra qual é a atual. Corrigi-los exige um dono nomeado, uma versão e uma etapa de remoção explícita.

  • Nomeie o dono de cada documento de política: a pessoa que aprova mudanças e pode confirmar o que está vigente.
  • Remova as versões substituídas do índice de busca. Mover um arquivo antigo para uma pasta de arquivo não impede o agente de recuperá-lo, se a sincronização ainda ler esse local.
  • Dê a cada documento ativo um rótulo de versão e uma data de vigência, e faça o agente citar os dois, para que a equipe confira o mesmo texto.
  • Nos casos de duplicidade, escolha um registro com dono como fonte de cada regra, aposente as cópias e registre a aposentadoria em um log de alterações.
  • Reindexe após a mudança e confirme que a redação antiga não aparece mais em nenhum trecho recuperado para a pergunta original.

Dois guias relacionados aprofundam esses modos de falha: como evitar que contexto antigo engane seu agente de IA e como manter um fato em um único registro com dono.

Cenário ilustrativo: o limite antigo que voltou

O cenário a seguir é ilustrativo e não descreve uma empresa real. Uma equipe financeira publica uma política revisada de despesas de viagem na pasta compartilhada. A sincronização que alimenta a base de conhecimento do agente só adiciona arquivos, então a versão anterior continua no índice. Um colaborador pergunta ao agente qual aprovação vale para a reserva de um hotel. O agente recupera dois trechos, um de cada versão, ranqueia o mais antigo acima e responde com segurança, citando o documento antigo.

O trace mostra os dois trechos no conjunto recuperado e um título com a data de vigência anterior. A equipe remove o arquivo substituído do índice, adiciona a data de vigência como metadado e escreve uma pergunta de teste com a resposta esperada e a versão de fonte esperada. O teste falha antes da correção e passa depois dela. Em seguida, a equipe inclui o mesmo teste na rotina programada, para que uma sincronização futura que reintroduza o arquivo antigo seja detectada antes que um colaborador confie nele.

Como impedir que a correção falhe em silêncio

Uma correção isolada raramente se sustenta sozinha. Políticas mudam, arquivos novos chegam e tarefas de sincronização podem trazer conteúdo antigo de volta. Monte um pequeno conjunto de perguntas reais da equipe, cada uma com a resposta esperada e a versão de fonte esperada, e execute esse conjunto após cada mudança no índice e também em intervalos regulares. Guias de avaliação, como a documentação de evals da OpenAI, descrevem o mesmo padrão: casos fixos, saídas avaliadas e execuções repetidas, para que uma mudança seja medida em vez de presumida. Revise qualquer trace que falhe dentro de um prazo definido e registre a categoria da causa, para que os padrões fiquem visíveis ao longo dos meses.

A Be Human trata isso como parte da operação gerenciada, e não como um conserto único. Em uma primeira etapa, o papel que o agente desempenha, os documentos que ele pode recuperar e o limite de aprovação para mudanças no índice são definidos por escrito. Os traces de busca são guardados para que uma resposta errada possa ser reconstruída, o conjunto de testes é mantido junto com os donos das políticas, e as alterações nas fontes passam por uma etapa revisada. Quando um erro aparece, ele é tratado como um incidente definido, com dono, causa e teste fechado, para que a correção não dependa de uma pessoa lembrar de verificar. Se você não tem certeza de quais perguntas de política um agente deve responder primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Como saber se a falha está no agente ou na base de conhecimento? Compare os trechos recuperados com a política correta antes de mexer no modelo ou no prompt. Se o texto certo nunca foi recuperado, o problema está na busca, nos documentos ou na redação. Se o texto recuperado estava correto e a resposta ainda assim o interpretou mal, o trace também vai mostrar isso, e esse é um problema separado a ser revisado.

Posso corrigir erros de busca trocando para um modelo melhor? Um modelo diferente raramente resolve uma fonte ausente ou desatualizada, e um modelo mais forte pode tornar uma resposta errada ainda mais convincente. Corrija primeiro as evidências e depois avalie se o modelo ainda interpreta mal trechos corretos. Em algumas configurações, trocar o modelo também troca os embeddings, o que significa que o índice precisa ser reconstruído antes de os resultados serem comparáveis.

Com que frequência devo revisar a base de conhecimento em busca de conteúdo desatualizado ou duplicado? Revise após cada mudança de política e execute uma verificação programada em um intervalo compatível com a frequência real das mudanças. Atribua um dono a cada documento, para que alguém seja responsável por confirmar que ele está atual. A rotina importa mais do que o intervalo exato escolhido.

Erro de busca é o mesmo que alucinação? Não exatamente. Uma alucinação é uma resposta sem nenhuma base em fonte alguma. Um erro de busca tem base em uma fonte real que, por acaso, é a errada, e por isso a citação pode parecer confiável. Citar a versão exata do documento permite que a equipe confira a afirmação em segundos e identifique a divergência.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →