Reindexar memória de agentes de IA após trocar o modelo de embeddings
Teste, reconstrua e compare a busca após trocar o modelo de embeddings para que memórias antigas sigam corretas. Inclui perguntas de teste e plano de retorno.

Quando um modelo de embeddings muda, todos os vetores armazenados foram gerados pelo modelo antigo e já não compartilham o mesmo espaço de coordenadas dos vetores do novo. Por isso, uma consulta pode devolver memórias com aparência confiável e, ainda assim, erradas. Para reindexar com segurança, congele um conjunto de perguntas reais com fontes corretas conhecidas, reprocesse o corpus inteiro em uma coleção separada, compare os resultados antigos e novos com essas fontes e só troque o tráfego depois que a comparação for aprovada.
Principais pontos
- Vetores gerados por modelos de embeddings diferentes não podem ser comparados, então o índice antigo não serve como alternativa segura para o novo modelo de consulta.
- Monte um conjunto de perguntas de referência com pedidos reais antes de tocar no índice, anotando ao lado de cada pergunta a fonte correta e a versão.
- Reconstrua em uma coleção paralela, mantenha a antiga no ar e registre o nome do modelo e a dimensão do vetor em cada registro.
- Compare a recuperação pela posição e pela fonte correta, não pelas notas brutas de similaridade, e revise à mão os resultados desatualizados ou misturados.
- Faça a virada apenas com critérios escritos e mantenha o índice anterior disponível por tempo suficiente para voltar atrás.
Por que a troca de modelo quebra memórias antigas
Um modelo de embeddings transforma texto em uma lista de números. Textos com significados parecidos ficam próximos no espaço que aquele modelo define. Um modelo diferente define outro espaço, muitas vezes com outras dimensões e outro conceito de proximidade. Se você gera embeddings das perguntas novas com o modelo novo e pesquisa uma coleção construída pelo modelo antigo, as distâncias deixam de significar o que a busca supõe. O sistema continua devolvendo resultados, e por isso a falha passa despercebida. O agente responde com fluidez, usando um trecho que talvez não seja o correto.
A falha não é uniforme. Consultas curtas e exatas costumam sobreviver, porque compartilham muitas palavras com as fontes. Paráfrases, perguntas sobre exceções e pedidos que citam um produto pelo nome antigo são os que mais se perdem. Uma demonstração com três perguntas fáceis parece funcionar bem, por isso a reindexação precisa de um conjunto de testes antes de precisar de um cronograma.
As memórias em si normalmente não estão erradas. Os fatos podem continuar corretos, e o que mudou foi a forma de localizá-los. Mantenha os registros de origem, a divisão em trechos e os metadados como estão, e trate o índice de embeddings como uma camada derivada que pode ser reconstruída a partir deles.
Um plano de reindexação para executar em ordem
- Passo 1: defina o responsável pelo índice de memória e o responsável pelo conjunto de testes, e registre os dois nomes no registro da mudança.
- Passo 2: exporte o inventário dos documentos de origem com as versões atuais, para que a reconstrução parta dos registros e não dos vetores antigos.
- Passo 3: escreva o conjunto de perguntas de referência e marque a fonte esperada para cada uma.
- Passo 4: execute o índice antigo contra o conjunto de referência e salve os resultados como linha de base.
- Passo 5: gere novamente os embeddings do corpus com o novo modelo em uma coleção paralela, com os limites dos trechos tirados dos documentos de origem.
- Passo 6: rode as mesmas perguntas na nova coleção e salve esses resultados ao lado da linha de base.
- Passo 7: compare as duas execuções com a lista de verificação abaixo e registre cada regressão com a causa provável.
- Passo 8: corrija cada causa (divisão em trechos, filtro de metadados, formatação da consulta) e rode novamente as perguntas afetadas.
- Passo 9: aplique os critérios de virada, troque o tráfego em uma janela controlada e mantenha a coleção antiga disponível para voltar atrás.
Monte um conjunto de perguntas de referência antes de mexer no índice
Um conjunto de referência é uma lista curta de perguntas reais, cada uma com a fonte da resposta anotada. Tire as perguntas de chamados, registros de conversas e das dúvidas que a equipe mais repete. Inclua os casos difíceis: uma pergunta escrita com jargão interno, uma pergunta sobre exceção a uma regra, uma pergunta que usa um nome antigo de produto e pelo menos uma pergunta que não deveria ter resposta porque nenhum documento a cobre. Esse último tipo importa, porque um modelo novo pode produzir uma correspondência confiante onde não existe resposta.
Mantenha o conjunto pequeno o bastante para que um revisor o leia em uma única sentada, e amplo o bastante para cobrir cada família de documentos que o agente usa. Guarde-o fora do banco vetorial, em um arquivo sob controle do responsável pela memória, para que o teste não dependa do próprio índice que está sendo testado. O método é o mesmo usado para testar a qualidade da busca em uma base de conhecimento de IA, aplicado antes e depois da troca do modelo.
Reconstrua em uma coleção paralela, nunca no lugar
Grave o novo índice em uma coleção nova, com nome próprio. Registre o identificador do modelo de embeddings, a dimensão do vetor, a versão da divisão em trechos e a versão do documento de origem em cada registro. Esses campos permitem descobrir depois qual modelo gerou determinado vetor e tornam visíveis as falhas parciais. Os trabalhos de reconstrução devem ser idempotentes, de modo que reexecutar o trabalho para um documento substitua os registros dele em vez de duplicá-los.
Os limites dos trechos devem vir dos documentos de origem, não do índice antigo. Se uma política foi mal dividida na primeira vez, a reindexação é o momento de corrigir isso. O guia sobre tamanho de chunk para políticas e procedimentos explica por que manter as seções inteiras costuma importar mais do que reproduzir uma configuração antiga.
O antigo índice é o caminho de volta, por isso não pode ser alterado enquanto o novo é construído.
Compare resultados antigos e novos lado a lado
Compare pelo resultado, não pela nota bruta. Valores de similaridade gerados por dois modelos diferentes não estão na mesma escala, então um número maior na nova execução não significa uma correspondência melhor. Compare em que posição a fonte esperada aparece no ranking, se alguma versão substituída aparece e se o primeiro resultado pertence ao cliente, produto ou departamento certo.
- A fonte esperada aparece entre os primeiros resultados de cada pergunta, nas duas execuções?
- A fonte esperada caiu no ranking, e ainda chega ao trecho que o agente usa na resposta?
- Alguma versão antiga do documento agora supera a versão atual?
- Algum resultado de outro cliente, linha de produto ou departamento aparece onde não deveria?
- Nas perguntas sem fonte correta, a nova execução devolve mesmo assim uma correspondência confiante?
- Alguma pergunta que antes tinha resposta agora volta vazia?
Cenário ilustrativo: um agente de suporte responde perguntas sobre o prazo de garantia. Na execução antiga, a política de garantia vigente aparece em primeiro lugar em todas as perguntas sobre garantia. Depois da reindexação, uma versão anterior da política passa a aparecer em primeiro lugar nas perguntas que usam um nome antigo de produto, porque o novo modelo aproxima esse termo do texto antigo. A comparação detecta o problema porque a versão esperada está escrita no conjunto de testes. A solução não é trocar de modelo de novo. É aplicar um filtro de versão na etapa de recuperação e marcar os documentos substituídos com um metadado próprio. Leia cada regressão à mão, já que uma única pergunta reprovada costuma apontar para um trecho mal dividido ou para um apelido ausente, e não para o modelo.
Defina a virada e mantenha um caminho de volta
A decisão de virada deve ser escrita antes de a comparação começar, para que o resultado não seja ajustado até ficar conveniente.
- Troque quando o conjunto de referência atender aos critérios combinados, nenhuma regressão atingir um escopo restrito e nenhuma versão substituída superar a atual.
- Segure a virada quando qualquer pergunta envolvendo valores, termos jurídicos ou dados pessoais devolver uma fonte errada, mesmo uma única vez.
- Segure a virada quando uma regressão não tiver causa conhecida, porque uma mudança sem explicação tende a voltar na próxima atualização do modelo.
- Estenda o período em paralelo quando a equipe relatar respostas que o conjunto de testes não previu.
Mantenha a coleção antiga e sua configuração até que a nova tenha rodado em produção por tempo suficiente para que o responsável revise perguntas reais. Depois, arquive-a sob as mesmas regras de retenção dos demais backups de memória. Restaurações devem ser testadas, e não presumidas. O guia sobre o que copiar da memória do agente e com que frequência testar restaurações mostra o que deve entrar nesse backup.
Como uma operação gerenciada mantém o índice confiável
Na Be Human, a operação gerenciada trata o índice de embeddings como um componente da memória do agente, e não como uma importação feita uma única vez. O conjunto de perguntas de referência fica com o responsável pela memória, avaliações recorrentes o executam novamente após atualizações do modelo e mudanças de conteúdo, e revisões de permissão confirmam que cada função continua acessando apenas as coleções que deveria. Quando surge uma regressão, a resposta a incidentes registra a causa e a correção antes que alguém altere o índice de produção. O trabalho permanece dentro dos limites de aprovação definidos pela empresa, de modo que a troca de modelo vira uma mudança revisada, e não uma mudança silenciosa.
Mantenha o índice honesto depois da virada
Depois da troca, o risco deixa de estar no modelo e passa a estar no conteúdo. Chegam documentos novos, outros são substituídos e a equipe corrige respostas que o agente deu errado. Revise o conjunto de referência sempre que o corpus mudar de forma relevante, e acrescente cada pergunta que a equipe ou clientes trouxeram em produção. Fique atento a resultados vazios e a respostas que citam uma fonte que já não está em uso. Trate cada nova falha como um caso de teste novo, para que a próxima mudança seja verificada contra ele. Se você ainda não sabe qual tarefa do agente merece esse tipo de teste cuidadoso primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Posso manter os vetores antigos e gerar embeddings apenas dos documentos novos? Não com segurança. As perguntas novas seriam convertidas pelo modelo novo, enquanto os registros antigos vieram do anterior, e as distâncias entre eles não significam o que a busca supõe. Gerar novamente tudo em uma coleção paralela é o caminho mais limpo, e o conjunto de referência mostra se o resultado é confiável.
Quantas perguntas de teste eu preciso? Não há um número fixo. O conjunto deve cobrir cada família de documentos que o agente usa e cada função que faz perguntas, incluindo exceções e perguntas sem resposta correta. Um conjunto que um revisor consegue ler em uma sentada é mais útil do que um conjunto grande que ninguém mantém.
Devo comparar as notas de similaridade do novo modelo com as antigas? Não. Os valores de similaridade dependem do modelo que os produziu, então uma nota de um modelo não pode ser lida ao lado de uma nota de outro. Compare as posições no ranking, se a fonte esperada aparece e se documentos substituídos ou fora do escopo surgem nos resultados.
Quando posso apagar o índice antigo? Somente depois que o novo atender aos critérios combinados, tiver rodado em produção por um período aceito pelo responsável e um retorno tiver sido testado. Guarde também os registros de origem e o processo de reconstrução, pois são eles que permitem tratar a próxima troca de modelo do mesmo jeito.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


