Como testar a qualidade da busca em uma base de IA

Teste a qualidade da busca verificando se o sistema encontra a evidência correta para perguntas representativas, não apenas se a resposta final parece certa. Uma resposta pode acertar por acaso e citar uma fonte irrelevante; um modelo capaz pode falhar quando o trecho necessário nunca chega até ele.

Monte um conjunto de perguntas e fontes

Escolha perguntas de negócio com respostas oficiais conhecidas. Para cada uma, registre documento, seção e condições relevantes. Inclua perguntas com redação diferente da fonte, porque pessoas raramente repetem exatamente o título de um documento.

Acrescente perguntas sem resposta na coleção. O sistema deve distinguir ausência de evidência de uma resposta negativa.

Inspecione a busca separadamente

• O documento correto apareceu entre os resultados?
• O trecho relevante veio com contexto suficiente?
• Versões atuais tiveram preferência sobre material arquivado?
• As restrições de acesso foram aplicadas para aquele solicitante?
• A resposta citou evidência que realmente sustenta a afirmação?

Uma regra sem sua exceção pode enganar mesmo quando o título do documento está correto. Revise o texto que chegou ao modelo, não apenas o arquivo retornado.

Use uma distração deliberada

Crie um documento sintético com vocabulário parecido e escopo diferente. Por exemplo, uma regra de integração de parceiros não deve responder a uma pergunta sobre integração de funcionários. Se o sistema escolhe apenas pela semelhança das palavras, melhore filtros de metadados, estrutura das fontes ou lógica de busca.

Mantenha o resultado esperado independente da resposta gerada. Deixar o mesmo sistema decidir qual evidência está correta pode esconder a falha que você tenta medir.

Acompanhe os erros pela causa

Separe fonte ausente, ordenação ruim, trecho incompleto, versão antiga e síntese sem suporte. Cada categoria sugere uma correção diferente. Reescrever o prompt não recupera um documento que nunca foi indexado. Após uma mudança, repita o conjunto e acrescente exemplos do uso comum. Assim a manutenção da busca vira uma prática repetível, não uma demonstração ocasional.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.