Por que a IA dá respostas diferentes para a mesma pergunta

Por que a IA dá respostas diferentes para a mesma pergunta? Porque os modelos de linguagem geram texto escolhendo entre probabilidades e porque, do ponto de vista do modelo, a pergunta raramente é idêntica. A redação, o histórico da conversa, os documentos recuperados, os resultados de ferramentas e as atualizações do modelo mudam o que ele enxerga. Não dá para eliminar toda a variação, mas dá para reduzi-la: fixe as entradas, limite o formato das saídas e teste os resultados.

Principais pontos

• A variação vem de três lugares: a amostragem do modelo, o contexto recebido a cada execução e as instruções e ferramentas ao redor dele.
• A deriva de contexto costuma explicar mais a inconsistência no negócio do que o acaso, e é a parte que você controla mais diretamente.
• Defina com antecedência o que pode variar em uma resposta (tom, redação) e o que não pode (política, valores, ações).
• A consistência se constrói com fontes aprovadas, saídas estruturadas, um conjunto pequeno de perguntas de teste fixas e registros que mostrem o que o agente viu.
• A consistência se desgasta com o tempo. Por isso precisa de verificação recorrente, principalmente depois de mudanças no modelo, nas instruções ou na base de conhecimento.

O que muda de verdade entre duas execuções da mesma pergunta?

Quando uma pessoa faz a mesma pergunta duas vezes, parece uma pergunta só. O agente, em geral, recebe dois pacotes diferentes. Cada pacote traz a pergunta, mas também as instruções, os fatos memorizados, a conversa recente, trechos recuperados de documentos e resultados de ferramentas. Se qualquer peça for diferente, a resposta pode mudar, mesmo que o modelo fosse perfeitamente determinístico.

Ajuda pensar em três camadas e perguntar, para cada uma: o que pode mudar de uma execução para outra?

• Camada do modelo: como as próximas palavras são escolhidas e qual versão do modelo está respondendo.
• Camada de contexto: quais documentos, memória, histórico e dados em tempo real foram colocados diante do modelo.
• Camada de instruções: as regras, a descrição de papel e o formato de saída que o agente recebeu.

A maioria das equipes olha primeiro para a camada do modelo, porque ela parece a origem do mistério. Na prática, as outras duas camadas explicam mais das inconsistências que o dono do negócio percebe, como duas regras de troca diferentes ou dois prazos de entrega diferentes para o mesmo produto.

Quanta variação já vem embutida no próprio modelo?

Um modelo de linguagem escreve um pequeno trecho de texto por vez. A cada passo, ele tem um conjunto de continuações plausíveis e escolhe uma. Quando o fornecedor expõe configurações como a temperatura, elas controlam o quanto essa escolha é arriscada. Um valor mais alto permite redações mais variadas. Um valor mais baixo faz a opção mais provável vencer com mais frequência.

Há dois cuidados. Primeiro, um valor baixo reduz a variação, mas não garante uma saída idêntica. Diferenças no processamento das requisições, pequenas mudanças do lado do fornecedor e o tamanho da resposta ainda podem gerar divergência. Segundo, alguns modelos fixam essas configurações ou não as expõem, então um plano que dependa de um único ajuste é frágil.

Uma posição prática: trate as configurações de amostragem como ferramenta de ajuste para o tipo certo de tarefa. Em classificação, extração e roteamento, você quer a menor variação possível. Na redação de uma resposta cordial ou no levantamento de alternativas, alguma variação é útil. Não tente corrigir uma inconsistência de política com uma configuração. Se o agente diz duas coisas diferentes sobre uma regra, a causa quase sempre está antes, no que ele recebeu.

Por que o contexto muda a resposta mais do que o acaso?

Contexto é tudo o que o agente consegue ver no momento em que responde. Os textos da Anthropic sobre engenharia de contexto para agentes defendem que a qualidade do comportamento de um agente depende muito de como essa informação é selecionada, e não apenas do prompt. Veja também nosso guia de engenharia de contexto para agentes de negócio. Alguns problemas comuns de contexto criam variação:

• Diferenças na recuperação. Quando o agente busca nos seus documentos, pequenas mudanças na redação podem trazer trechos diferentes. Se dois documentos se contradizem, a resposta depende de qual deles foi recuperado. É a ideia da geração aumentada por recuperação (RAG), descrita na documentação de vários provedores de nuvem.
• Histórico da conversa. Uma pergunta feita depois de uma troca longa não é a mesma entrada que a mesma pergunta feita do zero.
• Memória. Anotações armazenadas sobre um cliente ou projeto podem ter sido incluídas, corrigidas ou expirado entre uma execução e outra.
• Resultados de ferramentas em tempo real. Estoque, agenda e status de chamados mudam, e a resposta correta muda junto.
• Excesso de instruções. Arquivos longos, com regras sobrepostas ou contraditórias, obrigam o modelo a escolher, e ele pode escolher de forma diferente a cada vez.

Há ainda o efeito de preencher lacunas. Quando o agente não tem uma fonte aprovada para a pergunta, ele ainda produz algo plausível, e esse algo plausível varia. Isso tem relação direta com alucinação, tema do nosso artigo sobre como reduzir alucinações de IA em processos de negócio. Dar ao agente uma fonte clara, e a permissão explícita de dizer que não sabe, elimina boa parte dessa variação.

Qual variação é aceitável e qual é defeito?

Nem toda variação é problema. Exigir frases idênticas todas as vezes raramente compensa o esforço e pode deixar as respostas com ar robótico. A pergunta útil é se duas respostas diferentes poderiam levar um cliente ou colega a agir de forma diferente.

Use este guia para classificar seus próprios fluxos.

• Variação aceitável: estrutura das frases, escolha de palavras, saudação, ordem da explicação e tom dentro da voz da sua marca.
• Defeito, precisa ser estável: valores, datas, declarações de política, decisões de elegibilidade, nomes de produtos ou planos e qualquer coisa que o cliente possa tomar como compromisso.
• Defeito, precisa ser estável: qual ação o agente executa, qual ferramenta aciona, qual categoria atribui e quando encaminha para uma pessoa.
• Caso para revisão: conselhos ou recomendações. Permita redações diferentes, mas exija o mesmo raciocínio de base e a mesma fonte citada.

Registre o resultado para cada fluxo. Ele vira a definição do que um teste de consistência deve verificar e evita que a equipe perca tempo com diferenças inofensivas.

Um plano passo a passo para respostas mais estáveis

A sequência abaixo funciona para a maioria dos agentes de negócio. Ela vai dos controles mais baratos e eficazes aos mais trabalhosos.

• Passo um: nomeie os fatos estáveis. Liste as respostas que não podem variar, como políticas, horários e regras de elegibilidade (preços tratados em outro sistema ficam fora). Dê a cada uma um único responsável.
• Passo dois: crie uma fonte aprovada por fato. Remova ou arquive duplicatas desatualizadas. Dois documentos que se contradizem garantem duas respostas.
• Passo três: direcione o agente a essas fontes e exija que as use. Peça que ele cite a fonte utilizada e diga que não consegue confirmar quando nenhuma fonte se aplica.
• Passo quatro: simplifique as instruções. Remova regras sobrepostas, coloque primeiro as restrições mais importantes e mantenha cada regra testável. O conjunto de testes de referência ajuda a verificar se as instruções continuam funcionando depois de cada ajuste.
• Passo cinco: limite a saída. Para decisões, categorias e ações, use um formato fixo com valores permitidos, de modo que o agente escolha de uma lista em vez de redigir texto livre.
• Passo seis: reduza a variação onde ela não agrega nada. Em tarefas de extração e roteamento, use as configurações mais conservadoras que o fornecedor permitir, lembrando que elas não garantem igualdade.
• Passo sete: monte um conjunto pequeno de testes fixos. Reúna perguntas reais, inclusive as incômodas, com os fatos estáveis esperados. Execute cada uma várias vezes e compare as partes estáveis. Veja como montar um conjunto de testes de referência para o método.
• Passo oito: registre o que o agente viu. Quando duas respostas divergem, você precisa dos trechos recuperados, das entradas de memória e dos resultados de ferramentas por trás de cada uma. O guia sobre o que registrar na observabilidade de agentes de IA explica o que vale guardar.
• Passo nove: encaminhe a incerteza para uma pessoa. Se as fontes entram em conflito ou nenhuma se aplica, o agente deve passar a decisão adiante com as evidências, em vez de chutar.

A ordem importa. Muitas equipes pulam para o passo seis ou reescrevem a instrução principal, quando os passos um e dois teriam resolvido o problema. Como referência geral sobre testes, vale consultar o material de avaliações (evals) publicado pela OpenAI e pela Anthropic, e o nosso texto sobre como avaliar agentes de IA em tarefas de negócio.

Um cenário ilustrativo: duas respostas sobre o prazo de troca

Este é um cenário ilustrativo, não um caso real.

Uma distribuidora tem um agente de atendimento que responde dúvidas sobre trocas e devoluções. A líder de atendimento percebe que um cliente ouviu que o prazo de troca começa na data do pedido, e outro ouviu que começa na entrega. Os dois fizeram quase a mesma pergunta.

A líder supõe, a princípio, que o modelo não é confiável. Os registros contam outra história. A base de conhecimento tem dois documentos: uma página antiga de termos e uma política de trocas mais recente. Dependendo da redação da pergunta, a recuperação trazia um ou outro. O modelo então resumia, com precisão, o que recebia.

A correção tem pouco a ver com o modelo. A equipe arquiva a página antiga, nomeia um responsável pela política de trocas e instrui o agente a citar a política que usou. Inclui a pergunta no conjunto de testes fixos, com o início do prazo de troca como fato estável esperado. Acrescenta ainda uma regra: se as fontes recuperadas divergirem, o agente passa a pergunta a uma pessoa, com os dois trechos anexados. Depois disso, execuções repetidas variam na redação, mas não na regra.

Como manter a consistência ao longo do tempo?

Consistência não é um resultado de uma vez só. Modelos são atualizados, documentos mudam, ferramentas evoluem e as instruções crescem. Qualquer um desses fatores pode trazer de volta a variação que você havia removido. Uma atualização de modelo, em especial, pode mudar tom, formato e decisões de fronteira sem que nada tenha mudado do seu lado. A abordagem descrita em o que fazer quando o modelo de IA muda permite adotar, ajustar ou reverter com base em evidências, e não em impressões.

Uma rotina leve basta para a maioria das equipes: executar de novo o conjunto de testes fixos após qualquer mudança no modelo, nas instruções, no conhecimento ou nas ferramentas; revisar as perguntas em que o agente escalou ou se contradisse; e aposentar fontes que ninguém mantém.

A Be Human trata isso como parte de um acompanhamento gerenciado. O primeiro projeto define um papel útil, as fontes aprovadas e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. A operação gerenciada pode incluir monitoramento, avaliações recorrentes, manutenção de integrações e melhorias controladas, de modo que mudanças no modelo ou no conhecimento sejam verificadas com as mesmas perguntas de teste antes de chegar aos seus clientes. Sua equipe continua decidindo o que o agente pode dizer e fazer.

Perguntas frequentes

Dá para fazer a IA dar exatamente a mesma resposta todas as vezes? Não de forma confiável, e na maior parte do trabalho empresarial isso nem é necessário. Você consegue tornar consistentes as partes estáveis, como fatos, decisões e ações, usando fontes aprovadas, formatos de saída fixos e testes. A redação ainda pode variar, e isso geralmente é inofensivo.

Resposta diferente é o mesmo que resposta errada? Não. Duas respostas podem ter redações distintas e estar ambas corretas. O problema aparece quando a substância muda, por exemplo uma regra, um valor ou um próximo passo diferente. Esses casos apontam para um problema de fonte, contexto ou instrução que você pode rastrear e corrigir.

Devo colocar a temperatura no valor mais baixo para obter respostas consistentes? Pode ajudar em tarefas como classificação ou extração de dados, mas não resolve sozinho. A saída ainda pode variar, e alguns modelos não expõem essa configuração. Corrija primeiro as fontes e o formato de saída e use configurações conservadoras onde a variação não agrega valor.

Com que frequência devo retestar um agente para checar a consistência? Retestar após qualquer mudança no modelo, nas instruções, na base de conhecimento ou nas ferramentas, e também em intervalos regulares, mesmo quando nada parece ter mudado. Um conjunto curto e fixo de perguntas reais é suficiente para pegar a maior parte da deriva. Revise os registros sempre que um cliente ou colega relatar duas respostas diferentes.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.