Como reduzir alucinações de IA em processos de negócio

Para reduzir alucinações de IA em processos de negócio, pare de pedir que o modelo lembre e passe a exigir que ele consulte, cite e recuse. Baseie cada resposta em uma fonte aprovada, faça o sistema mostrar de onde veio cada afirmação e dê ao agente permissão escrita para dizer que não sabe. Depois, teste esses controles em casos reais, porque a maioria das respostas inventadas é falha de desenho do processo, algo que você pode corrigir, e não um mistério que precisa aceitar.

Principais pontos

• Alucinação é, em grande parte, um problema de desenho. Se o processo deixa o modelo responder de memória, em algum momento ele vai inventar.
• Basear a resposta em uma fonte aprovada e atual é o maior controle isolado. A regra é simples: responder a partir da fonte, citar a fonte ou recusar.
• Citações obrigatórias só ajudam se o sistema verificar que o trecho citado existe de fato e sustenta a afirmação.
• Regras de recusa precisam ser escritas, testadas e tratadas como resultado correto, não como falha do agente.
• Meça com um conjunto fixo de casos reais, registre o que foi recuperado e citado e encaminhe os casos incertos para uma pessoa.

O que conta como alucinação em um processo de negócio?

No ambiente empresarial, alucinação é qualquer afirmação que o sistema apresenta como fato e que suas fontes não sustentam. Isso é mais amplo do que uma citação inventada. Inclui uma regra de reembolso que parece certa, mas foi substituída, um prazo de entrega calculado do nada ou uma cláusula de contrato resumida sem a exceção.

Vale separar quatro tipos, porque cada um pede um controle diferente:

• Fatos inventados: nomes, valores, políticas ou cláusulas que não existem em nenhum registro seu.
• Fatos desatualizados: afirmações que já foram verdadeiras e foram substituídas.
• Fatos misturados: detalhes de dois clientes, produtos ou documentos fundidos em uma única resposta.
• Excesso de confiança: uma resposta segura a uma pergunta que as fontes nunca cobriram, ou uma ação tomada com base em palpite.

O OWASP Top 10 for LLM Applications lista desinformação e confiança excessiva na saída do modelo como riscos reconhecidos, o que lembra que o tema é operacional e não apenas de pesquisa. A pergunta para o dono do negócio não é se o modelo pode errar. É se o seu processo deixa uma resposta errada chegar a um cliente, a um registro ou a uma decisão sem passar por uma verificação.

Comece pela base: dê ao agente uma fonte para responder

Basear a resposta (grounding) significa que o modelo responde com o material que você fornece no momento da pergunta, e não com o que absorveu durante o treinamento. O padrão mais comum é a geração aumentada por recuperação (RAG): o sistema busca nos seus documentos aprovados, entrega os trechos relevantes ao modelo e o instrui a responder usando somente esses trechos. Provedores de nuvem como Google Cloud e AWS descrevem esse padrão em suas orientações de arquitetura, e a ideia é a mesma entre as ferramentas.

Essa base costuma falhar em pontos previsíveis, então siga esta ordem:

• Defina a fonte oficial para cada tipo de pergunta. Dúvida sobre devolução pertence à política de devolução vigente, não a uma troca de e-mails antiga. Reaproveite conteúdo com IA preservando a fonte mostra como manter a origem de cada informação rastreável.
• Dê a cada fonte um responsável e uma data de revisão. Uma resposta baseada em uma página desatualizada continua errada, só que mais convincente.
• Teste a recuperação separadamente. Se o trecho certo não é encontrado, o modelo costuma preencher a lacuna com um palpite plausível. Como avaliar agentes de IA em tarefas de negócio ajuda a checar isso antes de culpar o modelo.
• Envie metadados úteis junto com cada trecho, como título do documento, versão e data da última revisão, para que a resposta e a verificação possam usá-los.
• Instrua o modelo de forma explícita a usar apenas os trechos fornecidos e a tratar todo o resto como desconhecido.

Quando um fato muda com frequência, como tabela de preços, política ou regra de disponibilidade, a recuperação costuma ser um lugar melhor para ele do que o retreinamento. Um trecho recuperado pode ser atualizado em minutos e mostrado ao leitor. Um fato embutido no modelo não pode ser apontado.

Exija citações e verifique-as

Exigir citação significa que toda afirmação factual da resposta traz um ponteiro para o trecho de origem: nome do documento, seção e um pequeno excerto entre aspas. O excerto importa. Um link ou o título de um documento é fácil de o modelo fabricar, enquanto um excerto pode ser comparado de forma automática com o texto que foi de fato recuperado.

É a verificação que transforma isso de preferência de estilo em controle. Uma versão simples funciona assim:

• O sistema confirma que cada excerto citado aparece nos trechos recuperados.
• Confirma que o documento citado é a versão atual e está liberado para aquele perfil de usuário.
• Sinaliza qualquer afirmação da resposta que não tenha citação.
• Respostas que falham na verificação não são enviadas. Elas são geradas de novo uma vez ou viram um rascunho para uma pessoa revisar.

Seja honesto sobre o limite. Uma citação válida prova de onde vieram as palavras, não que o modelo as interpretou corretamente. Um trecho sobre a política padrão pode ser citado para um cliente que se enquadra em uma exceção. Por isso, mantenha uma revisão por amostragem feita por uma pessoa, principalmente no início, e procure respostas que citam texto real, mas tiram dele a conclusão errada.

Escreva regras de recusa para que não sei seja uma resposta válida

Modelos de linguagem tendem a responder. Se nada no processo diz que recusar é aceitável, o sistema trata toda pergunta como algo que precisa resolver. As regras de recusa corrigem isso ao nomear as condições em que o agente para e passa a decisão adiante.

Um conjunto inicial útil para a maioria dos processos:

• Nenhum trecho recuperado é relevante o bastante para a pergunta.
• Duas fontes se contradizem e nenhuma regra escrita diz qual prevalece.
• A pergunta pede um compromisso fora do papel do agente, como posição jurídica, afirmação médica, desconto ou exceção.
• Falta uma informação obrigatória, como o número do pedido ou o identificador da conta.
• A única fonte correspondente está com a data de revisão vencida.

Uma boa recusa é específica. Ela informa o que o agente consultou, o que falta e quem pode responder. Também repassa a pergunta, os trechos encontrados e a lacuna, para que a pessoa não comece do zero. Escalonamento humano em IA: entregue a decisão necessária descreve como montar essa passagem.

Observe os dois lados. Um agente que recusa pouco inventa respostas. Um agente que recusa demais vira uma caixa de busca lenta que as pessoas deixam de usar. Acompanhe as recusas junto com a precisão e revise uma amostra de cada uma, para saber se a recusa foi correta ou se falta uma fonte que precisa ser adicionada.

Limite a saída e as ações

Texto livre dá ao modelo mais espaço para inventar, então use menos dele sempre que possível. Quando um valor tem um conjunto conhecido de opções, faça a saída ser um campo escolhido dentro desse conjunto. Quando o valor está em um registro, copie do registro em vez de deixar o modelo reescrevê-lo. Contas, cálculos de data e totais pertencem a uma ferramenta, não ao julgamento do modelo.

Acrescente validação depois da geração:

• Rejeite qualquer identificador, como número de pedido ou referência de contrato, que não exista no sistema de origem.
• Rejeite valores fora das faixas ou listas permitidas.
• Exija que um valor citado coincida com o valor do trecho referenciado.

Depois, controle o que uma resposta errada pode causar. Um agente que redige, mas não envia, não consegue entregar uma resposta inventada a um cliente. Um agente que propõe uma alteração de registro para aprovação não corrompe o registro em silêncio. Mantenha as permissões no menor nível que o papel exige, como em Menor privilégio para agentes de IA: limite o acesso inicial, e só passe a enviar ou gravar depois que os rascunhos se mostrarem confiáveis.

Um plano passo a passo, com um cenário ilustrativo

Cenário ilustrativo: uma distribuidora tem um assistente que responde dúvidas da equipe sobre condições de devolução. No início, ele responde de memória e informa o prazo de devolução habitual para uma linha de produtos que tem um prazo menor. Depois das mudanças abaixo, ele busca a política de devolução daquela linha, cita a frase relevante e indica o documento e a seção. Quando uma linha de produtos não tem registro, ele diz isso e encaminha a pergunta à equipe de contas com os trechos que consultou.

Para chegar a esse ponto no seu processo, siga esta ordem:

• Escolha um processo com dono claro e um conjunto limitado de tipos de pergunta.
• Defina a fonte oficial e o responsável por cada tipo de pergunta.
• Reúna perguntas reais do passado com as respostas corretas e inclua perguntas que deveriam ser recusadas. Monte um conjunto de testes de referência para sua IA explica como montar e manter esse conjunto.
• Teste primeiro a recuperação e corrija documentos ausentes ou mal estruturados antes de mexer no prompt.
• Instrua o modelo a responder apenas com os trechos fornecidos e a citar com um excerto entre aspas.
• Inclua a verificação de citações e a validação da saída no sistema ao redor, não só no prompt.
• Escreva as regras de recusa e o formato de passagem e peça que as pessoas que recebem os casos os aprovem.
• Rode o agente em modo de observação, em que ele produz respostas mas uma pessoa ainda envia, e compare com o conjunto de testes. Teste um agente de IA em modo de observação detalha essa etapa.
• Registre trechos recuperados, citações, recusas e correções, para que cada resposta errada possa ser rastreada até uma fonte ausente, uma falha de recuperação ou uma interpretação equivocada.
• Revise os registros em uma rotina regular e leve cada erro confirmado de volta ao conjunto de testes.

O registro é o que torna o restante melhorável. Sem ele, você vê que uma resposta estava errada, mas não por quê. A orientação da Anthropic sobre avaliação de agentes aponta na mesma direção: é preciso ter tarefas repetíveis com resultados bons conhecidos antes de afirmar que uma mudança ajudou.

Como a Be Human trata isso em operação gerenciada

No primeiro projeto, a Be Human define um papel útil junto com as fontes que ele pode usar, os limites de aprovação e um critério de sucesso observável. Na operação gerenciada, esse trabalho continua: mantemos as conexões com essas fontes, executamos avaliações recorrentes em um conjunto fixo de casos que inclui perguntas que o agente deve recusar, revisamos os registros do que foi recuperado e citado e ajustamos regras de recusa e permissões sob o seu controle. Mudanças no agente passam pelos mesmos testes antes de chegar ao uso diário.

Perguntas frequentes

É possível eliminar as alucinações por completo? Não, e qualquer fornecedor que prometa isso deve ser questionado. O que se pode fazer é reduzir a frequência de respostas inventadas, capturar a maior parte do restante com verificações de citação e validação e limitar o dano com permissões somente de rascunho e revisão humana nos casos incertos.

Um modelo melhor resolve o problema sozinho? Um modelo mais forte costuma ajudar, mas não substitui a base em fontes. Mesmo um modelo muito capaz não tem como saber sua política atual ou o registro do seu cliente se você não os fornecer, e continuará dando palpites quando a fonte faltar. Trate a escolha do modelo como um controle entre vários.

Ajuste fino (fine-tuning) é um bom caminho para evitar respostas inventadas? O ajuste fino é mais indicado para moldar estilo, formato e comportamento do que para guardar fatos que mudam. A recuperação mantém os fatos atualizados e permite mostrar o trecho por trás de cada resposta, o que o ajuste fino não faz. Em geral, fatos que mudam pedem recuperação, e estilo e formato podem pedir ajuste.

Como saber se os controles estão funcionando? Rode o mesmo conjunto de casos reais depois de cada mudança e compare os resultados. Acompanhe quantas respostas da amostra trazem afirmações que as fontes não sustentam, quantas recusas foram corretas e quantas foram indevidas, e com que frequência uma pessoa precisa corrigir um rascunho. Se esses indicadores melhoram e se mantêm estáveis, os controles estão cumprindo seu papel.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.