Como fazer a IA citar fontes nas respostas: guia para empresas

Para fazer um agente de IA citar fontes, exija que toda resposta de negócio traga a referência do documento, da seção e da versão em que se baseou, e bloqueie qualquer resposta que chegue sem ela. Depois, verifique essas referências com checagens automáticas e amostragem humana regular, de modo que alguém da equipe consiga abrir o trecho citado em segundos e confirmar a afirmação. Uma citação só gera confiança quando é obrigatória, específica e verificável.

Principais pontos

• Torne a referência parte do formato da resposta, não um pedido educado no prompt. Uma resposta sem referência válida não deve chegar ao usuário.
• Deixe que o sistema, e não o modelo, forneça os identificadores das fontes. O agente deve escolher entre documentos que realmente recuperou, nunca inventar um link de memória.
• Uma boa referência traz o documento, a seção, a versão e um trecho curto entre aspas, para que a pessoa encontre a evidência sem precisar procurar.
• As checagens automáticas comprovam que a fonte existe e contém o trecho citado. Só a amostragem humana comprova que a fonte sustenta a afirmação.
• Quando nenhuma fonte sustenta a resposta, o agente deve dizer isso e encaminhar a pergunta a uma pessoa, em vez de produzir um palpite bem escrito.

Por que uma resposta precisa de referência de fonte?

Uma resposta sem referência obriga o leitor a escolher entre confiar às cegas e refazer o trabalho. Nenhuma das duas opções serve para uma dúvida sobre política interna, cláusula de contrato, regra de preço ou etapa de compliance. Quem precisa agir com base na resposta precisa de um jeito rápido de ver de onde ela veio.

A referência muda a economia da revisão. Conferir uma afirmação contra um parágrafo identificado leva instantes. Conferir uma afirmação sem indicação significa vasculhar uma pasta compartilhada, adivinhar qual versão vale e torcer para ter achado o mesmo trecho que o agente usou. A maioria das equipes pula essa busca, e os erros viajam mais longe do que deveriam.

As referências também tornam as falhas diagnosticáveis. Quando uma resposta errada traz a fonte, dá para saber se o documento estava errado, se a recuperação pegou o trecho errado ou se o modelo leu mal o trecho certo. São três correções diferentes. Sem a referência, você só sabe que a resposta estava errada. Para o problema mais amplo de afirmações sem sustentação, veja como reduzir alucinações de IA em processos de negócio.

Um cuidado cabe aqui. Uma citação mostra de onde o texto veio. Ela não mostra que o texto está correto, atual ou seguro de seguir. Trate a referência como ferramenta de conferência, não como prova.

O que uma referência de fonte útil precisa conter?

Um link para um manual inteiro é quase tão inútil quanto nenhum link. A referência deve levar o leitor até a evidência. Defina um conjunto fixo de campos e exija todos eles:

• Título do documento e um identificador estável, como o ID do registro no seu sistema de documentos.
• Seção ou título interno, para o leitor ir direto ao lugar certo.
• Versão ou data da última revisão, para que um documento substituído apareça como tal.
• Um trecho literal curto, as palavras exatas em que o agente se apoiou.
• Responsável pelo documento, para que se saiba a quem perguntar se o conteúdo parecer errado.
• Status de acesso, confirmando que quem fez a pergunta tem permissão para ver esse documento.

O trecho literal é o campo mais valioso e o que as equipes mais deixam de fora. Ele permite que o revisor confirme a afirmação lendo duas linhas, e permite que um software confirme automaticamente que a passagem existe na fonte. Resumos parafraseados não podem ser conferidos assim.

Os campos de responsável e versão importam porque documentos de negócio envelhecem. Uma tabela de preços ou uma política de trocas que estava correta no ano passado ainda pode ser a melhor correspondência para uma pergunta de hoje. Se a referência mostra a versão e a data de revisão, o leitor enxerga o risco de imediato.

Como exigir citações na configuração do agente?

Uma linha de prompt como "sempre cite suas fontes" ajuda, mas os modelos podem ignorá-la, principalmente em perguntas longas ou ambíguas. A citação confiável vem da estrutura ao redor do modelo. O padrão de geração aumentada por recuperação (RAG), descrito em arquiteturas de referência de provedores de nuvem como Google Cloud e AWS, já oferece o ingrediente principal: o sistema sabe quais trechos buscou antes de o modelo escrever uma palavra.

Aproveite isso. Um plano prático:

• Etapa 1: liste os tipos de pergunta em que uma resposta errada tem custo real, como política, jurídico, preços, segurança e compromissos com clientes. Exija referências primeiro nesses casos.
• Etapa 2: dê a cada documento aprovado um ID estável, um responsável e uma data de revisão. Documentos sem esses campos não devem ser recuperáveis para respostas com citação.
• Etapa 3: faça a camada de recuperação entregar ao modelo apenas trechos identificados, cada um com seu ID, sua seção e sua versão.
• Etapa 4: defina um formato de saída com campos separados para a resposta e para a lista de referências, cada referência apontando para o ID de um trecho que o modelo recebeu e citando as palavras relevantes.
• Etapa 5: adicione uma validação em código que rejeite qualquer saída com campo ausente, ID de trecho desconhecido ou trecho vazio, e peça ao agente uma nova tentativa ou o escalonamento.
• Etapa 6: apresente as referências como links legíveis no canal em que a equipe trabalha, para que a conferência exija um clique.
• Etapa 7: escreva a regra nas instruções de operação do agente, incluindo o que conta como fonte aceitável, para que ela não dependa de memória.

A escolha de projeto importante está nas etapas 3 e 4. O modelo seleciona entre fontes que o sistema forneceu. Ele não gera links nem nomes de documentos por conta própria. Essa decisão elimina a falha mais comum: uma referência plausível a um documento que não existe.

Como verificar se a citação é real e se de fato sustenta a resposta?

A verificação tem duas camadas, e cada uma pega problemas diferentes.

A primeira camada é automática e roda em toda resposta:

• O ID do documento citado existe na biblioteca aprovada?
• Esse trecho foi realmente recuperado para esta pergunta?
• O trecho citado aparece palavra por palavra no texto da fonte?
• A versão é a vigente ou está marcada como substituída?
• Quem perguntou tem permissão para ler esse documento?

Essas checagens são baratas e rígidas. Elas pegam fontes inventadas, citações distorcidas, versões desatualizadas e a divulgação acidental de material restrito.

A segunda camada é humana e roda sobre uma amostra. Um trecho pode existir na fonte e mesmo assim não sustentar a afirmação. O agente pode citar uma passagem sobre pedidos padrão para justificar uma resposta sobre pedidos personalizados. Um software não julga isso de forma confiável, então uma pessoa precisa julgar. A cada semana, um revisor abre uma pequena amostra de respostas, lê o trecho e faz uma pergunta: esta passagem, por si só, justifica a resposta dada? Registre o veredito como sustentada, parcialmente sustentada ou não sustentada, e anote a causa.

Transforme os casos não sustentados em testes permanentes. Um conjunto de testes de referência com perguntas de fontes corretas conhecidas permite detectar quando uma mudança no modelo, nos prompts ou nos documentos enfraquece a qualidade das citações. Registre a pergunta, os trechos recuperados, as referências e o resultado da validação para poder investigar depois; o artigo sobre o que registrar na observabilidade de agentes de IA lista os campos que valem a pena guardar.

Por fim, lembre-se de que documentos recuperados são entrada vinda de fora da fronteira de confiança do agente. Um documento pode conter texto que tenta direcionar o agente. O fato de uma fonte ser citada não torna válidas as instruções que ela contém. As orientações do OWASP sobre prevenção de prompt injection e o nosso artigo sobre prompt injection em documentos de negócio explicam como manter o conteúdo dos documentos no papel de dado, não de comando.

O que o agente deve fazer quando nenhuma fonte sustenta a resposta?

Essa regra importa tanto quanto o formato da citação. Se o agente não encontra um trecho que sustente a resposta, a saída correta é dizer com clareza que não encontrou fonte de apoio, junto com o próximo passo. Sem essa regra, a exigência de citação empurra o modelo a esticar um trecho vagamente relacionado até virar justificativa.

Defina três resultados e deixe-os explícitos:

• Sustentada: uma ou mais referências válidas respaldam a resposta. Entregue-a com as referências anexadas.
• Parcialmente sustentada: as fontes cobrem parte da pergunta. Entregue só a parte sustentada, diga o que falta e indique quem pode decidir o restante.
• Não sustentada: nenhuma fonte utilizável. Não responda com conhecimento geral a uma pergunta específica do negócio. Diga isso e encaminhe a pergunta ao responsável pelo documento ou a uma pessoa nomeada.

A passagem de bastão deve levar a decisão, não a bagunça: a pergunta, o que foi pesquisado, quais trechos quase pertinentes foram encontrados e o que é preciso para resolver. O artigo sobre escalonamento humano em falhas de agentes de IA descreve como empacotar isso. Um benefício relacionado é que perguntas sem sustentação repetidas revelam lacunas na sua documentação. Se a equipe continua perguntando sobre um assunto que ninguém documentou, o agente acabou de dizer o que você precisa escrever.

Como isso funciona na prática? Um cenário ilustrativo

Este cenário é ilustrativo, não descreve uma empresa real.

Uma empresa de serviços tem um agente que responde às dúvidas da equipe sobre políticas de atendimento. Uma coordenadora pergunta se um cliente pode receber reembolso por uma peça que foi trocada na garantia. O agente responde que o reembolso é possível dentro do prazo padrão de devolução e anexa uma referência: a política de trocas, a seção sobre substituições em garantia, uma etiqueta de versão, o responsável pelo documento e um trecho de duas frases.

As checagens automáticas passam: o documento existe, o trecho foi recuperado e a citação confere com o texto. Mas a etiqueta de versão mostra uma política que foi substituída depois, e a validação a sinaliza como superada. O agente é instruído a tentar de novo usando apenas documentos vigentes. A segunda tentativa encontra a política atual, que diz que peças substituídas geram crédito, não reembolso. A resposta muda, e a referência passa a apontar para a seção vigente.

Agora imagine que a sinalização não existisse. A coordenadora veria a versão e a data de revisão na referência e, com um clique, perceberia o problema. De um jeito ou de outro, a referência transformou uma resposta errada e confiante em uma conferência rápida. A amostra semanal também teria registrado o caso, e a política antiga teria saído da biblioteca recuperável.

Como a Be Human trata referências de fonte em agentes gerenciados?

A Be Human incorpora a exigência de citação à estrutura do agente: os documentos aprovados têm ID, responsável e data de revisão, a camada de recuperação fornece trechos identificados e a validação rejeita respostas cujas referências falham nas checagens. Durante a operação gerenciada, revisamos uma amostra de respostas citadas contra suas fontes, acompanhamos respostas sem sustentação e padrões de documentos ausentes, e ajustamos recuperação, documentos ou regras dentro dos limites de aprovação definidos pela empresa. Mudanças no modelo são testadas com perguntas conhecidas antes de entrar no ar, para que a qualidade das citações não se perca em silêncio. Antes de receber autoridade, o agente pode rodar em modo de observação, para que a equipe compare as referências dele com o próprio julgamento.

Perguntas frequentes

Basta pedir no prompt que o modelo cite as fontes? Uma instrução no prompt ajuda, mas não é suficiente para respostas que importam. O modelo pode ignorar a instrução ou produzir uma referência que parece certa, mas não leva a lugar nenhum. Combine a instrução com um formato de saída obrigatório e uma validação que rejeite respostas sem referência válida.

Um agente de IA pode inventar uma citação? Pode, se for solicitado a produzir referências de memória. Ele pode gerar um título de documento, uma seção ou um link que soa real, mas não existe. A solução é fazer o sistema fornecer as fontes e exigir que o agente escolha entre elas, e depois verificar o trecho citado contra o original.

Uma citação significa que a resposta está correta? Não. Significa que a resposta é rastreável. A fonte pode estar desatualizada, errada ou apenas vagamente relevante, e ainda é preciso que uma pessoa avalie se o trecho sustenta a afirmação. Por isso etiquetas de versão, responsáveis e revisão humana por amostragem devem andar junto com as checagens automáticas.

Quantas respostas a equipe deve revisar manualmente? Revise o suficiente para enxergar padrões, e revise mais onde o custo de uma resposta errada é maior. Comece com uma pequena amostra semanal que cubra os tipos de pergunta, aumente-a depois de qualquer mudança no modelo, nos documentos ou nos prompts, e só a reduza quando a taxa de respostas sem sustentação se mantiver baixa ao longo do tempo. O número deve vir da tolerância a erro da sua empresa, não de uma regra genérica.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.