Prompt injection em documentos: o que proteger

Prompt injection ocorre quando um conteúdo que a IA deveria processar tenta redirecionar seu comportamento. Em processos de negócio, isso pode chegar por documento, email ou página. Trate material externo como evidência a avaliar, não como autoridade para alterar a tarefa ou as permissões.

Reconheça o limite de confiança

Imagine um assistente resumindo um documento de fornecedor. Um parágrafo manda ignorar regras e enviar registros de clientes a outro destino. Esse parágrafo faz parte do documento, não é uma nova instrução de quem pediu o resumo.

O sistema deve continuar a tarefa autorizada, sinalizar conteúdo suspeito quando útil e impedir ações de ferramenta sem relação com o pedido. Apenas pedir cuidado ao modelo não é uma defesa completa.

Reduza as consequências de uma interpretação ruim

• Limite ferramentas e dados disponíveis para a tarefa.
• Separe leitura de escritas externas.
• Valide destinos e argumentos antes de executar.
• Exija aprovação concreta para ações relevantes.
• Preserve evidência suficiente para investigar tentativas rejeitadas.

Filtragem de entrada pode ajudar, mas não existe uma lista universal de frases que resolva o problema. Ataques podem ser indiretos ou disfarçados de conteúdo comum.

Use testes adversariais inofensivos

Em um documento de teste, inclua uma instrução para abandonar o resumo e executar uma ação sem relação com a tarefa em um destino sintético. Confirme que o sistema não executa. Teste tanto o comportamento proposto pelo modelo quanto o limite aplicado pela aplicação.

Não use dados privados reais no exercício. O objetivo é verificar um limite, não demonstrar um vazamento real.

Mantenha instruções de negócio atribuíveis

Se um documento contiver instruções legítimas de processo, defina quem pode aprová-las e como entram na configuração. Uma política consultada pode informar uma resposta sem ganhar poder de reescrever permissões. Essa distinção permite usar conhecimento de negócio mantendo a autoridade ligada a um responsável.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.