Trilha de auditoria para agentes de IA em empresas reguladas

Uma trilha de auditoria para agentes de IA deve permitir que uma empresa regulada reconstrua qualquer ação realizada pelo agente: o que a disparou, quais informações o agente usou, por qual ferramenta e permissão ele agiu, o que mudou em consequência e quem aprovou. Os requisitos exatos variam conforme o regulador e o setor, então o teste prático é a reconstrução. Um revisor que não estava presente deve conseguir reproduzir a ação apenas com os registros, e o que nunca foi capturado não pode ser recuperado depois.

Principais pontos

• Desenhe a trilha a partir das perguntas que um auditor fará, e não a partir do que a plataforma registra por padrão.
• Capture a cadeia completa: gatilho, contexto, resposta do modelo, chamadas de ferramentas, permissão usada, resultado e aprovação humana.
• Dê ao agente uma identidade própria, para que cada ação seja atribuída ao agente e não a uma conta compartilhada ou pessoal.
• Proteja a própria trilha: restrinja quem pode editá-la, defina a retenção de forma deliberada e mantenha o conteúdo sensível sob os mesmos controles dos dados de origem.
• Teste a reconstrução antes de precisar dela: escolha uma ação real e refaça o caminho usando só os registros.

O que você deve conseguir reconstruir sobre qualquer ação do agente?

Comece pelas perguntas, porque são elas que definem o que registrar. Quando um regulador, um auditor interno ou um cliente questiona uma ação específica do agente, a conversa costuma seguir o mesmo formato.

• O que aconteceu e quando?
• Quem ou o que pediu, e por qual canal?
• Que informações o agente tinha quando decidiu?
• Quais ferramentas ele chamou, com quais dados de entrada, e o que voltou?
• Com qual conta e quais permissões ele agiu?
• Uma pessoa revisou ou aprovou? Quem?
• Qual versão do agente, das instruções e do modelo estava em execução?
• Qual foi o resultado, e ele foi corrigido ou revertido depois?

Se os seus registros respondem a tudo isso para uma determinada ação, sem que ninguém dependa da memória, você tem uma trilha de auditoria. Se respondem apenas à primeira pergunta, você tem um log. A diferença importa porque as perguntas seguintes são as que estabelecem a responsabilização.

Também ajuda separar dois objetivos. Um é a reconstrução de um evento isolado. O outro é a supervisão do padrão: se o agente se mantém dentro do escopo aprovado ao longo do tempo. Ambos usam os mesmos registros, mas o segundo exige que eles sejam pesquisáveis e resumidos, e não apenas armazenados.

Quais registros devem fazer parte da trilha?

Uma trilha útil tem camadas, e cada uma responde a uma parte da reconstrução. Você não precisa de todas as camadas no primeiro dia para todos os papéis, mas deve decidir de forma consciente quais se aplicam.

• Registro da solicitação: a mensagem, o chamado, o agendamento ou o evento que iniciou o trabalho, com a identidade do solicitante e o canal.
• Registro de contexto: os documentos, registros e itens de memória que o agente buscou ou recebeu. Muitas vezes basta uma referência à fonte exata e à versão, em vez de uma cópia de tudo.
• Registro de instruções: a versão da definição do papel, das instruções de sistema e da configuração em vigor naquele momento.
• Registro do modelo: qual modelo e quais configurações produziram a resposta. Se você usa mais de um, registre qual cuidou de quê.
• Registro de chamadas de ferramentas: cada ação externa tentada, com parâmetros, conta usada, resposta e eventuais erros.
• Registro de aprovação: onde havia uma etapa humana, quem foi consultado, o que viu, o que decidiu e quando.
• Registro de resultado: o que mudou no sistema de destino, além de qualquer correção ou reversão posterior.
• Registro administrativo: alterações no próprio agente, como edições de permissões, atualizações de instruções e mudanças em conectores, com quem fez e quem aprovou.

A camada administrativa é a que mais times esquecem. Uma ação do agente não pode ser totalmente explicada se você não consegue mostrar o que ele estava autorizado a fazer naquele dia. Combine isso com uma rotina como a de fazer uma revisão de permissões dos seus agentes de IA, para que as mudanças de permissão também deixem histórico.

Em que a trilha de auditoria de um agente difere dos logs comuns de aplicação?

Os logs convencionais registram que uma função foi executada ou que uma requisição retornou. Um agente acrescenta uma etapa de decisão entre o pedido e a ação, e é nessa etapa que se concentram as perguntas de responsabilização. Por que o agente escolheu essa ferramenta? O que ele leu antes? Ele foi influenciado por um texto dentro de um documento que buscou?

Três diferenças moldam o que você precisa capturar.

Primeiro, o caminho não é fixo. O mesmo pedido pode levar a sequências diferentes de ferramentas em dias diferentes. A trilha precisa, portanto, registrar a sequência real, e não deduzi-la a partir do código.

Segundo, as entradas podem carregar instruções. O conteúdo que o agente lê, como um e-mail ou uma página da web, pode tentar conduzi-lo. As orientações da OWASP para aplicações com LLMs tratam isso como um risco principal, então a trilha deve preservar parte suficiente do conteúdo recuperado para mostrar se uma ação decorreu de instruções legítimas ou de instruções injetadas.

Terceiro, as saídas são geradas, não calculadas. Você não consegue executar a lógica de novo e esperar o mesmo resultado. Por isso a trilha precisa guardar o que foi produzido e o que se fez com isso, em vez de contar com a possibilidade de reproduzir.

As práticas de observabilidade ajudam. O material introdutório do OpenTelemetry descreve traces, métricas e logs como sinais complementares, e um trace que liga cada etapa de uma mesma tarefa do agente é a espinha dorsal natural da reconstrução. Trate isso como uma conveniência de engenharia, porém. Um trace que ninguém desenhou para responder a perguntas de auditoria continua sendo apenas um trace.

Como manter a trilha confiável e protegida?

Uma trilha só vale como evidência se as pessoas puderem confiar nela. Isso depende de alguns controles fáceis de especificar e, surpreendentemente, fáceis de pular.

• Segregação de funções: quem opera o agente, pessoas ou sistemas, não deve poder alterar os registros dele. O acesso de escrita à trilha deve ser restrito e também registrado.
• Atribuição: cada ação deve estar ligada à conta própria do agente, e não a um login compartilhado. O raciocínio está em por que o agente de IA da empresa precisa de identidade e contas próprias.
• Integridade: use armazenamento somente de acréscimo (append-only) ou de gravação única quando o seu ambiente permitir, e mantenha as fontes de horário consistentes para que as sequências possam ser ordenadas.
• Retenção: defina a retenção de forma deliberada, por tipo de registro, alinhada às suas obrigações legais e regulatórias. Consulte a área de compliance e não presuma a partir do padrão do fornecedor.
• Privacidade: a trilha pode conter dados pessoais ou confidenciais. Aplique as mesmas regras de controle de acesso, minimização e exclusão que valem para os sistemas de origem, e decida se vai guardar o conteúdo completo ou apenas referências.
• Localização: saiba onde os dados da trilha são armazenados e processados. O guia sobre residência de dados em IA para empresas explica as perguntas a resolver com cada fornecedor.

O acesso à trilha também precisa de um modelo de autorização. O Authorization Cheat Sheet da OWASP recomenda privilégio mínimo e negação por padrão, e ambos valem tanto para as pessoas que leem os registros do agente quanto para o próprio agente. Um auditor precisa de acesso de leitura. Um administrador raramente precisa poder apagar.

Passo a passo para preparar sua trilha de auditoria

Este plano serve para um novo papel de agente ou para um que já está em operação. Se o agente já está ativo, comece pelo terceiro passo e use os anteriores como revisão.

• Passo um: nomeie o papel e suas ações relevantes. Liste o que o agente pode fazer que altere algo fora dele, como enviar uma mensagem, atualizar um registro, aprovar uma solicitação ou mover um arquivo.
• Passo dois: classifique essas ações por consequência. Tudo o que envolver clientes, dinheiro, dados regulados ou compromissos recebe o registro mais completo e uma etapa de aprovação humana.
• Passo três: mapeie as obrigações regulatórias e internas. Com compliance ou jurídico, registre o que precisa ser retido, por quanto tempo e quem pode acessar. Referências como o NIST AI Risk Management Framework e o panorama do AI Act europeu podem alimentar a conversa sobre documentação e supervisão, mas quem decide o que se aplica à sua empresa é o seu jurídico.
• Passo quatro: defina as camadas de registro da seção anterior para cada ação relevante, incluindo o responsável nomeado por cada uma.
• Passo cinco: confirme que o agente atua por contas próprias, com permissões delimitadas que você consiga listar.
• Passo seis: configure a captura e o armazenamento, incluindo armazenamento protegido, perfis de acesso e regras de retenção.
• Passo sete: vincule as mudanças à trilha. Qualquer alteração em instruções, ferramentas ou permissões deve ser solicitada, aprovada e registrada, como descrito no processo de solicitar e aprovar mudanças em um agente de IA gerenciado.
• Passo oito: faça um exercício de reconstrução. Escolha uma ação real da semana passada e peça a alguém de fora do time que construiu o agente para reconstituir o que aconteceu usando apenas os registros. Anote cada lacuna e corrija.
• Passo nove: repita o exercício em intervalos regulares e depois de qualquer mudança significativa no agente.

O exercício é o passo mais valioso. Ele transforma um documento de projeto em evidência de que o projeto funciona.

Como é a reconstrução na prática?

Este é um cenário ilustrativo, não um caso real. A equipe de compliance de uma empresa de serviços regulados usa um agente para preparar rascunhos de respostas a pedidos rotineiros de informação de clientes. Mais tarde, um cliente contesta uma resposta, dizendo que ela revelou mais do que deveria.

O revisor parte do registro da solicitação do cliente e encontra o canal e o horário. O registro de contexto mostra qual documento de política e quais anotações da conta o agente buscou, com as respectivas versões. O registro de instruções mostra a definição do papel em vigor naquela semana. O registro de chamadas de ferramentas mostra que o agente redigiu a resposta e a colocou em uma fila de revisão, e o registro de aprovação mostra que uma pessoa identificada da equipe editou um parágrafo e liberou o envio. O registro de resultado confirma o que foi enviado.

Com essa cadeia, a empresa consegue responder à contestação com fatos. Consegue ver se foi o agente que divulgou demais ou se foi a edição. Também consegue ver se a anotação recuperada deveria estar fora do escopo do agente, o que vira uma correção de permissão. Sem a cadeia, a resposta seria um palpite, e a empresa não saberia se o problema foi pontual ou estrutural.

Repare que nada nesse cenário exige ferramentas exóticas. Exige que cada camada tenha sido capturada por desenho e que alguém tenha ensaiado a pergunta antes.

Como uma abordagem gerenciada trata isso?

A Be Human trata a trilha de auditoria como parte da definição do agente, e não como um complemento. Em um primeiro projeto, o papel, as ações relevantes, a memória e as ferramentas necessárias e os limites de aprovação são definidos em conjunto, e os registros necessários para reconstruir essas ações são especificados ao mesmo tempo. O agente opera com identidade e contas próprias, e as permissões são revisadas periodicamente. A operação gerenciada inclui monitoramento, avaliações recorrentes e mudanças controladas, de modo que atualizações de instruções, ferramentas e permissões sejam solicitadas, aprovadas e registradas. A empresa mantém o controle sobre seus dados e sobre quem pode ler a trilha. Quais obrigações regulatórias se aplicam continua sendo uma decisão da sua área de compliance e do seu jurídico.

Se você ainda está decidindo quanta estrutura um novo agente precisa, a governança de IA para empresas de médio porte oferece um ponto de partida leve que combina com este trabalho.

Perguntas frequentes

A trilha de auditoria precisa guardar o texto completo de cada prompt e de cada resposta? Nem sempre. Muitas organizações guardam o conteúdo completo das ações de alta consequência e apenas referências ou resumos das rotineiras, para limitar a exposição de dados pessoais. Decida isso por tipo de registro com compliance e proteção de dados, e garanta que as referências apontem para versões que você ainda consiga recuperar.

Quem deve ser o dono da trilha de auditoria dentro da empresa? Um responsável de negócio nomeado para o papel do agente deve responder por ela, com compliance ou auditoria interna tendo acesso de leitura e direito de revisão. Times técnicos ou um fornecedor podem operar a captura e o armazenamento, mas quem opera o agente não deve controlar a edição dos registros dele.

Por quanto tempo os registros do agente devem ser mantidos? A retenção depende do setor, do tipo de registro e da lei aplicável ao seu negócio, então não há uma resposta única. Peça ao jurídico ou ao compliance que defina os prazos por tipo de registro e configure o armazenamento e a exclusão de acordo. Revise as regras sempre que o agente passar a executar um novo tipo de ação.

E se o nosso agente já está em operação sem uma trilha adequada? Comece pelas ações mais relevantes e acrescente a captura para elas primeiro. Passe o agente para contas próprias, se ainda não estiver, registre as mudanças daqui em diante e faça um exercício de reconstrução para encontrar lacunas. Ações anteriores podem não ser reconstituíveis, e é melhor documentar isso com honestidade do que presumir o contrário.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.