Ir para conteúdo
be-human.ai
← Voltar ao blog

Supervisão humana

Checklist de segurança para agentes de IA: dez perguntas antes de lançar

Dez perguntas para o responsável por TI ou operações responder antes de um agente de IA acessar dados e ferramentas da empresa, com plano de pré-lançamento.

Capa tipográfica do Be Human com o título: Checklist de segurança para agentes de IA: dez perguntas antes de lançar
Ilustração conceitual criada com IA · Be Human

Uma revisão de segurança pré-lançamento para um agente de IA é uma checagem curta e por escrito que confirma o que o agente pode ler, o que pode alterar, quais etapas precisam da aprovação de uma pessoa e como você o interrompe. O responsável por TI ou operações deve conseguir responder às dez perguntas abaixo antes de o agente receber dados da empresa ou acesso real às ferramentas. Se a resposta honesta a qualquer uma delas for que ninguém decidiu ainda, o agente não está pronto para produção.

Principais pontos

  • Trate o agente como um novo usuário, com identidade própria, dono nomeado, credenciais e trilha de auditoria, e não como um recurso de uma janela de chat.
  • Escreva quais dados ele pode ler, quais ferramentas pode acionar e quais ações precisam da aprovação de uma pessoa antes de serem executadas.
  • Teste o caminho de parada e a intervenção da equipe antes do lançamento, não depois da primeira ação inesperada.
  • Mantenha registros de decisões e de ações bloqueadas, e deixe dados pessoais fora deles, a menos que a revisão exija.
  • Defina um critério de sucesso observável para saber, no mês seguinte, se o agente se comporta como foi desenhado, e não apenas no dia do lançamento.

Por que a revisão de um agente não é a revisão de um chatbot

Um chatbot produz texto que uma pessoa lê antes de qualquer coisa acontecer. Um agente lê registros, aciona ferramentas, escreve em sistemas e, às vezes, carrega memória de uma tarefa para a seguinte. Isso muda o risco. Uma frase errada pode ser corrigida na mensagem seguinte, mas uma atualização errada no cadastro de um cliente, uma mensagem enviada ao contato errado ou um arquivo compartilhado com o grupo errado podem já ter consequências quando alguém percebe.

As principais categorias de risco já estão documentadas em referências públicas. O NIST AI Risk Management Framework oferece uma estrutura para mapear, medir e gerenciar o risco de IA, e a lista OWASP Top 10 for LLM Applications reúne os padrões de falha que mais aparecem em aplicações com modelos de linguagem, incluindo injeção de prompt e permissões excessivas. Você não precisa adotar nenhum dos dois documentos por inteiro antes do lançamento. Precisa, sim, responder por escrito às perguntas que eles apontam, para o agente específico que pretende usar.

Perguntas 1 a 3: identidade, finalidade e limites

As três primeiras perguntas estabelecem o que o agente é e para que serve. Grande parte dos problemas posteriores remonta a uma resposta vaga aqui.

  • Pergunta 1: o agente tem conta e credenciais próprias? Ele não deve operar com um login compartilhado nem com o token pessoal de um funcionário, porque, nesse caso, suas ações não podem ser separadas das ações dessa pessoa nos registros.
  • Pergunta 2: qual é o único trabalho para o qual ele foi contratado e o que está explicitamente fora do escopo? Escreva a função em uma frase e liste pelo menos três coisas que o agente não pode fazer, como emitir reembolsos, alterar preços ou responder dúvidas jurídicas.
  • Pergunta 3: quem responde pelo comportamento dele? Nomeie um dono de negócio, que decide o escopo, e um dono técnico, que mantém os acessos. Se faltar algum nome, a revisão não está concluída.

Um teste útil é perguntar se um funcionário novo, lendo a descrição escrita da função, saberia o que fazer e o que não fazer. Se a descrição do agente confundiria esse funcionário, ela também vai confundir o agente.

Perguntas 4 a 6: dados, memória e ferramentas

Essas perguntas definem a superfície que o agente consegue alcançar. Comece por uma lista, não por uma intenção.

  • Pergunta 4: quais dados ele pode ler e quais nunca deve ver? Separe cadastros de clientes, dados de funcionários, documentos financeiros e contratos. Aplique minimização de dados: dê ao agente apenas os campos que a tarefa exige.
  • Pergunta 5: que memória ele guarda, onde essa memória fica armazenada e como ela é apagada quando alguém pede? Uma memória que contém dados pessoais de uma conversa pode sobreviver à conversa, a menos que alguém tenha definido regras de retenção e exclusão.
  • Pergunta 6: quais ferramentas ele pode acionar, com quais permissões, e quais dessas chamadas escrevem dados? Cada ferramenta deve usar credenciais restritas, que concedam apenas as operações que a função exige. O OWASP Authorization Cheat Sheet é uma referência prática para verificar se as decisões de acesso são tomadas no servidor e não ficam a critério do modelo.

Na lista de ferramentas, marque cada operação como leitura ou escrita e pergunte se uma escrita pode ser desfeita. Acesso somente leitura é mais fácil de justificar no lançamento. Cada escrita que permanecer deve ter um motivo nomeado. Agende uma revisão de permissões para o período após o lançamento, porque ferramentas e funções de equipe mudam. O processo de revisão de acessos de agentes de IA mostra como comparar as permissões concedidas com o trabalho que o agente realmente executa.

Perguntas 7 e 8: aprovações e reversibilidade

A pergunta 7 pergunta quais ações exigem uma decisão humana antes de serem executadas. Monte mentalmente uma tabela com três colunas: ações que o agente pode tomar sozinho, ações que pode propor mas não executar e ações que nunca deve tentar. Enviar um lembrete a um cliente pode ficar na primeira coluna. Alterar o valor de um contrato, excluir um registro ou compartilhar um arquivo com terceiros normalmente fica na segunda. O guia de aprovação humana para agentes de IA explica onde as pessoas devem assinar e como evitar que essas aprovações virem um carimbo automático.

A pergunta 8 pergunta se uma ação arriscada pode ser revertida e o que acontece com as tarefas na fila quando você pausa o agente. Uma pausa deve interromper novas ações sem apagar registros, sem descartar tarefas pendentes em silêncio e sem deixar escritas pela metade. Teste isso antes do lançamento, com uma tarefa pendente real. O guia sobre como parar um agente de IA com segurança descreve como interromper ações mantendo a trilha de auditoria e a fila intactas.

Perguntas 9 e 10: registros, testes e resposta a incidentes

A pergunta 9 pergunta o que o agente registra, quem pode ler esses registros e como os dados pessoais ficam fora deles. Os registros são necessários para a revisão, mas registros brutos podem copiar conteúdo sensível para lugares que nunca deveriam guardá-lo. Decida quais campos são gravados, quais são mascarados e por quanto tempo os registros são mantidos. O guia sobre redação de dados pessoais em logs de agentes de IA mostra como manter o detalhe necessário para auditoria sem criar uma segunda cópia dos dados.

A pergunta 10 pergunta como você vai saber que o agente está falhando e quem responde. Defina pelo menos um critério de sucesso observável, como a fração de tarefas concluídas sem correção da equipe, medida contra um conjunto fixo de casos de teste. Depois, defina os sinais de falha: tentativas inesperadas de escrita, ações bloqueadas repetidamente, reclamações de clientes ou uso incomum de ferramentas. Nomeie quem recebe cada sinal e quais passos essa pessoa segue. Testes com prompts realistas, incluindo tentativas de levar o agente a ações não autorizadas, pertencem a esta etapa. A lista do OWASP sobre prevenção de injeção de prompt reúne padrões defensivos que vale conferir contra o seu desenho.

Cenário ilustrativo e checklist de lançamento

Ilustrativo: um distribuidor regional de equipamentos quer um agente que responda sobre o status de pedidos e abra solicitações de devolução no sistema de vendas. Na revisão, a equipe descobre que o primeiro rascunho da integração usa uma credencial que também consegue editar preços. O escopo é reduzido a leitura e à criação de solicitações de devolução. A aprovação de reembolsos continua com um funcionário, e os registros de ações bloqueadas são revisados toda semana no primeiro mês. Nada mudou no modelo. Mudaram os limites.

Antes do lançamento, confirme por escrito cada item abaixo:

  • O agente tem conta própria, um dono de negócio e um dono técnico.
  • A descrição da função lista o que o agente não pode fazer.
  • Cada fonte de dados está listada, com os campos que o agente pode ler.
  • As regras de retenção e exclusão de memória estão documentadas.
  • Cada ferramenta está marcada como leitura ou escrita, com credenciais restritas.
  • As ações que precisam de aprovação estão listadas, e o aprovador está nomeado.
  • O caminho de parada foi testado com uma tarefa pendente.
  • Os registros estão definidos, com dados pessoais mascarados onde for exigido.
  • Os critérios de sucesso e os sinais de falha têm destinatários nomeados.

Como a Be Human conduz esta revisão

A Be Human projeta, implementa e opera infraestrutura de IA personalizada, na qual cada agente mantém sua identidade, memória, canais, ferramentas, permissões e contexto operacional sob controle humano. Um primeiro projeto define uma função útil, a memória e as ferramentas que essa função precisa, os limites de aprovação e um critério de sucesso observável. Assim, essas perguntas são respondidas durante o desenho, e não descobertas depois do lançamento. A operação gerenciada cobre monitoramento, avaliações recorrentes, manutenção das integrações, revisão de permissões e resposta a incidentes, o que mantém as respostas escritas atualizadas à medida que os sistemas mudam.

Se você quer identificar a primeira tarefa que vale entregar a um agente, faça o diagnóstico gratuito de IA da Be Human.

Perguntas frequentes

Pequenas empresas precisam de uma revisão formal de segurança para agentes de IA? Sim, embora ela possa ser curta. Uma empresa com poucos funcionários e um único agente ainda precisa de respostas escritas sobre identidade, dados, ferramentas, aprovações e caminho de parada. A revisão pode caber em poucas páginas, mas as decisões por trás dela devem ser explícitas e ter um responsável nomeado.

Podemos reaproveitar o checklist de segurança de TI que já temos para um agente de IA? Em parte. O checklist atual provavelmente cobre contas, permissões, registros e resposta a incidentes, que continuam valendo. Geralmente ele não cobre retenção de memória, injeção de prompt, aprovações para ações propostas pelo modelo nem o comportamento de um sistema que decide qual ferramenta chamar em seguida. Esses itens precisam ser acrescentados.

Quem deve aprovar antes de um agente entrar em operação? O dono de negócio, responsável pelo resultado, deve aprovar o escopo e as regras de aprovação, e o dono técnico deve aprovar credenciais, acesso a dados e registros. Quando há dados pessoais envolvidos, o responsável pela conformidade com a privacidade também deve revisar a lista de dados e as regras de retenção antes do lançamento.

Com que frequência a revisão deve ser repetida? Repita a revisão completa antes de qualquer mudança relevante, como uma nova ferramenta, uma nova fonte de dados ou um escopo mais amplo. Entre essas mudanças, faça uma revisão mais leve de permissões e registros em um calendário recorrente, porque funções de equipe, integrações com fornecedores e regras do negócio tendem a mudar aos poucos, e a distância entre o acesso documentado e o acesso real cresce sem que ninguém perceba.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →