Ir para conteúdo
be-human.ai
← Voltar ao blog

Supervisão humana

Pontos de controle para agentes de IA: cinco lugares para decidir

Cinco pontos de controle para agentes de IA: escopo, ferramentas, aprovações, memória e desligamento, cada um com um teste prático que o dono pode executar.

Capa tipográfica do Be Human com o título: Pontos de controle para agentes de IA: cinco lugares para decidir
Ilustração conceitual criada com IA · Be Human

Um ponto de controle é um lugar específico onde a empresa mantém autoridade sobre um agente de IA. Para a maioria dos agentes de negócio, são cinco: o escopo do trabalho que o agente pode iniciar, as ferramentas que ele pode acionar, as ações que precisam de aprovação de uma pessoa identificada, a memória que ele pode manter e a forma como ele pode ser pausado ou interrompido. Cada um pode ser escrito, testado com uma pergunta simples e verificado de novo sempre que o agente mudar.

Principais pontos

  • A autoridade sobre um agente está em cinco lugares: escopo, ferramentas, aprovações, memória e desligamento.
  • Cada ponto de controle precisa de um dono nomeado, um limite escrito e um teste que gere um resultado registrado.
  • Ferramentas e aprovações costumam falhar quando são concedidas uma vez e nunca revisadas.
  • O desligamento deve interromper ações mantendo intactos os registros, o estado da memória e o trabalho em fila.
  • Teste os cinco antes do lançamento, depois repita os testes em uma agenda definida e após cada mudança.

Por que a autoridade precisa de cinco lugares separados

Muitas empresas pensam no controle como um interruptor único: o agente está ligado ou desligado. Esse interruptor é necessário, mas é grosseiro demais. Um agente pode causar problemas de várias formas que um único botão não resolve. Pode começar um trabalho que ninguém pediu, usar uma ferramenta de que não precisa, enviar uma mensagem que deveria esperar aprovação, guardar dados pessoais por mais tempo do que a finalidade exige ou continuar agindo enquanto a equipe ainda tenta entender o que deu errado.

Separar a autoridade em cinco lugares permite que o líder de operações responda perguntas específicas. Quem decidiu que este trabalho pertence ao agente? A quais sistemas ele tem acesso? Quais ações esperam por uma pessoa? O que ele lembra? Com que rapidez o trabalho pode parar, e o que fica para trás? Cada resposta tem um dono nomeado e pode ser verificada. O NIST AI Risk Management Framework trata esse tipo de trabalho como um ciclo contínuo de governar, mapear, medir e gerenciar riscos, o que lembra que esses controles não são uma configuração feita uma única vez.

Escopo: defina para que o agente serve antes de tudo

Escopo é a descrição escrita do trabalho. Ele nomeia o resultado pelo qual o agente responde, as entradas que ele pode ler, as saídas que pode produzir e as situações que ele deve recusar ou devolver para uma pessoa. Um escopo vago, como ajudar o time de vendas, não dá ao agente nenhuma fronteira e não dá ao dono nenhuma base para dizer não.

Um escopo utilizável cabe em uma página e responde a quatro perguntas: qual tarefa começa com o agente, qual tarefa termina com ele, o que ele nunca deve fazer e como é o sucesso, em uma forma que alguém consiga observar. O último item é o mais importante. Se a equipe não consegue descrever um resultado mensurável, o agente vai tender para o que consegue fazer com facilidade, e não para o que o negócio realmente precisa.

Teste do escopo: entregue o escopo escrito a alguém de fora do projeto e peça que liste três pedidos que o agente deveria recusar. Se a pessoa não conseguir citar três, o escopo ainda não é um ponto de controle.

Ferramentas: limite o que o agente consegue alcançar

Ferramentas são as conexões que permitem a um agente agir: agenda, CRM, drive compartilhado, interface de pagamento, conta de e-mail. Cada ferramenta é um poder, e poderes devem ser concedidos um de cada vez, com um motivo registrado. As orientações de autorização da OWASP trazem um ponto que se aplica diretamente aqui: decisões de acesso devem verificar a ação e o recurso específicos, sem presumir que um sistema conectado é confiável para tudo que ele consegue fazer.

Limites práticos incluem acesso somente leitura quando não é preciso escrever, credenciais próprias para o agente em vez do login de um funcionário, permissões restritas dentro de cada ferramenta e uma lista de ferramentas que o agente enxerga, mas não pode chamar. O mapeamento de permissões de agentes de IA é a forma mais simples de manter isso honesto, porque lista cada ferramenta, os registros que ela toca e as ações que pode executar.

Teste das ferramentas: extraia as permissões reais do agente em cada sistema conectado e compare-as com a lista de permissões. Cada diferença é ou uma permissão faltando que impede o trabalho, ou uma permissão extra que deve ser removida. Registre as duas.

Um agente deve ter o acesso que o trabalho precisa hoje, e não o acesso que pode ser útil algum dia.

Cenário ilustrativo: um distribuidor pequeno conecta um agente ao sistema de pedidos para que ele responda perguntas sobre entregas. A primeira versão recebe permissão de escrita para alterar o status dos pedidos, porque isso parecia prático. A revisão descobre que o agente também conseguia cancelar pedidos. O dono remove o direito de cancelamento, mantém a leitura de status e acrescenta uma nota na lista de permissões dizendo que cancelamentos dependem de um funcionário. A mudança leva uma tarde, e o registro mostra por que ela foi feita.

Aprovações: nomeie as ações que esperam uma pessoa

Uma trava de aprovação é um ponto em que o agente prepara uma ação e uma pessoa identificada decide se ela acontece. As travas devem ficar em ações que gastam dinheiro, alteram compromissos com clientes, enviam mensagens a pessoas de fora da empresa, apagam registros ou tocam em dados pessoais sensíveis. Elas não devem ficar em cada passo rotineiro, porque uma trava que dispara o tempo todo acabará sendo aprovada sem que ninguém leia. Equipes que estão planejando essas travas podem olhar onde as pessoas assinam as ações dos agentes para entender onde a decisão deve ficar.

Escreva a lista de travas como um conjunto curto de condições em linguagem simples. Para cada ação, diga quem aprova, por quanto tempo a aprovação vale, o que o aprovador vê e o que acontece se ninguém responder. O silêncio deve significar não agir. Para as ações de maior risco, considere exigir duas pessoas, e reserve isso para os poucos casos em que um único erro seria caro.

Teste das aprovações: dispare cada ação com trava em um ambiente de teste e confirme que o agente para, que a pessoa certa recebe o pedido e que nada é enviado antes de a aprovação ser registrada. Depois teste o prazo deixando um pedido sem resposta. Se a ação seguir mesmo assim, a trava não está funcionando.

Memória: controle o que o agente guarda e por quanto tempo

Memória é aquilo que o agente leva de uma conversa ou tarefa para a próxima. Pode ser um repositório de notas, um índice de busca construído a partir de documentos, um resumo de trocas anteriores ou preferências salvas. A memória torna o agente útil e, ao mesmo tempo, transforma o agente em um registro de informações pessoais e comerciais. As orientações da OWASP sobre injeção de prompt tratam o conteúdo recuperado e armazenado como entrada que pode carregar instruções ou erros, então a memória é uma superfície de segurança, e não apenas uma conveniência. Para um olhar sobre o tema no contexto brasileiro, vale ler superinteligência e LGPD na memória de agentes de IA.

Decida três coisas para cada repositório de memória: o que ele pode conter, quem pode lê-lo e quando expira. Mantenha dados pessoais fora da memória, a menos que a finalidade exija e a base legal esteja clara. Mantenha a memória de um cliente ou departamento separada da de outro. Confirme que a remoção é possível, porque um pedido de exclusão é difícil de atender se ninguém sabe onde o agente registrou as coisas.

Teste da memória: escolha uma pessoa ou registro conhecido, pergunte ao agente o que ele sabe sobre essa pessoa usando o uso normal e depois procure o nome e o identificador nos repositórios de memória. Tudo o que for encontrado deve estar de acordo com a política de retenção. Se algo está guardado e não deveria, remova e confirme a remoção no próprio repositório, e não apenas na resposta do agente.

Desligamento: pare o agente sem perder o registro

O desligamento é o ponto de controle mais testado tarde demais. A empresa precisa pausar um agente rapidamente, parar ações específicas enquanto outras continuam, e preservar o que aconteceu para que a equipe consiga explicar depois. Uma pausa que apaga registros ou descarta uma fila de trabalho pendente cria um segundo problema em cima do primeiro.

Projete o desligamento em camadas. A primeira camada interrompe novas ações em todas as ferramentas. A segunda revoga ou desativa credenciais específicas. A terceira preserva registros, estado da memória e trabalho em fila para revisão. Nomeie a pessoa que pode acionar cada camada e escreva a ordem em que as ações devem acontecer. Se os registros puderem ser necessários depois, em uma disputa ou auditoria, inclua uma verificação de retenções legais antes de qualquer limpeza. Um tratamento mais completo de como parar um agente de IA com segurança pode ajudar a decidir quais camadas o seu negócio precisa.

Teste do desligamento: em um ambiente de teste, acione cada camada durante um fluxo de trabalho em andamento. Confirme que as novas ações param, que o trabalho em curso ou é concluído ou fica claramente marcado como retido, e que os registros continuam legíveis depois. Cronometre o exercício inteiro e anote o resultado. A primeira execução costuma levar mais tempo do que o esperado, e é exatamente por isso que ela deve ser praticada antes de ser necessária.

Teste os cinco antes do lançamento e após cada mudança

O teste transforma esses cinco pontos de controle de política em evidência. Uma sequência prática para a primeira implantação fica assim:

  • Escreva o escopo em uma página e peça a alguém de fora do projeto que procure lacunas nele.
  • Extraia as permissões reais do agente e concilie-as com a lista de permissões.
  • Mapeie cada ação com trava e passe cada uma pelos testes de aprovação e de prazo.
  • Procure na memória um registro conhecido, confirme a regra de retenção e teste a remoção.
  • Acione cada camada de desligamento em uma execução de teste e confirme que os registros e a fila sobrevivem.
  • Registre os resultados, o dono de cada ponto de controle e a data da próxima revisão.

Repita a mesma sequência após qualquer mudança em ferramentas, prompts, fontes de dados ou permissões, e na agenda que o negócio escolher. O monitoramento pode mostrar o que um agente fez, que é o tipo de telemetria descrito na documentação do OpenTelemetry para observabilidade, mas alguém ainda precisa ler o registro e decidir se a autoridade continua no lugar certo.

A Be Human trata isso como parte de um primeiro projeto e de uma operação gerenciada contínua. O primeiro projeto define um papel, a memória e as ferramentas de que ele precisa, seus limites de aprovação e um critério de sucesso observável, para que cada ponto de controle tenha um dono nomeado antes de qualquer coisa entrar em produção. A operação gerenciada mantém esses pontos atualizados por meio de monitoramento, avaliações recorrentes, revisão de permissões e resposta a incidentes, e qualquer melhoria controlada passa pelos mesmos testes. Durante todo o processo, a empresa mantém o direito de decisão sobre cada ponto de controle.

Se você não tem certeza de qual tarefa vale a pena entregar primeiro a um agente, faça o diagnóstico gratuito de IA da Be Human para identificá-la.

Perguntas frequentes

O que é um ponto de controle de agente de IA? É um lugar definido onde a empresa mantém autoridade sobre o que um agente pode fazer, alcançar, guardar e interromper. Os cinco pontos mais comuns são escopo, ferramentas, aprovações, memória e desligamento. Cada um deve ter um dono nomeado, um limite escrito e um teste com resultado registrado.

Quantos pontos de controle uma empresa pequena precisa? Uma empresa pequena não precisa de mais estrutura do que consegue revisar, mas ainda deve tratar as cinco áreas. Para um único agente com uma função restrita, cada ponto de controle pode ser uma página curta ou algumas linhas em um mesmo documento. O essencial é que cada área tenha dono e teste, mesmo quando as respostas forem simples.

Quem deve ser o dono de cada ponto de controle? O dono do negócio deve responder pelas regras de escopo e de aprovação, já que elas refletem decisões comerciais. Quem cuida da tecnologia deve responder pelas permissões das ferramentas, pelos repositórios de memória e pelos procedimentos de desligamento, com o responsável por cada área aprovando as mudanças. A responsabilidade deve estar escrita, para que ninguém presuma que outra pessoa está vigiando um controle.

Um ponto de controle pode mudar depois do lançamento? Sim, e deve mudar quando o negócio mudar. Cada ajuste em ferramentas, aprovações, memória ou desligamento deve ser testado de novo e registrado, para que a equipe consiga mostrar que autoridade o agente tinha em determinado momento. Mudanças feitas sem teste são a fonte mais comum de surpresas depois.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →