Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Botão de desligamento de agente de IA: pare sem perder dados

Projete um botão de desligamento para agente de IA que para as ações, mas mantém logs, memória e fila pendente. Veja quem aciona, como testar e retomar.

Capa tipográfica do Be Human com o título: Botão de desligamento de agente de IA: pare sem perder dados
Ilustração conceitual criada com IA · Be Human

Um botão de desligamento de agente de IA é um controle que impede imediatamente o agente de executar novas ações, como enviar mensagens, alterar registros ou chamar ferramentas pagas, mantendo intactos seus logs, sua memória e o trabalho ainda não concluído para revisão. Um bloqueio bem desenhado separa parar de apagar: o agente perde a permissão de agir, mas as evidências do que ele fez e a fila do que ele estava prestes a fazer continuam disponíveis para as pessoas que decidem o próximo passo. As seções abaixo explicam como definir o escopo da parada, o que congelar e o que preservar, e como testar o botão antes de precisar dele.

Principais pontos

  • Um botão de desligamento deve parar ações, não apagar evidências, memória ou trabalho pendente.
  • Defina a parada em diferentes escopos (tarefa única, ferramenta, canal, agente inteiro) para cortar a menor parte que resolve o problema.
  • Preserve logs, um snapshot da memória e a fila de trabalho em um estado que uma pessoa consiga ler e retomar.
  • Defina quem pode acionar a parada, como essa pessoa chega ao controle a qualquer hora e quem aprova a retomada.
  • Teste a parada periodicamente com uma simulação, porque um botão que ninguém testou é apenas uma suposição.

Por que a parada deve preservar o trabalho em vez de apagá-lo

Quando as equipes imaginam parar um agente, costumam pensar em um corte de energia: tudo se apaga e o agente é reiniciado depois. Essa abordagem falha em operações de negócio. Se o agente for interrompido no meio de uma tarefa, você perde a resposta para a pergunta mais importante depois de qualquer incidente, que é o que o agente realmente fez. Uma sessão apagada não pode ser explicada, e uma memória zerada não mostra quais informações o agente usou ao tomar uma decisão.

O trabalho pendente é a segunda perda. Um reembolso pode estar pela metade, uma resposta ao cliente pode estar redigida mas não enviada, e um chamado pode ter sido assumido pelo agente sem ter sido atualizado. Se a parada simplesmente descartar esses itens, a equipe precisa reconstruí-los do zero, e o risco de ações duplicadas ou esquecidas aumenta muito. Um botão de desligamento que protege o negócio precisa proteger as evidências e o trabalho inacabado, além de impedir novas ações.

O NIST AI Risk Management Framework descreve a gestão de risco de IA como um conjunto contínuo de funções que inclui governar, mapear, medir e gerenciar riscos, com responsabilidades claras e documentação. Uma parada que mantém registros e itens pendentes segue essa lógica: trata a intervenção como mais um evento a ser compreendido, e não como uma forma de fazer o problema desaparecer.

Como definir o escopo da parada: guia de decisão

Nem todo problema exige parar o agente inteiro. Um botão útil oferece vários escopos, e o operador escolhe o mais estreito que trate o risco. Comece pelo menor escopo e amplie apenas quando o menor não contiver o problema.

  • Pausa de tarefa: interrompe um item do fluxo, como uma conversa específica com cliente ou a revisão de um documento, enquanto o restante do agente continua.
  • Desconexão de ferramenta: remove o acesso de escrita do agente a uma integração, como cobrança, agenda ou caixa de entrada compartilhada, mantendo leitura e rascunhos.
  • Suspensão de canal: interrompe as mensagens de saída em um canal, como e-mail, enquanto as solicitações recebidas entram em uma fila para revisão posterior.
  • Parada total do agente: bloqueia todas as leituras que disparam ações, todas as escritas e todos os envios, e mantém cada nova solicitação na fila sem executá-la.

Quando a causa não estiver clara, escolha a parada total, porque uma parada mais ampla com registro completo é mais fácil de recuperar do que uma parada estreita que deixa uma ação defeituosa continuar. Cada escopo deve ser um controle único que o operador possa ativar sem mudança de código, e cada ativação deve ser registrada com o escopo, o horário e o gatilho.

Pare primeiro a ação que está causando dano e, só depois, decida se o restante do agente deve continuar rodando.

Cenário ilustrativo: um agente de reembolsos recebe erros de tempo esgotado de uma ferramenta de pagamento e começa a repetir solicitações que, na verdade, já tinham sido concluídas. O responsável pela operação ativa a desconexão apenas na integração de reembolsos. O agente continua lendo as solicitações, classificando-as e colocando-as na fila, mas nenhum crédito novo é emitido. Os logs mostram o padrão de repetição, o snapshot da memória registra o que o agente acreditava sobre cada caso aberto, e a fila guarda todas as solicitações que chegaram durante a suspensão.

Monte o botão: plano passo a passo

Construir um botão de desligamento é, sobretudo, uma questão de inventário e sequência. O plano a seguir funciona para a maioria dos agentes de negócio e pode ser executado por uma equipe de operações com apoio de engenharia.

  • Liste todas as ações que o agente pode executar, agrupadas em leitura, escrita, envio e gasto. Inclua as ações de ferramentas que o agente chama indiretamente.
  • Para cada ação de escrita, envio ou gasto, registre a ferramenta, a conta ou credencial usada e se o efeito pode ser desfeito.
  • Dê a cada agente um único ponto de controle que revogue ou suspenda suas credenciais ou seu roteamento, sem exigir uma nova implantação de código.
  • Verifique o estado de parada antes de cada ação, e não apenas no início da tarefa, para que uma tarefa longa não continue depois que a parada for ativada.
  • Configure a entrada para colocar solicitações em fila em vez de descartá-las, e marque cada item com o horário de chegada e o motivo da retenção.
  • Grave um snapshot da memória e o estado das tarefas abertas no momento da parada, com data, hora e identificador de versão.
  • Escreva o procedimento de retomada antes de ele ser necessário: quem aprova, quais itens da fila são reprocessados e quais precisam ser conferidos manualmente por uma pessoa.
  • Ensaie a sequência completa em um ambiente de teste antes do uso real, incluindo a etapa de retomada.

O erro mais comum nesse plano é aplicar a parada apenas dentro das instruções do agente. A OWASP Authorization Cheat Sheet recomenda que as decisões de acesso sejam aplicadas onde o recurso protegido é acessado, em cada requisição, e não que se confie no comportamento de quem chama. O mesmo princípio vale aqui: a própria ferramenta deve recusar chamadas de um agente suspenso, mesmo que o prompt ou a lógica de planejamento do agente tenham falhado.

O que preservar durante a parada: logs, memória e trabalho pendente

Três tipos de material precisam sobreviver à parada, e cada um exige um tratamento próprio.

Os logs vêm primeiro. A introdução à telemetria do OpenTelemetry descreve sinais como traces, métricas e logs que podem ser correlacionados para explicar o comportamento de um sistema. Em um agente, um trace deve conectar cada requisição, chamada ao modelo, chamada de ferramenta e resultado. A própria parada é um evento que pertence ao mesmo registro, com a identidade de quem a acionou, o escopo escolhido e a última ação concluída. Os logs devem ser gravados em um armazenamento que o agente não consiga alterar, para que o registro do comportamento não seja modificado pelo próprio comportamento que deveria explicar. Os detalhes sobre o que capturar estão em Observabilidade de agentes de IA: o que registrar?.

A memória vem em seguida. Ela inclui o contexto que o agente recuperou, as anotações que manteve e os resumos que guardou sobre casos em andamento. No momento da parada, tire um snapshot versionado e somente leitura. Não deixe o agente sobrescrever a memória durante a suspensão, porque uma revisão posterior precisa saber o que o agente acreditava quando agiu, e não o que ele passa a acreditar depois de ser parado.

O trabalho pendente é o terceiro. Cada item da fila deve ter um estado, como recebido, retido, em andamento, aguardando aprovação ou concluído. Qualquer ação iniciada, mas não confirmada, deve ser marcada como incerta, em vez de presumida como falha ou como sucesso. Chaves de idempotência ajudam nesse ponto: se a mesma ação for reprocessada após a retomada, a ferramenta deve reconhecê-la e evitar um segundo efeito. Tarefas longas se beneficiam de checkpoints explícitos, para que o ponto de retomada fique claro. A abordagem está descrita em Checkpoints em tarefas longas de agente de IA: retomar sem refazer.

Quem aciona e como a parada é testada

Um botão de desligamento que só o engenheiro que o construiu sabe operar não é um controle. Defina pelo menos duas pessoas capazes de acionar cada escopo, normalmente o responsável pela operação e alguém de plantão, e garanta que elas consigam chegar ao controle pelo celular, sem abrir um ambiente de desenvolvimento. O acionamento não deve depender de o agente responder, porque a situação que pede uma parada costuma ser justamente aquela em que o agente se comporta de forma imprevisível.

Os gatilhos também precisam de entradas. Alertas de custo fora do padrão, erros repetidos de ferramenta ou laços no comportamento do agente indicam ao operador quando uma suspensão pode ser necessária. O padrão de tentativas repetidas é tratado em Agente de IA preso em loop: condições de parada que funcionam. Os alertas devem ir para um responsável nomeado, e não para uma caixa de entrada compartilhada, e o primeiro passo de qualquer resposta deve ser escolher o escopo, e não diagnosticar a causa raiz.

O teste é a etapa que a maioria das equipes pula. Use esta lista sempre que o botão for testado e depois de qualquer mudança nas ferramentas ou permissões do agente:

  • A parada passa a valer na próxima ação, e não apenas na próxima fronteira de tarefa.
  • Nenhuma ação de escrita, envio ou gasto ocorre depois que o acionamento é confirmado.
  • Os logs e o snapshot da memória são gravados antes de o agente ser pausado.
  • Novas solicitações são aceitas na fila, com o horário de chegada registrado.
  • A retomada exige um aprovador nomeado e não pode ser concluída pelo próprio agente.
  • Os itens da fila são reprocessados sem duplicar efeitos que já tinham ocorrido.

Execute o teste primeiro em um ambiente de homologação e, depois, uma vez em produção, em um período de pouco movimento, com o operador acompanhando os logs. Registre o resultado e o tempo gasto, e corrija qualquer falha antes do próximo teste programado.

Como a abordagem gerenciada da Be Human trata a parada

Nas operações gerenciadas da Be Human, a parada é desenhada desde o início, e não acrescentada depois do primeiro incidente. A primeira etapa define o papel do agente, a memória e as ferramentas de que ele precisa, os limites de aprovação e as ações que exigem uma pessoa nomeada. Os escopos de parada são tirados desse mesmo mapa. O monitoramento observa as condições que devem disparar uma suspensão, a revisão de permissões confirma que cada credencial ainda corresponde ao escopo aprovado, e a resposta a incidentes segue um runbook escrito que cobre pausa, preservação e retomada. Melhorias controladas no agente só são feitas depois que os caminhos de parada e retomada foram exercitados novamente. Se você ainda não sabe qual tarefa deve receber primeiro um controle como esse, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Um botão de desligamento apaga a memória do agente? Não deveria. Uma parada bem desenhada tira um snapshot versionado da memória e, em seguida, restringe novas escritas enquanto a suspensão estiver ativa, para que o registro do que o agente sabia continue disponível para revisão. A exclusão é uma decisão separada, que deve ser tomada depois pelos responsáveis pela retenção de dados.

O acionamento deve ser automático ou manual? Os dois são úteis, mas servem a propósitos diferentes. Suspensões automáticas são adequadas para condições claras e bem conhecidas, como uma ferramenta que devolve erros repetidos, enquanto o acionamento manual cobre situações que nenhuma regra previu. A maioria das equipes começa com controle manual, acrescenta suspensões automáticas estreitas quando entende os padrões de falha e revisa essas regras nos testes programados.

O que acontece com as solicitações que chegam enquanto o agente está parado? Elas devem entrar em uma fila com o horário de chegada, o motivo da suspensão e o estado atual, em vez de serem descartadas ou respondidas pelo agente. Assim, a equipe pode tratar itens urgentes manualmente, e o agente pode retomar o restante quando a causa estiver resolvida e o aprovador tiver dado o aval. O cliente deve receber uma confirmação clara de que a solicitação está sendo tratada.

Como saber se o botão de desligamento funciona? Só testando. Execute a lista de verificação em um ambiente de homologação, repita uma versão mais curta em produção em um período de pouco movimento e registre cada resultado. Um botão que nunca foi acionado pode até funcionar, mas ninguém na equipe consegue afirmar isso com segurança, e essa incerteza é o risco real.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →