Modo sombra para agentes de IA: observe antes de dar autonomia

O modo sombra é uma etapa de implantação em que o agente de IA executa as mesmas tarefas da sua equipe, recebe as mesmas entradas e registra as ações que tomaria, sem executar nenhuma delas. Você compara essas propostas com o que as pessoas de fato fizeram e usa as diferenças para decidir quais tipos de ação podem passar para execução supervisionada e quais devem continuar com uma pessoa. Bem feito, ele transforma a autonomia em uma decisão medida, e não em uma esperança.

Principais pontos

• O modo sombra permite que o agente proponha ações sobre trabalho real enquanto nada chega a clientes, fornecedores ou sistemas de registro.
• Registre cada proposta com suas entradas, as ferramentas que chamaria e o motivo que apresentou, para que cada divergência possa ser revisada depois.
• Meça a concordância por tipo de ação, e não por impressão geral, e separe diferenças inofensivas de decisões erradas.
• Conceda autonomia uma classe de ação por vez, com responsável nomeado, caminho de reversão e revisão agendada.
• Mantenha uma amostra de execução em modo sombra depois do go-live, para pegar cedo mudanças no trabalho ou no comportamento do agente.

O que o modo sombra significa para um agente de IA

No modo sombra, o agente recebe os pedidos, documentos ou mensagens que um integrante da equipe recebe, executa a tarefa e registra o que teria feito: a resposta que rascunharia, o campo que atualizaria, a aprovação que encaminharia. Nenhuma dessas ações sai do agente. As permissões das ferramentas ficam restritas nessa etapa, de modo que uma atualização proposta não chegue ao CRM, a um fornecedor ou a um cliente por acidente. A restrição deve estar na camada de ferramentas, e não apenas nas instruções, porque instruções podem ser ignoradas ou mal interpretadas.

O modo sombra é fácil de confundir com duas ideias vizinhas. Um ambiente de testes (sandbox) avalia o agente com dados inventados ou copiados, o que ajuda no início da engenharia, mas diz pouco sobre como os pedidos reais chegam, em que ordem e com que detalhes faltando. Um piloto costuma dar ao agente ações reais sobre uma pequena fatia do trabalho, o que já tem consequências reais no primeiro dia. O modo sombra fica entre os dois: entradas reais, ritmo real e nenhum efeito ao vivo. O valor vem de comparar o que o agente propôs com o que a pessoa fez no mesmo caso, e essa comparação só existe quando as duas ações acontecem sobre o mesmo caso.

Delimite uma tarefa e suas fronteiras de ação

O modo sombra falha em silêncio quando a tarefa é ampla demais. Uma instrução como "cuide dos e-mails dos clientes" contém dezenas de decisões com riscos muito diferentes. Comece com um papel e uma tarefa recorrente, depois liste as ações que essa tarefa pode envolver e agrupe-as por consequência: ler e resumir, rascunhar, alterar um registro, enviar algo para fora da empresa e comprometer dinheiro ou prazos. Implantações iniciais normalmente precisam testar apenas os três primeiros grupos. Os dois últimos devem continuar sob responsabilidade humana até que as evidências sejam fortes e as permissões sejam estreitas.

Escreva um critério de sucesso que você consiga verificar sem depender de opinião. "O encaminhamento proposto coincide com o aprovador que de fato assinou" é observável. "O agente é útil" não é. Se o critério não puder ser verificado pelos registros, a implantação terminará em debate, e não em uma decisão. Uma descrição de papel nesse nível está em Matriz RACI para agentes de IA, que explica quem responde por quê quando um agente divide o trabalho com as pessoas.

Um plano passo a passo para rodar o modo sombra

O plano abaixo é deliberadamente simples. A maioria das implantações que falharam não era tecnicamente difícil. Faltava um responsável, um registro ou uma regra clara sobre o que fazer depois que as evidências chegassem.

• Nomeie um responsável pela operação que decida se uma divergência é aceitável. Deve ser a pessoa que responde pelo resultado, não o engenheiro que construiu o agente.
• Conecte o agente às mesmas entradas que o integrante da equipe vê e remova o acesso de escrita na camada de ferramentas durante a rodada.
• Crie o registro da proposta antes de a pessoa agir. Se o agente puder ler a resposta final do humano, ele não pode ser avaliado de forma justa.
• Rode em paralelo por pelo menos um ciclo completo da tarefa, incluindo períodos de pico e casos incomuns, e não apenas os fáceis.
• Revise as divergências em intervalos fixos, sempre com os mesmos revisores, e registre uma decisão para cada divergência relevante.
• Decida, por classe de ação, se continua observando, concede execução supervisionada ou aposenta a proposta de vez.

Trate o fim da execução como um ponto de decisão com resultado escrito. Se as evidências forem mistas, o resultado pode ser reduzir o escopo da tarefa, acrescentar contexto ou manter o agente como assistente de rascunhos. Qualquer um desses é um resultado válido. Continuar indefinidamente sem decidir não é.

Como registrar as propostas para que a diferença seja útil

Um registro do modo sombra só é útil se tiver estrutura. Anotações em texto livre dificultam saber se o agente cometeu um erro sistemático ou um erro pontual. Cada registro deve ter detalhes suficientes para reconstruir a decisão depois:

• Uma referência à entrada, como o identificador da mensagem ou a versão do documento, para que o caso possa ser encontrado de novo.
• A ação exata proposta, incluindo o registro alvo, o destinatário ou o aprovador.
• As ferramentas que o agente chamaria e os parâmetros que enviaria.
• A regra, política ou fonte que o agente citou para a escolha.
• A ação humana tomada depois, vinculada à mesma referência do caso.
• O horário de cada etapa, para ver se o agente propôs antes ou depois de a pessoa agir.

A prática de observabilidade ajuda aqui. Conceitos de rastreamento, em que cada etapa de um processo é registrada com seu contexto e ligada às etapas anteriores e posteriores, permitem acompanhar uma decisão desde a entrada até a proposta e o desfecho. Você não precisa de uma plataforma especializada para aplicar a ideia. Precisa de identificadores consistentes e de uma regra de que todo caso deixe um rastro. Guarde apenas os dados pessoais que a revisão exige e aplique os mesmos prazos de retenção que valem para os registros originais.

Cenário ilustrativo e como ler a diferença

Cenário ilustrativo: uma pequena empresa de serviços usa uma caixa de entrada compartilhada com uma equipe de coordenadores. Durante o modo sombra, o agente classifica cada mensagem recebida e rascunha uma resposta, mas os coordenadores continuam tratando todas as mensagens como de costume. Na revisão, o encaminhamento para a fila de cobrança coincide com o dos coordenadores quase sempre. Os rascunhos divergem de outra forma: o agente promete um prazo de reembolso que a empresa não garante de fato. A equipe ainda não concede autonomia para rascunhos. Corrige a fonte da regra de prazo, roda de novo os mesmos casos e só então passa o encaminhamento para execução supervisionada. O padrão de fluxo está descrito em Gestão de caixa de entrada compartilhada com IA.

Ao revisar uma divergência, classifique-a antes de decidir qualquer coisa. Um guia de decisão que funciona na maioria das implantações tem esta forma:

• A proposta coincide com a ação da pessoa e a diferença é cosmética, como uma saudação ou uma escolha de formatação. Mantenha o caso como evidência de concordância.
• A proposta difere e a pessoa estava errada por um motivo documentado. Corrija a regra ou a referência que o agente usa e rode o caso de novo.
• A proposta difere porque o agente não tinha um contexto que a pessoa tinha. Acrescente esse contexto por uma fonte aprovada, em vez de torcer para que o agente o deduza.
• A proposta causaria dano externo se fosse executada. Interrompa a promoção dessa classe de ação e investigue a causa antes de qualquer nova rodada.
• A proposta estava certa onde a pessoa foi lenta ou inconsistente. Registre-a como candidata a execução supervisionada, com um humano aprovando no início.

Quando conceder mais autonomia

Conceder autonomia deve ser uma sequência, e não um interruptor. Para cada classe de ação, avance por etapas: execução supervisionada, em que uma pessoa aprova cada ação antes de ela rodar; execução por exceção, em que a pessoa revisa apenas os casos sinalizados; e execução autônoma limitada, com limites de valor, destinatário, tipo de registro ou horário. Cada etapa precisa de um responsável nomeado, de uma definição escrita dos limites e de um jeito rápido de voltar atrás. As próprias permissões devem seguir o princípio do menor privilégio, concedendo ao agente apenas os escopos que a ação exige. As diretrizes de autorização da OWASP, organização dedicada à segurança de aplicações, tratam desse ponto e são uma boa referência para a equipe técnica.

Os registros do modo sombra também revelam riscos fáceis de perder. Mensagens recebidas às vezes contêm textos que tentam dar ordens ao agente, como um e-mail pedindo que ele ignore suas regras. Trate cada entrada como dado a ser avaliado, e não como comando, e sinalize qualquer caso em que a proposta do agente tenha mudado por causa de instruções incomuns dentro do conteúdo. Os riscos de injeção de prompt também são tratados pela OWASP, e esse padrão deve fazer parte da sua revisão de divergências.

Como a Be Human trabalha nisso: em um projeto gerenciado, a Be Human define primeiro o papel único, as classes de ação e o critério de sucesso, depois roda o agente em modo sombra com registros que o responsável pela operação consegue ler sem ajuda de engenharia. O monitoramento, as avaliações recorrentes e as revisões de permissão continuam depois que qualquer classe de ação é promovida, para que a fronteira definida durante a implantação seja verificada mais tarde. Mudanças em permissões, memória ou regras de aprovação passam por uma revisão registrada, e não por uma edição silenciosa.

Se você ainda não tem certeza de qual tarefa merece uma primeira rodada em modo sombra, o diagnóstico gratuito de IA da Be Human foi feito para ajudar a encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Por quanto tempo o modo sombra deve rodar antes de alguém conceder autonomia? O prazo depende de quão frequente é a tarefa e de quão variados são os casos. Uma tarefa rara precisa de uma janela maior do que uma diária. A rodada deve cobrir dias normais, períodos de pico e os casos incomuns que causam a maior parte dos problemas. Defina a condição de encerramento com antecedência, para que a implantação não se arraste sem um veredito.

O modo sombra expõe dados de clientes ao agente? Sim. O agente vê as mesmas entradas que a pessoa vê, então precisa das mesmas regras de acesso, prazos de retenção e restrições de finalidade. Verifique as obrigações que valem para os seus dados e, nas operações no Brasil, consulte as orientações da Autoridade Nacional de Proteção de Dados (ANPD). Reduzir o que o agente recebe costuma ser a forma mais simples de diminuir essa exposição.

A equipe vai mudar o jeito de trabalhar porque o agente está observando? Pode mudar, e vale dizer abertamente que o agente é uma ferramenta de medição, não uma avaliação de desempenho. Se as pessoas começarem a se apressar ou a documentar em excesso, a divergência vai parecer melhor ou pior do que a realidade. Mantenha a revisão focada nas classes de ação e nas regras, não na velocidade individual, e deixe os mesmos revisores analisarem os casos de forma consistente.

O modo sombra serve para um agente que apenas responde perguntas? Serve, e a comparação funciona do mesmo jeito. Em vez de comparar ações, você compara respostas com as que a equipe já considera corretas, e anota onde o agente cita fontes que não deveria usar. A abordagem se aproxima das avaliações recorrentes, que o NIST AI Risk Management Framework trata como parte da gestão contínua de risco, e não como um teste pontual.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.