Modo sombra para agentes de IA: teste propostas antes de dar escrita

Modo sombra é um teste em que um agente de IA recebe o mesmo trabalho da sua equipe, registra a ação que tomaria em cada caso e não altera nenhum sistema em uso. Depois, você compara cada proposta com a decisão que a pessoa de fato tomou. O acesso de escrita só é liberado quando a diferença é pequena, compreendida e restrita o bastante para ser colocada por escrito.

Principais pontos

• O modo sombra permite que um agente proponha ações sobre trabalho real enquanto as pessoas mantêm todas as permissões de escrita.
• Escolha uma decisão repetida, com dono claro e resultado observável antes de configurar qualquer coisa.
• Avalie a concordância com regras escritas e separe variações inofensivas de propostas que causariam dano.
• Libere a escrita uma ação por vez, e só depois que a diferença se mantiver baixa durante toda a janela de teste.
• Mantenha propostas, decisões humanas e motivos em uma única trilha de auditoria desde o primeiro dia.

O que é modo sombra e o que não é

Modo sombra é um padrão de operação, não um recurso de produto. O agente lê as mesmas informações que um colaborador vê, como a solicitação, o registro do pedido ou o documento anexado. Ele produz uma proposta estruturada, por exemplo "encaminhar para cobrança com este resumo" ou "emitir estorno parcial na linha contestada", e guarda essa proposta em um registro. Uma pessoa executa a ação real. Nada é enviado ao cliente, nada é lançado no financeiro e o agente não altera nenhum registro.

Modo sombra também é diferente de uma demonstração em ambiente controlado. Uma demo mostra como o agente se comporta em casos escolhidos por alguém, geralmente os mais limpos. Um período de sombra mostra como ele se comporta nos casos que realmente chegam, incluindo pedidos duplicados, campos vazios e observações escritas com pressa. Essa bagunça é o motivo para fazer o teste.

O modo sombra não elimina riscos. Um agente que lê dados reais continua tratando informações pessoais e comerciais, então o escopo de acesso, a retenção e as regras de manuseio valem desde o primeiro dia. As permissões de leitura devem cobrir apenas os campos que a equipe usa para aquela decisão. O guia de autorização do OWASP é uma referência útil para definir esses escopos, porque o princípio é o mesmo, seja o leitor uma pessoa ou um processo: conceder o menor acesso que a tarefa exige. Para entender como o próprio desenho do fluxo influencia essa decisão, vale também conferir o teste de agentes em modo de observação.

Escolha uma decisão que o agente vai acompanhar

Escolha uma decisão que aconteça com frequência suficiente para gerar uma amostra útil dentro da sua janela de teste, que tenha um resultado observável e que tenha um único responsável. Evite decisões que dependem de um julgamento que ninguém escreveu. Evite também decisões em que um erro é grave e difícil de reverter, pelo menos até que a equipe tenha visto o comportamento do agente por um tempo.

Bons primeiros candidatos são rotineiros e delimitados: classificar solicitações recebidas, redigir o próximo passo de um caso padrão ou verificar se um documento enviado está completo antes da revisão humana. Candidatos mais fracos incluem negociações em andamento, exceções à política e qualquer coisa que mexa com valores que a equipe ainda não discutiu formalmente.

Antes de configurar qualquer coisa, escreva uma frase que nomeie a decisão, a informação que o agente pode ler, a saída que ele pode propor e a pessoa que dá a palavra final. Se essa frase é difícil de escrever, a tarefa ainda não está pronta para um agente, e o período de sombra vai medir sobretudo a confusão.

Um plano passo a passo para o período de sombra

O teste funciona quando a montagem é simples e as regras estão fixadas antes do primeiro caso chegar. A sequência a seguir mantém a comparação honesta.

• Escreva uma ficha da decisão com a decisão, as informações legíveis, o formato da proposta e o responsável pela decisão final.
• Congele a versão da política que a equipe segue, para que pessoas e agente sejam avaliados pelas mesmas regras.
• Dê ao agente acesso somente leitura aos campos exatos usados na decisão e registre cada leitura.
• Exija propostas em campos estruturados: tipo de ação, parâmetros, um motivo de uma frase que cite a informação usada e, se o sistema fornecer, uma nota de confiança.
• Execute o agente sobre casos reais em paralelo com a equipe. A saída é armazenada e nunca executada.
• Registre a decisão humana de cada caso, com um motivo sempre que ela for diferente da proposta.
• Não peça à equipe que mude o comportamento para se parecer com o agente. A diferença é justamente a informação que você está coletando.
• Revise as divergências semanalmente com o responsável e classifique cada uma pelas categorias descritas abaixo.
• Defina o tamanho da janela antes e não a estenda só porque os resultados parecem quase certos. Prolongar um teste depois de ver os números enviesa o resultado.
• Feche a janela com uma decisão por escrito: continuar em sombra, reduzir o escopo ou propor uma permissão de escrita específica.

Como medir a concordância sem se enganar

Uma taxa única de concordância esconde justamente os casos que mais importam. Duas propostas podem ser diferentes na redação e ainda assim produzir o mesmo resultado de negócio, enquanto uma proposta que parece próxima pode mandar um caso sensível para a equipe errada. Use categorias em vez de uma média, e escreva a regra de cada categoria antes de começar a revisão.

• Concordância: mesma ação com os mesmos parâmetros.
• Variação aceitável: redação ou ordem dos passos diferentes, mesmo resultado de negócio, confirmado pelo responsável.
• Proposta errada: ação diferente que produziria um resultado pior. Registre o motivo.
• Proposta insegura: ação que cruzaria um limite de política, exporia dados ou alcançaria fora do escopo do agente. Qualquer proposta insegura pausa o teste para revisão.
• Indefinido: a decisão humana em si era discutível. Acompanhe esses casos separadamente, porque geralmente apontam para uma lacuna na política.

Se você usar outro modelo para avaliar a concordância, trate esse avaliador como um componente que também precisa de checagem. Peça ao responsável que avalie uma amostra à mão primeiro e só depois compare. Avaliar agentes exige definir o que significa sucesso antes de ler as notas. Um período de sombra sem categorias escritas tende a terminar em uma sensação, e não em uma decisão.

Cenário ilustrativo: a fila de triagem de solicitações

Cenário ilustrativo, não é um caso de cliente: uma caixa de entrada compartilhada recebe dúvidas sobre faturas. A equipe marca cada mensagem e a encaminha para cobrança, vendas ou para o gestor de contas. O agente acompanha as mesmas mensagens durante uma janela fixa e propõe um destino para cada uma.

Na primeira revisão, o agente coincide com a equipe na maioria das mensagens, o que parece promissor. As divergências, porém, formam um padrão. Mensagens que mencionam parcelamento vão para cobrança nas propostas do agente, mas para o gestor de contas nas decisões da equipe, porque o time sabe que os parcelamentos de certas contas são negociados pelo gestor. O responsável registra isso como regra de roteamento, a política é atualizada, e a revisão seguinte mostra a divergência diminuindo. A categoria estava escondida no índice geral até alguém ler os motivos.

Só depois que essa regra se sustenta durante toda a janela alguém considera uma permissão de escrita, e mesmo assim apenas para o roteamento, com um registro para cada movimentação e um único interruptor que devolve a caixa de entrada ao atendimento manual.

Quando liberar a escrita, e como a Be Human trabalha nisso

O fim de um período de sombra deve produzir uma de quatro decisões, e a escolha deve ser registrada com suas evidências. Use o guia abaixo como uma lista de verificação, não como uma nota.

• Continue em sombra se as divergências se concentram em uma categoria que você ainda não explicou.
• Reduza o escopo se o agente é confiável nos casos rotineiros, mas erra de forma consistente em um subtipo que você consegue nomear e excluir.
• Proponha uma permissão de escrita se não houve propostas inseguras, se os casos indefinidos foram resolvidos com mudanças de política e se o responsável aceita o caminho de reversão.
• Não conceda acesso amplo só porque o teste foi bem. Conceda apenas a ação única que você testou, com as mesmas entradas e os mesmos limites.

Uma permissão de escrita só está pronta quando alguém consegue desativá-la em um único passo, sabe quem está autorizado a fazer isso e consegue ver nos registros o que o agente fez e por quê. Cada ação também deve ser gravada com detalhes suficientes para reconstruir a decisão depois. Os campos que tornam isso possível estão descritos no guia sobre trilha de auditoria de agentes de IA.

A Be Human desenha e opera esse tipo de estrutura como serviço gerenciado. Uma primeira etapa define o papel único, a memória e as ferramentas necessárias, os limites de aprovação e o critério de sucesso observável, para que o período de sombra teste os mesmos limites em que o agente vai operar depois. A operação gerenciada então mantém os registros, executa avaliações recorrentes, revisa permissões conforme pessoas e sistemas mudam e cuida de incidentes caso alguma proposta causasse dano. O serviço é remoto e disponível em inglês e português.

Se você ainda não sabe qual decisão da sua equipe merece o primeiro teste em modo sombra, o diagnóstico gratuito de IA da Be Human pode ajudar a encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

O modo sombra exige um ambiente de teste separado? Não necessariamente. O agente lê as entradas reais com acesso somente leitura, e suas propostas são armazenadas em vez de executadas, que é o núcleo do padrão. Um ambiente separado é útil para testar chamadas de ferramentas, mas não substitui um período de sombra com tráfego real, porque dados de testes raramente se parecem com a bagunça dos casos de produção.

Por quanto tempo o período de sombra deve durar? Defina o tamanho antes de o teste começar, com base em com que frequência a decisão escolhida acontece e em quanta variedade você precisa observar. Mantenha a janela fixa mesmo que os primeiros resultados pareçam fortes ou fracos. Mudar a duração depois de ver os resultados torna o desfecho difícil de confiar.

O agente pode ler dados reais de clientes durante o modo sombra? Pode, mas apenas dentro de um escopo que você definiu e documentou. Limite o acesso de leitura aos campos que a decisão exige, mantenha registros do que foi lido e aplique as mesmas regras de retenção e manuseio usadas com a equipe. Se os dados forem sensíveis, revise as restrições com o responsável pela privacidade antes de processar o primeiro caso.

E se a equipe começar a seguir as propostas do agente durante o teste? Isso compromete a comparação, então a regra precisa ser dita com clareza: as pessoas continuam trabalhando como de costume, e a saída do agente serve apenas para revisão. Se a equipe começar a copiar as propostas, você perde a capacidade de medir o agente contra o julgamento real. Registre os casos em que isso acontecer e considere o teste contaminado para esses casos.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.