Ir para conteúdo
be-human.ai
← Voltar ao blog

Fundamentos de harness

Ambiente sandbox para agentes de IA: teste mudanças antes de irem ao ar

Veja como montar um sandbox para agentes de IA que copia ferramentas de produção, bloqueia efeitos reais e comprova uma mudança antes do lançamento.

Capa tipográfica do Be Human com o título: Ambiente sandbox para agentes de IA: teste mudanças antes de irem ao ar
Ilustração conceitual criada com IA · Be Human

Um sandbox para agentes de IA é um ambiente isolado que executa o agente contra cópias das ferramentas, formatos de dados e permissões que ele usa em produção. Toda ação com efeito real vai para um sistema de teste ou para uma resposta gravada. Nenhum cliente recebe mensagem, nenhum registro é alterado e nenhum pagamento externo é tentado. Você usa esse ambiente para rodar uma mudança sobre um conjunto fixo de tarefas realistas, ler os rastros e decidir se a mudança merece um caminho até os sistemas reais.

Principais pontos

  • Um sandbox só é útil quando suas ferramentas, formatos de dados e permissões se comportam de forma parecida com a produção, a ponto de um resultado positivo significar alguma coisa.
  • Os efeitos colaterais precisam ser bloqueados na fronteira das ferramentas, porque uma instrução como 'não envie e-mails' no prompt é um pedido, não um controle.
  • Teste com um conjunto fixo de tarefas que inclua casos comuns e casos de falha conhecidos, e avalie cada execução com critérios escritos antes do teste começar.
  • Leia o rastro de cada execução, e não apenas a nota final, para ver qual chamada de ferramenta ou decisão causou a falha.
  • Promova as mudanças em etapas, com um gatilho de reversão definido antes do primeiro lançamento real.

Por que um sandbox não é apenas uma cópia de homologação do seu app

Um ambiente de homologação para uma aplicação web verifica, principalmente, se o código se comporta como foi escrito. Um sandbox para agentes verifica algo mais difícil: o que o agente decide fazer. O mesmo prompt pode gerar chamadas de ferramenta diferentes em execuções diferentes, o modelo por trás de uma interface estável pode mudar e o resultado de uma ferramenta pode ser ambíguo. Por isso o sandbox precisa cumprir duas funções. Ele deve reproduzir o ambiente com fidelidade suficiente para revelar decisões ruins, e deve ser repetível o bastante para que você compare uma versão de referência com uma versão candidata usando as mesmas entradas.

Por isso, uma demonstração impressionante prova pouco. O sandbox é um instrumento de medição, e seu valor depende de as tarefas serem representativas, de as ferramentas responderem como as reais e de cada execução ser registrada de um modo que alguém consiga revisar depois. A introdução ao OpenTelemetry defende o mesmo princípio para software em geral: não dá para julgar um sistema só pelas saídas, então coletamos sinais que mostram como o trabalho passou por ele. No caso de um agente, o sinal mais útil é o rastro de cada execução. Se você quer uma definição mais ampla antes de montar um, a explicação sobre o que é sandbox para agentes de IA cobre os fundamentos.

O que o sandbox precisa copiar da produção

Comece pelas partes da produção que moldam o comportamento. Copie os esquemas das ferramentas com exatidão, incluindo campos obrigatórios, valores permitidos e formatos de erro. Um harness que valida saídas vai se comportar de forma diferente se a versão de teste de uma ferramenta aceitar qualquer coisa que o agente envie. Copie também os formatos de dados, como os campos de um cadastro de cliente ou de uma ordem de serviço, e inclua os casos incômodos: telefone ausente, registros duplicados, observações escritas em dois idiomas, datas digitadas de formas inconsistentes. Copie os escopos de permissão, para que o agente encontre na testagem os mesmos limites que encontrará em operação.

Copie menos os dados em si. Dados reais de clientes raramente são necessários para testar uma decisão. Registros sintéticos que seguem o mesmo formato e incluem os casos de borda normalmente bastam, e mantêm dados pessoais fora dos logs de teste. Se for preciso usar registros reais, aplique o mesmo isolamento que você usaria na produção e limite quem pode ler os rastros. A checklist sobre isolamento de dados de clientes para agentes de IA cobre esse trabalho com mais detalhe.

Copie também os limites operacionais: limites de requisições, tempos de espera e o orçamento de passos de cada tarefa. Um agente que tem sucesso no sandbox, com limites generosos, pode falhar em produção ao esgotar os passos no meio de um trabalho. Essa falha vai parecer um problema do modelo, quando na verdade é uma lacuna de configuração.

Como impedir efeitos colaterais sem quebrar o teste

A regra mais importante é que o sandbox não pode depender de bom comportamento para ser seguro. O bloqueio tem de acontecer na camada de ferramentas. Cada ferramenta de escrita no sandbox deve devolver uma resposta gravada ou agir sobre um alvo de teste, como uma caixa de e-mail de teste, uma agenda de teste ou um banco de dados separado. Mensagens de saída vão para um endereço interno. Ferramentas de pagamento e de envio externo são substituídas por stubs que devolvem a mesma resposta que a produção devolveria, sem transmitir nada.

As credenciais exigem a mesma disciplina. Não reutilize tokens de produção no sandbox. Dê ao sandbox identidades próprias, com apenas os escopos que o teste exige. O Authorization Cheat Sheet da OWASP descreve o princípio geral: decisões de acesso devem ser aplicadas pelo sistema, com regras explícitas, e não deixadas para o código que chama lembrar de respeitá-las. Um sandbox que herda chaves de produção está a um erro de configuração de uma ação real.

Mantenha os stubs honestos. Um stub que sempre devolve sucesso esconde justamente as falhas que você mais precisa ver. Inclua respostas de erro, tempos esgotados, resultados parciais e registros conflitantes. Um bom sandbox testa o que o agente faz quando uma ferramenta diz não, porque é nesse ponto que agentes mais costumam improvisar.

  • Teste as ferramentas de escrita com os formatos de erro reais, e não apenas com respostas de sucesso.
  • Direcione toda mensagem, fatura ou envio de saída para um destino de teste.
  • Use identidades de teste separadas, com o mínimo de escopos que a tarefa exige.
  • Registre cada ação bloqueada para confirmar que o bloqueio aconteceu.

Plano passo a passo para testar uma mudança antes de publicar

Use esta sequência para qualquer mudança em prompt, ferramenta, modelo, fonte de memória ou permissão. Cada etapa é curta de propósito, porque a maioria dos lançamentos que deram errado pulou uma delas.

  • Escreva a única tarefa que a mudança deve melhorar e o critério que mostra sucesso, em termos simples.
  • Monte um conjunto fixo de tarefas a partir de pedidos passados, incluindo casos comuns, casos de borda e casos que a versão atual trata mal.
  • Prepare o sandbox com esquemas copiados, dados sintéticos ou isolados e ferramentas de escrita substituídas por stubs que devolvam erros realistas.
  • Rode a versão atual sobre o conjunto completo de tarefas e salve cada rastro como referência.
  • Rode a versão candidata sobre as mesmas tarefas, repetindo os casos em que a saída do modelo varia, e salve também esses rastros.
  • Revise os rastros onde as duas versões diferem e registre a chamada de ferramenta ou a decisão por trás de cada falha.
  • Decida se a candidata atende ao critério sem novas falhas nos casos que mais importam para o negócio.
  • Libere para os sistemas reais em um escopo estreito, com um gatilho de reversão escrito antes do lançamento.

A etapa de lançamento merece disciplina própria. O artigo sobre lançamento gradual de prompts de agente de IA explica como enviar uma pequena parcela do trabalho real para a nova versão e voltar rapidamente à anterior. O sandbox conquista o direito a um lançamento gradual. Ele não substitui esse lançamento.

Exemplo ilustrativo: um agente de orçamentos recebe uma nova regra de desconto

Exemplo ilustrativo, não é um caso real: uma pequena empresa de serviços tem um agente que redige orçamentos a partir de pedidos recebidos por e-mail. A dona quer aplicar um desconto sazonal em serviços combinados. A equipe monta um sandbox com a ferramenta de orçamento copiada da produção, um conjunto de pedidos passados que inclui combinações de serviços, trabalhos em vários endereços e mensagens com observações fora do padrão, e uma ferramenta de envio substituída por stub que grava os rascunhos em uma pasta interna.

A versão atual redige orçamentos corretos para pedidos simples. A candidata também acerta os pedidos simples, que era o que a equipe esperava ver. A revisão dos rastros, porém, mostra outro problema. Nos pedidos combinados, a candidata chama a ferramenta de orçamento duas vezes, e a segunda chamada aplica o desconto sobre um total que já o incluía. A saída final ainda parecia plausível à primeira vista, então uma revisão apenas pela nota teria aprovado a mudança.

A equipe acrescenta uma verificação que compara o total com desconto à soma dos itens antes de qualquer rascunho ser gravado, corrige a instrução, roda novamente o conjunto completo de tarefas e só então agenda um lançamento gradual e restrito. O exemplo mostra por que um sandbox precisa de um conjunto fixo de tarefas e de revisão no nível do rastro.

Como avaliar as evidências de uma rodada no sandbox

Use verificações determinísticas sempre que a resposta puder ser checada de forma mecânica. Totais podem ser recalculados, campos obrigatórios podem ser validados e ferramentas proibidas podem ser sinalizadas se aparecerem em um rastro. Reserve avaliadores baseados em modelo para julgamentos que resistem a regras simples, como completude ou tom, e confira esses avaliadores contra uma revisão humana em uma amostra. O artigo sobre juízes baseados em LLM para avaliar agentes descreve onde esses avaliadores costumam enganar.

Espere variação. O guia de evals da OpenAI e os textos da Anthropic sobre avaliação de agentes de IA tratam a avaliação como um teste repetível, com tarefas e critérios definidos, e não como uma impressão isolada. Repita as execuções o suficiente para saber se uma falha é ocasional ou sistemática. Registre a versão do modelo, a versão do prompt e a versão do esquema de ferramentas em cada resultado, para que uma comparação posterior seja honesta sobre o que mudou.

Guarde os rastros como evidência. Para cada execução, armazene a sequência de decisões, as entradas e saídas das ferramentas e o motivo da parada. Sem eles, uma avaliação que falhou diz que algo deu errado, mas não diz onde.

Como a Be Human opera isso em operações gerenciadas

A Be Human desenha o sandbox junto com o primeiro papel do agente, de modo que as ferramentas copiadas, as ações de escrita substituídas por stubs e os escopos de permissão saem do mesmo documento de limites que define o agente. Em operações gerenciadas, a equipe mantém o conjunto fixo de tarefas atualizado conforme o negócio muda, roda novamente as avaliações recorrentes após cada mudança de modelo ou prompt, revisa os escopos de permissão em uma agenda e mantém o histórico de mudanças em um formato que o responsável pelas operações consegue ler. O sandbox é tratado como parte do sistema, com um dono e uma rotina de atualização, e não como um projeto paralelo que se afasta da produção com o tempo.

Se você ainda não tem certeza de qual tarefa merece um sandbox primeiro, o diagnóstico gratuito de IA da Be Human é uma forma prática de identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Em que um sandbox para agentes de IA difere de um ambiente de homologação? Um ambiente de homologação verifica principalmente se o código da aplicação funciona como foi escrito. Um sandbox para agente também verifica as decisões do agente, que podem variar entre execuções, por isso precisa de um conjunto fixo de tarefas, execuções repetidas e rastros guardados. Os dois são úteis, e uma estrutura madura normalmente tem os dois.

Preciso usar dados reais de clientes em um sandbox de agente? Normalmente não. Registros sintéticos que seguem o formato da produção e incluem as situações confusas do dia a dia bastam para testar a maioria das decisões, e mantêm dados pessoais fora dos logs de teste. Se registros reais forem indispensáveis, aplique os mesmos controles de acesso que usa na produção e limite quem pode ler os rastros.

Como saber se o resultado de um sandbox é confiável o bastante para liberar uma mudança? O resultado é confiável quando as tarefas representam trabalho real, os stubs devolvem erros realistas, as verificações de resultado são mecânicas sempre que possível e os rastros não mostram novas falhas nos casos que mais importam. Mesmo assim, libere por meio de um escopo real restrito, com gatilho de reversão, porque o sandbox reduz o risco, mas não o elimina.

Um sandbox consegue provar que um agente é seguro para operar sem supervisão? Não. O sandbox mostra como o agente se comportou nas tarefas e nas condições que você testou, o que é uma evidência valiosa, mas não uma garantia sobre todos os pedidos futuros. A autonomia deve ser ampliada gradualmente, com base em resultados monitorados em operação real, limites de aprovação claros e uma revisão do que o agente fez quando estava em dúvida.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →