Deriva de configuração do harness de IA: detecte mudanças sem revisão
Aprenda a detectar mudanças silenciosas em prompts de agentes, listas de ferramentas e configurações, e exija revisão humana antes que cheguem à produção.

A deriva de configuração do harness de IA é a mudança gradual, muitas vezes não anunciada, nas partes de uma configuração de agente que moldam seu comportamento: prompts de sistema, listas de ferramentas, permissões, identificadores de modelo e configurações de execução. Ela costuma aparecer tarde, quando uma resposta soa diferente ou uma ação cai no sistema errado. A solução é manter uma linha de base de cada componente do harness, comparar a versão em uso com essa linha de base em uma agenda e após cada release, e encaminhar qualquer mudança relevante a um revisor humano nomeado antes que ela toque o trabalho real.
Principais pontos
- Trate o prompt, a lista de ferramentas, as permissões, o modelo fixado e as configurações de execução como um único objeto versionado, e não como ajustes espalhados.
- Mantenha uma linha de base conhecida como boa e compare cada harness implantado com ela, para que edições silenciosas virem diferenças visíveis.
- Classifique cada diferença por risco, como texto, novas ferramentas, permissões ampliadas ou troca de modelo, em vez de classificar por quem fez a mudança.
- Exija que um responsável nomeado aprove qualquer mudança que amplie acesso a ferramentas, escopo de dados ou autonomia, e registre o motivo.
- Rode as mudanças em um ambiente de teste com o mesmo conjunto de avaliação antes do release, e mantenha um caminho de reversão testado.
O que conta como deriva do harness?
Deriva é qualquer distância entre o que sua equipe acredita que um agente está configurado para fazer e o que ele está de fato configurado para fazer. Raramente ela nasce de um erro grave e isolado. Normalmente vem de pequenas edições: um prompt de sistema copiado de um documento compartilhado para um painel, uma ferramenta adicionada durante uma sessão de depuração e nunca removida, um escopo de permissão ampliado para que um teste passasse, um alias de modelo que o fornecedor apontou para uma versão mais nova, ou um limite de passos elevado porque uma tarefa longa continuava parando.
Quase todas essas edições são razoáveis isoladamente. O problema é que nada as registra como mudanças, então ninguém as revisa, e o comportamento do agente muda sem uma decisão que alguém possa apontar. Quando um incidente acontece, a equipe precisa reconstruir de memória e de conversas no chat como o harness estava na semana passada.
Monte uma linha de base que você consiga comparar
Uma linha de base é um registro completo e legível do harness em um ponto conhecido como bom. Se você não consegue compará-la com a versão atual, não consegue detectar deriva. No mínimo, registre estes componentes:
- O prompt de sistema e quaisquer instruções injetadas, guardados como texto exato.
- A lista de ferramentas, com o nome, a descrição e o esquema de entrada de cada uma, além dos sistemas que ela toca.
- As permissões de cada ferramenta: leitura, escrita, envio, exclusão e qualquer etapa de aprovação antes delas.
- O identificador do modelo, a versão do fornecedor quando disponível e as regras de roteamento entre modelos.
- As configurações de execução: número máximo de passos, tempos limite, limites de tentativas e de tamanho de saída.
- As fontes de memória e o escopo de busca que o agente pode consultar.
- Os hooks e as condições de parada que decidem quando o agente confere seu trabalho ou interrompe a execução.
Guarde esses itens como arquivos em uma estrutura única, que as pessoas consigam ler e revisar, em vez de valores espalhados por painéis. Uma estrutura de arquivos revisável torna a própria diferença útil, porque o revisor vê exatamente qual linha mudou. A organização do espaço de trabalho do agente é uma forma prática de montar essa estrutura.
Uma linha de base que existe apenas na cabeça de alguém não é uma linha de base.
Como detectar mudanças automaticamente?
A detecção funciona melhor como rotina, e não como auditoria pontual. O plano a seguir é simples o bastante para rodar com uma tarefa agendada e uma fila de revisão compartilhada:
- Passo 1: exporte o harness em produção para o mesmo formato de arquivo da linha de base, em uma agenda fixa e após cada implantação.
- Passo 2: compare primeiro os hashes do conteúdo. Se o hash for igual, nada mudou. Se for diferente, gere uma diferença legível por pessoas.
- Passo 3: classifique cada diferença por risco: somente texto, ferramenta nova ou alterada, permissão alterada, modelo ou roteamento alterado, ou limite e condição de parada alterados.
- Passo 4: envie as diferenças de alto risco à fila do revisor imediatamente, e envie as de texto de baixo risco a um resumo diário.
- Passo 5: registre quem ou o que fez a mudança, quando aconteceu e o motivo declarado. Um motivo vazio já é um achado.
- Passo 6: anexe a versão do harness a cada registro de execução, para que o comportamento possa ser rastreado até a configuração exata que o produziu.
O último passo importa mais do que parece. Registros estruturados de execução com um identificador de versão permitem perguntar qual configuração gerou determinada resposta, que é a pergunta básica para a qual a observabilidade existe. Os conceitos de traces, métricas e logs descritos na documentação do OpenTelemetry são uma boa referência geral para pensar nisso.
Os hooks são o lugar natural para algumas dessas verificações. Um hook de pré-ação pode confirmar que a lista de ferramentas corresponde à versão aprovada antes de a execução começar, e um hook de pós-ação pode confirmar que as saídas ainda seguem o esquema esperado. O guia de hooks para verificações automáticas explica como configurá-los.
Por que checar o hash não basta
Um hash informa que o texto mudou. Ele não informa que o comportamento mudou, e parte da deriva mais importante não envolve nenhuma mudança de texto. Um fornecedor pode atualizar o modelo por trás de um identificador, um índice de busca pode ser reconstruído com outros documentos, ou o backend de uma ferramenta pode começar a devolver resultados em outro formato. Em todos esses casos os arquivos do harness são idênticos, e ainda assim o agente se comporta de outro jeito.
Por isso, combine a comparação de diferenças com uma avaliação recorrente. Mantenha um conjunto fixo de tarefas representativas, com resultados esperados ou critérios de pontuação, e rode-o contra o harness em produção em uma agenda. Quando a pontuação se move, ou quando um caso específico falha depois de ter passado antes, você tem um sinal comportamental mesmo sem nenhum arquivo alterado. O desenho de avaliações é uma disciplina própria, e vale ler as notas da Anthropic sobre avaliações de agentes antes de montar o seu conjunto.
Quais mudanças exigem revisão antes da produção?
Nem toda mudança merece o mesmo rigor. Um revisor obrigado a aprovar uma vírgula deixa a fila de lado em poucos dias. Use um guia curto de decisão que ligue a aprovação às consequências:
- Mudanças de tom ou formatação no texto: o revisor vê a diferença e pode aprovar em lote.
- Descrições de ferramentas novas ou alteradas: o revisor confirma que a descrição corresponde ao que a ferramenta realmente faz e que o agente não a escolherá para a tarefa errada. A abordagem de lista de ferramentas permitidas ajuda a manter essa lista curta.
- Qualquer ampliação de permissão, incluindo acesso de escrita, envio ou exclusão: um responsável nomeado aprova, e o motivo fica registrado.
- Mudanças de modelo ou de roteamento: a mudança roda em ambiente de teste contra o conjunto de avaliação antes de chegar a qualquer trabalho real.
- Mudanças em condições de parada, orçamentos ou limites de tentativas: o responsável e o líder de operações aprovam juntos, porque elas decidem quando o agente para e quando continua.
Teste as mudanças em um ambiente que espelhe a produção, mas que não consiga enviar mensagens reais nem alterar registros reais. A diferença entre teste e ambiente real é tratada em por que ter ambiente de teste e de produção. Os textos de prompt também merecem salvaguardas básicas contra entradas manipuladas, e as orientações da OWASP sobre prevenção de injeção de prompt descrevem os padrões mais comuns a revisar.
Cenário ilustrativo: um agente de suporte que ganhou um botão de reembolso
O que segue é um cenário ilustrativo, não o relato de um cliente real. Um agente de suporte está configurado para sugerir reembolsos que um humano aprova. Durante uma sessão de depuração tarde da noite, um engenheiro adiciona uma ferramenta que pode emitir reembolsos diretamente, para que o fluxo de teste termine sem esperar aprovação. A mudança é feita com pressa, e a descrição da ferramenta é copiada da documentação do fornecedor.
A comparação agendada seguinte classifica a mudança como ampliação de permissão, porque a nova ferramenta escreve em um sistema de pagamento. A diferença fica retida na fila do revisor. O revisor percebe que a etapa de aprovação foi removida junto com a ferramenta e que o motivo declarado era apenas "teste". A mudança é rejeitada, a versão anterior é restaurada, e a equipe passa a ter a regra de que ferramenta com escrita não pode ser adicionada fora de uma execução em ambiente de teste. Sem a comparação, o primeiro sinal do problema teria sido um reembolso que ninguém aprovou.
Os princípios de autorização também se aplicam aqui. As orientações da OWASP sobre autorização descrevem a ideia geral de conceder apenas o acesso que cada função precisa, e a lista de ferramentas de um agente é uma forma de concessão de acesso.
Como a Be Human lida com a deriva em operações gerenciadas?
A Be Human projeta e opera agentes de IA cuja identidade, memória, canais, ferramentas, permissões e contexto operacional permanecem sob controle humano. No modelo gerenciado, a linha de base de cada agente é mantida como parte dos próprios arquivos do agente, as comparações rodam em agenda e após os releases, e as mudanças que ampliam permissões vão a um aprovador nomeado antes de entrar em vigor. Monitoramento e avaliações recorrentes cobrem o comportamento e não apenas a configuração, e as revisões de permissão são agendadas para que um acesso concedido para um teste não permaneça em produção sem ninguém perceber. As melhorias controladas seguem pelo mesmo caminho de revisão, para que as pessoas responsáveis pelo trabalho vejam o que mudou e por quê.
Se você não tem certeza de qual dos seus agentes ou fluxos atuais sofreria mais com uma mudança sem revisão, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.
Perguntas frequentes
Precisamos de engenheiros para acompanhar a deriva do harness? Você precisa de alguém que consiga ler os arquivos da linha de base e entender o que uma ferramenta pode fazer, mas a rotina em si não precisa ser pesada. Uma exportação agendada, uma comparação e uma fila de revisão curta podem ser executadas por um líder de operações depois que a linha de base estiver montada. A ajuda de engenharia é mais útil quando a diferença revela uma ferramenta ou permissão que precisa ser refeita.
A checagem por hash é suficiente para pegar mudanças silenciosas? A checagem por hash detecta qualquer mudança de texto, o que é uma primeira camada forte, mas não enxerga mudanças de comportamento causadas por uma atualização de modelo ou por uma fonte de dados alterada. Combine-a com um conjunto fixo de avaliação que roda em agenda e avisa quando os resultados se movem. Juntos, os dois sinais cobrem o que mudou e como o agente se comporta agora.
Quem deve aprovar mudanças no harness? O aprovador deve ser a pessoa responsável pelo resultado do trabalho, com um segundo revisor para mudanças que afetem ferramentas, permissões ou condições de parada. Mudanças de texto de baixo risco podem ser aprovadas em lote pelo líder de operações. A regra importante é que cada aprovação fique registrada com um motivo, para que o histórico explique cada alteração.
Onde a linha de base deve ficar guardada? Mantenha a linha de base no mesmo lugar dos demais arquivos revisáveis do agente, sob controle de versão, para que cada mudança tenha histórico e uma versão anterior possa ser restaurada. Evite manter a cópia oficial apenas em um painel do fornecedor ou em uma conversa de chat. Se uma configuração não pode ser exportada e comparada, trate isso como uma lacuna a fechar antes que vire incidente.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


