Harness de IA agnóstico de modelo: troque o modelo sem reescrever
Separe o harness do modelo para trocar por um modelo mais forte depois, sem reconstruir seus agentes, memória, ferramentas ou permissões de IA.

Um harness de IA agnóstico de modelo é a camada que guarda tudo no agente, exceto o próprio modelo: instruções, memória, ferramentas, permissões, registros e regras de aprovação. Quando o harness acessa o modelo por meio de uma interface estreita e testada, a empresa consegue trocar o modelo alterando uma configuração e rodando de novo os seus testes, sem reescrever o agente. Este artigo explica onde traçar essa linha e como provar que a troca funciona de verdade antes de ela tocar no trabalho real.
Principais pontos
- O modelo é um componente substituível. Sua memória, suas ferramentas, suas permissões e seus registros não deveriam depender de qual modelo está rodando hoje.
- Defina uma interface estreita entre o harness e o modelo, cobrindo o que entra e o que sai, e mantenha os detalhes de cada fornecedor atrás dela.
- Mantenha permissões e regras de aprovação no harness, aplicadas fora do julgamento do próprio modelo.
- Teste cada modelo candidato com as suas tarefas e os seus critérios de sucesso antes de enviar trabalho real para ele, e mantenha o modelo anterior disponível para reverter.
- Trate a atualização de um modelo como uma mudança versionada, com registro escrito, e não como uma atualização silenciosa.
O que fica no harness e o que fica no modelo
O modelo lê texto e propõe o próximo passo. O harness faz tudo o que cerca esse passo: monta o contexto, decide quais ferramentas estão disponíveis, verifica o que o modelo pede para fazer, registra o que aconteceu e interrompe o ciclo quando uma condição é atingida. As orientações da Anthropic sobre como construir agentes eficazes apontam na mesma direção: os agentes mais confiáveis costumam ser montados com padrões simples e combináveis, e não com um único prompt enorme que tenta fazer tudo. Seu trabalho é tornar essa separação visível no seu sistema.
Uma divisão prática fica assim. Pertencem ao harness as instruções operacionais, a lista de ferramentas aprovadas, os esquemas de entrada e saída das ferramentas, o armazenamento de memória e suas regras de busca, o mapa de permissões, os limites de aprovação, os registros e as condições de parada. Pertencem ao modelo a compreensão da linguagem, a redação, a classificação e a escolha do próximo passo dentro das ferramentas permitidas. Se você perceber que uma regra de negócio existe apenas dentro de um prompt, como "nunca reembolsar acima do valor aprovado", transforme-a em uma verificação que o harness aplica. Um modelo mais forte não mantém essa promessa sozinho automaticamente, e um modelo mais fraco talvez nem consiga.
Como definir uma única interface entre o harness e o modelo?
A forma mais rápida de tornar um modelo substituível é decidir, por escrito, o que o harness envia e o que espera receber de volta. Mantenha estável o formato da requisição: a tarefa, o contexto aprovado, as ferramentas disponíveis com seus esquemas e o formato de saída. Na resposta, exija resultados estruturados que o harness consiga validar, como uma ação proposta com campos nomeados, e não um texto livre que precise ser interpretado. O artigo sobre saídas estruturadas para agentes de IA mostra como os esquemas permitem que o harness rejeite respostas malformadas antes que causem algum dano.
Mantenha os detalhes do fornecedor fora da lógica de negócio. Nomes de modelos, limites de tokens, formatos especiais de mensagem e recursos específicos de cada provedor devem ficar em um único módulo adaptador ou em um único arquivo de configuração. Quando um trecho do agente diz "se o modelo for X, faça Y", você criou uma dependência que vai quebrar na próxima troca. Algumas equipes direcionam tarefas diferentes para modelos diferentes, o que é um padrão sólido, mas as regras de direcionamento devem ser explícitas e fáceis de revisar. O guia sobre roteamento de modelos para agentes de IA explica como associar cada tarefa a um modelo sem espalhar essas escolhas pelo código.
Plano passo a passo para tornar seu agente agnóstico de modelo
Se você já tem um agente em operação, dá para torná-lo substituível sem uma reconstrução completa. O plano abaixo é deliberadamente sequencial, porque cada etapa gera a evidência necessária para a seguinte.
- Passo 1: Escreva, em uma página, a função do agente, suas entradas, suas saídas e o critério de sucesso. Nenhum modelo pode ser avaliado contra um objetivo que ninguém declarou.
- Passo 2: Liste todos os pontos em que o modelo atual é chamado e o que cada chamada deve devolver. A maioria dos agentes tem mais chamadas do que os responsáveis imaginam.
- Passo 3: Mova as configurações específicas do modelo para um único adaptador, com uma interface documentada. Remova qualquer desvio que verifique o nome do modelo fora desse adaptador.
- Passo 4: Tire as regras de negócio dos prompts e coloque-as como verificações do harness, incluindo limites de gasto, tipos de registro permitidos e aprovações obrigatórias.
- Passo 5: Monte um conjunto fixo de casos de teste a partir de tarefas reais passadas, incluindo casos difíceis e casos-limite, e registre o resultado esperado de cada um.
- Passo 6: Rode o modelo atual contra esse conjunto e guarde os resultados como linha de base.
- Passo 7: Rode o modelo candidato contra o mesmo conjunto, compare os resultados pelos critérios definidos no passo 1 e só então decida se vai direcionar trabalho real para ele.
- Passo 8: Deixe o modelo anterior configurado e pronto, para que a reversão seja uma mudança de configuração e não um projeto de emergência.
O checklist de harness para atualizar modelos com segurança pode servir como ferramenta de revisão depois que essas etapas estiverem no lugar.
Como testar um modelo mais forte antes de ele tocar no trabalho real?
Um modelo mais forte não é automaticamente o encaixe certo para o seu agente. Ele pode seguir instruções com mais rigor, usar ferramentas de outro jeito, produzir respostas mais longas, custar mais por tarefa ou lidar pior com os formatos de dados específicos da sua operação. O guia de avaliações da OpenAI descreve a prática geral de definir testes mensuráveis para o comportamento de modelos, e a mesma disciplina vale em ambiente de negócio. Sua avaliação deve medir o que importa para o dono da operação: se o registro certo foi atualizado, se uma mensagem foi enviada só depois da aprovação, se o agente parou quando deveria e se a saída passou na verificação de esquema.
Cenário ilustrativo: uma pequena empresa de serviços usa um agente que redige mensagens de acompanhamento para orçamentos sem resposta e registra cada rascunho no sistema de clientes. A equipe testa um modelo mais novo com uma amostra de orçamentos antigos. O novo modelo redige melhores mensagens, mas às vezes registra o identificador do orçamento errado. A verificação do harness que compara o identificador registrado com o registro de origem pega o erro durante o teste. A equipe melhora a descrição da ferramenta, roda o teste de novo e só então o modelo novo recebe tráfego real. O exemplo é hipotético, mas a sequência é a que vale copiar.
Compare os dois modelos com a mesma evidência, e não com impressões de algumas demonstrações. Registre as falhas, e não só os acertos, porque as falhas mostram quais regras do harness precisam ser reforçadas.
Mantenha permissões e aprovações fora do modelo
Trocar de modelo também é um evento de segurança, porque um modelo novo pode interpretar uma ferramenta ou uma instrução de maneira diferente. O desenho mais seguro parte do princípio de que o modelo pode errar ou ser manipulado, e aplica os limites importantes em código. A lista OWASP dos dez principais riscos em aplicações com LLM inclui problemas como excesso de autonomia e injeção de prompt, em que um texto de documento ou de página web tenta sobrescrever as instruções do agente. As orientações da OWASP sobre autorização deixam claro o princípio geral: verifique o acesso em cada requisição, e não apenas no início de uma sessão.
Na prática, isso significa que é o harness, e não o modelo, que decide se uma chamada de ferramenta é permitida. Cada identidade de agente deve ter uma lista de ações permitidas e de escopos de dados. Ações destrutivas ou externas, como enviar uma mensagem a um cliente ou alterar um registro de pagamento, devem exigir uma etapa de aprovação feita por uma pessoa identificada ou por uma regra que você consiga auditar. Quando você troca o modelo, essas permissões não mudam, e esse é exatamente o ponto: a autoridade do agente é uma propriedade do harness, então o modelo pode mudar sem ampliar o que o agente tem permissão para fazer.
Como a Be Human lida com trocas de modelo em operações gerenciadas
A Be Human projeta o harness para que o modelo seja um componente substituível, com interface definida, mapa de permissões, estrutura de memória e conjunto de avaliações. Em operações gerenciadas, as mudanças de modelo seguem o mesmo caminho controlado de outras mudanças: um candidato é testado contra o critério de sucesso acordado, comparado com a linha de base atual, liberado de forma limitada e mantido reversível. Monitoramento, avaliações recorrentes e revisões de permissão rodam depois da mudança, para que a empresa veja se o novo modelo se comporta como esperado. O atendimento é remoto, em português ou em inglês, e o primeiro projeto define o papel único do agente, suas ferramentas e seus limites de aprovação antes de qualquer escolha de modelo.
A decisão entre construir essa camada internamente ou usar uma plataforma externa é tratada em harness para agentes de IA: comprar ou construir quando o modelo muda, que compara o trabalho contínuo que cada opção deixa com a sua equipe.
Se você ainda não tem certeza de qual tarefa deve virar o seu primeiro agente, faça o diagnóstico gratuito de IA da Be Human para descobrir qual tarefa vale ser entregue a um agente primeiro.
Perguntas frequentes
O que é um harness de IA agnóstico de modelo? É a parte de um sistema de agentes que não é o modelo, incluindo instruções, memória, ferramentas, permissões, registros e regras de parada. Como essas peças ficam separadas, a empresa consegue trocar o modelo por baixo delas sem reescrever o agente. O harness permanece no lugar e aplica as mesmas regras de negócio, qualquer que seja o modelo ativo.
Como saber se meu agente atual está pronto para uma troca de modelo? Verifique se existe código específico de modelo fora de um único adaptador, se as regras de negócio existem apenas nos prompts e se você tem um conjunto fixo de casos de teste com resultados registrados. Se algum desses itens faltar, a troca será difícil de verificar. Construa primeiro esses três itens e depois rode o modelo candidato contra eles.
Um modelo mais forte torna minhas permissões e aprovações desnecessárias? Não. Um modelo mais forte pode reduzir alguns erros, mas permissões e aprovações devem ser aplicadas pelo harness, porque um modelo ainda pode interpretar mal instruções, ser influenciado por textos não confiáveis ou fazer uma escolha razoável, porém errada. Manter a autoridade no harness também significa que a troca de modelo não amplia silenciosamente o que o agente pode fazer.
Por quanto tempo devo manter o modelo anterior disponível depois de uma troca? Mantenha-o configurado até que o modelo novo passe por um período completo de revisão com trabalho real e as avaliações acordadas mostrem resultados estáveis. O prazo exato depende do volume e do risco das suas tarefas, então defina-o nas notas de liberação da sua operação. A reversão deve continuar sendo uma mudança de configuração que alguém da sua equipe consiga fazer sem uma emergência de engenharia.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


