Infraestrutura de IA personalizada
Roteamento de múltiplos modelos para agentes de IA: quando trocar
Saiba quando enviar tarefas de agentes de IA a modelos diferentes, como manter o harness constante e como registrar cada decisão de roteamento para revisão.

Roteamento de múltiplos modelos significa enviar cada tarefa que um agente de IA recebe ao modelo mais adequado para ela, com base no risco da tarefa, na sensibilidade dos dados, no tempo de resposta e nos limites de custo. O harness, que é o conjunto de instruções, ferramentas, escopos de memória, verificações de permissão e registros em volta do modelo, permanece igual em todas as rotas. Cada decisão de roteamento também deve ser registrada junto com o motivo, para que uma pessoa possa revisá-la depois.
Principais pontos
- Roteie primeiro por classe de tarefa, risco e sensibilidade dos dados, e por reputação do modelo só por último.
- Mantenha um único harness para todos os modelos: as mesmas instruções, definições de ferramentas, verificações de permissão e escopos de memória.
- Registre cada decisão de roteamento com a regra que escolheu o modelo, a versão do modelo, as ferramentas usadas e o resultado.
- Teste cada rota com um conjunto de avaliação fixo antes que ela atenda trabalho real, e refaça esse teste a cada mudança.
- Trate as regras de roteamento como configuração sob controle de mudanças e revise-as em uma agenda definida.
Por que um agente não deve depender de um só modelo
Um único modelo raramente serve para todas as tarefas que um agente executa. Redigir uma resposta a cliente, classificar um pedido de entrada, ler um contrato longo e decidir se um reembolso precisa de aprovação exigem profundidade de raciocínio, velocidade, tamanho de contexto e custo diferentes. Uma empresa que prende o agente inteiro a um único modelo paga mais do que o necessário pelas etapas rotineiras ou aceita resultados fracos nas etapas difíceis. O roteamento trata os modelos como componentes escolhidos por tarefa, e não como a identidade do agente.
O benefício não se resume ao custo. O roteamento também dá à empresa margem para reagir quando um fornecedor muda preços, aposenta um modelo ou lança outro que tem melhor desempenho em uma tarefa específica. O risco é que o agente passe a depender, sem que ninguém perceba, dos hábitos de um modelo e não de instruções e ferramentas documentadas. Nesse caso, cada troca vira uma reconstrução. A disciplina descrita nas seções abaixo mantém as trocas pequenas. A mesma preocupação com dependência aparece em dependência de fornecedor em agentes de IA.
Comece por uma tabela de roteamento, não por preferência de modelo
Antes de escolher qualquer modelo, liste as classes de tarefa que o agente executa e atribua a cada uma quatro propriedades: o custo de uma resposta errada, a sensibilidade dos dados envolvidos, quanto tempo uma pessoa pode esperar e o custo por tarefa que o negócio aceita. Depois, escreva cada regra de roteamento em linguagem simples. Regras baseadas em preferência por uma marca ou em um benchmark de manchete são difíceis de defender quando algo dá errado.
Um guia prático de decisão:
- Se a tarefa pode executar uma ação externa, como enviar uma mensagem, alterar um registro de cliente ou publicar conteúdo, envie-a ao modelo mais capaz que você aprovou e exija uma etapa de aprovação humana antes que a ação seja executada.
- Se a tarefa é classificação ou extração de um formato conhecido, envie-a a um modelo menor e mais rápido e valide a saída contra um esquema.
- Se a tarefa envolve dados pessoais ou regulados, envie-a apenas a um modelo e a uma hospedagem que a política de dados da empresa já aprova, mesmo que outro modelo mostre ganhos de qualidade.
- Se a tarefa exige contexto longo, como um conjunto completo de políticas ou um histórico extenso de conversa, recupere primeiro apenas os trechos relevantes. Enviar menos contexto, escolhido com cuidado, costuma ser mais barato e mais fácil de conferir do que enviar tudo para uma janela maior.
- Se a entrada é ambígua ou o modelo indica baixa confiança, direcione a tarefa a um caminho alternativo que faça uma pergunta de esclarecimento ou encaminhe o caso a uma pessoa, em vez de adivinhar.
Uma tabela de roteamento que precisa de uma nota de rodapé longa costuma ser duas regras disfarçadas de uma. Mantenha-a curta o bastante para que um líder de operações a leia em poucos minutos e explique cada linha.
Mantenha o harness constante entre modelos
O harness é tudo o que fica em volta do modelo: instruções de sistema, definições de ferramentas, a memória que o agente pode ler, verificações de permissão, esquemas de saída, comportamento de nova tentativa e registros. Guarde essas peças em um lugar único e versionado e trate o modelo como um parâmetro definido pela tabela de roteamento. Um harness pequeno e explícito é mais fácil de auditar do que um harness engenhoso. As orientações da Anthropic sobre a construção de agentes eficazes defendem o mesmo caminho, com padrões simples e combináveis.
Uma lista para manter o harness estável:
- As definições de ferramentas são escritas uma vez, com nomes, argumentos e descrições que não dependem do estilo de um modelo específico.
- As permissões são aplicadas pelo harness e pelos sistemas que ele chama, nunca por um pedido ao modelo para que ele se abstenha de uma ação.
- Os escopos de memória são idênticos em todas as rotas, para que uma rota mais barata não consiga ler registros que a rota mais forte não pode ver.
- Toda saída é verificada contra um esquema antes que qualquer ação seja executada, qualquer que seja o modelo que a produziu.
- Os prompts são guardados como arquivos versionados com histórico de alterações, e uma mudança de prompt passa pela mesma revisão de uma mudança de modelo.
- Toda ferramenta que escreve em um sistema da empresa aceita uma chave de idempotência, para que uma nova tentativa em outro modelo não envie a mesma mensagem nem crie o mesmo registro duas vezes. A Stripe documenta esse padrão em sua API, e ele serve bem a ferramentas internas.
Documentos recuperados, e-mails de entrada e páginas da web podem conter texto escrito para manipular o modelo. As orientações da OWASP sobre prevenção de injeção de prompt são uma base útil nesse ponto. Trate a saída do modelo e o conteúdo externo como entrada não confiável para o harness, e nunca como instruções com autoridade sobre permissões ou roteamento.
Registre cada decisão de roteamento em um log que uma pessoa possa revisar
Se o roteamento acontece fora da vista de todos, ninguém consegue saber se as regras funcionam. Cada requisição deve gerar um registro que responda a seis perguntas: qual classe de tarefa foi detectada, qual regra escolheu o modelo, qual modelo e versão rodaram, quais ferramentas foram chamadas, se a saída passou na validação e se uma pessoa aprovou, alterou ou substituiu o resultado. As convenções semânticas do OpenTelemetry para IA generativa definem nomes padrão de atributos para modelos, operações e uso de tokens, o que facilita comparar esses registros entre ferramentas. O material introdutório do OpenTelemetry sobre observabilidade explica como traces e spans ligam uma requisição a todas as suas etapas.
Para montar o log:
- Atribua um identificador de requisição quando a tarefa entrar no agente e carregue esse identificador por cada chamada de modelo e cada chamada de ferramenta.
- Registre o identificador da regra de roteamento, e não apenas o nome do modelo, para que o revisor veja por que a rota foi escolhida.
- Guarde a contagem de tokens e um custo estimado por tarefa, para que o custo seja revisado por classe de tarefa. O material da FinOps Foundation sobre economia unitária é uma boa referência para essa revisão.
- Registre escalonamentos e substituições humanas como eventos separados. Uma taxa alta de substituição em uma rota é um sinal sobre a rota, e não uma falha do revisor.
- Limite o acesso aos logs da mesma forma que limita o acesso aos dados de origem, porque os logs costumam conter textos de clientes.
- Defina uma data de revisão para o log. Um log que ninguém lê é armazenamento, não governança.
Teste cada rota antes que ela carregue trabalho real
Um modelo que parece forte em uma demonstração pode falhar com as suas entradas. Para cada classe de tarefa, monte um conjunto fixo de exemplos realistas, incluindo entradas confusas, registros incompletos e alguns casos hostis de propósito. Avalie cada modelo candidato nos critérios que importam para aquela classe: correção em relação a uma resposta de referência, validade do esquema, escalonamento quando deveria acontecer e tempo de resposta. O guia de avaliações da OpenAI e as orientações da Anthropic sobre avaliações de agentes de IA descrevem a mesma prática: definir o avaliador, manter o conjunto de testes estável e refazer o teste sempre que o modelo, o prompt ou as ferramentas mudarem.
Cenário ilustrativo, não um cliente real: uma distribuidora de suprimentos para clínicas quer que um agente responda perguntas sobre o status de pedidos e rascunhe respostas a pedidos de preço para atacado. As consultas de status são somente leitura, então vão para um modelo pequeno e rápido e são conferidas contra os campos que o sistema de pedidos devolve. Os pedidos de preço envolvem decisões de desconto, então vão para um modelo mais capaz e sempre param em uma etapa de aprovação pela equipe. Quando surge um modelo pequeno mais novo, a equipe refaz o conjunto de avaliação de status. O modelo melhora na precisão, mas lida mal com pedidos enviados parcialmente, então a rota continua onde está até que esse caso seja tratado no prompt. O harness, as ferramentas e o formato do log não mudam. Só a tabela de roteamento muda, e apenas para a classe que passou no teste.
Como a Be Human trata o roteamento em operações gerenciadas
A Be Human desenha e opera o harness como uma camada própria, para que um modelo possa mudar sem alterar a identidade do agente, seus escopos de memória, suas permissões ou seus registros. Na primeira implantação, a tabela de roteamento é escrita a partir do papel específico que o agente deve desempenhar, e cada rota fica ligada a um critério de sucesso observável e a um limite de aprovação definido. Na operação gerenciada, avaliações recorrentes refazem os conjuntos de teste quando um modelo ou prompt muda, revisões de permissão confirmam que cada rota lê apenas o que deveria, e melhorias controladas movem uma tarefa para outro modelo somente depois que a evidência fica registrada. A empresa mantém os registros, então consegue ver por que cada rota existe e o que faria com que ela mudasse.
Revise as regras de roteamento todo trimestre e remova o que não se justifica
As regras de roteamento envelhecem. Modelos são aposentados, preços mudam e o mix de tarefas se altera conforme a equipe aprende o que o agente faz bem. Agende a revisão da tabela de roteamento junto com a revisão de permissões e use o log como evidência. Procure as rotas que mais escalonam, as saídas que mais são substituídas e as tarefas que migraram para uma classe que a tabela não cobre. Remova rotas que já não se justificam e não mova uma tarefa para um novo modelo sem uma execução de avaliação aprovada registrada no mesmo lugar.
Uma mudança de roteamento é uma mudança no agente, então deve seguir o mesmo caminho de pedido, revisão e aprovação de qualquer outra mudança. Essa etapa de controle de mudanças não está detalhada aqui, e a parte de permissões é tratada em revisão trimestral de permissões de agentes de IA. Comece com uma ou duas rotas, amplie apenas quando os logs mostrarem que as regras se sustentam e mantenha o harness exatamente como está enquanto isso acontece.
Faça o diagnóstico gratuito de IA da Be Human para encontrar a primeira tarefa que vale a pena entregar a um agente.
Perguntas frequentes
Precisamos de mais de um modelo para começar? Não. Muitos primeiros agentes úteis rodam com um único modelo, um harness claro, um conjunto pequeno de permissões e um log. Adicione uma segunda rota somente quando uma classe de tarefa específica mostrar uma necessidade concreta, como custo, velocidade ou uma lacuna de qualidade no conjunto de avaliação da própria empresa.
Um modelo mais barato pode responder clientes? Pode, em casos simples e bem documentados, como status de pedido ou horário de funcionamento. Respostas que envolvem dinheiro, exceções, reclamações ou compromissos devem ir a um modelo mais forte com etapa de aprovação, e toda resposta deve passar pelas mesmas regras de validação antes de ser enviada.
Como impedir que o roteamento envie dados a um modelo que não aprovamos? Torne a política de dados a primeira regra da tabela de roteamento, para que uma rota só possa ser escolhida entre os modelos e hospedagens que a política permite. Aplique essa lista no harness, e não apenas no prompt, e registre cada rota no log para que a verificação possa ser auditada.
Qual é o mínimo que um revisor precisa ver em cada decisão de roteamento? O revisor precisa da classe da tarefa, da regra que escolheu o modelo, do modelo e da versão, das ferramentas chamadas, do resultado da validação e de qualquer aprovação ou substituição humana. Com esses seis campos, o revisor consegue dizer se a regra foi aplicada como escrita e se ela ainda combina com o apetite de risco do negócio.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


