Ir para conteúdo
be-human.ai
← Voltar ao blog

Fundamentos de harness

Roteamento de modelos para agentes de IA na empresa: quando escalar

Como rotear tarefas simples de agentes para um modelo menor, escalar casos difíceis e manter registros que dão controle à equipe quando os modelos mudam.

Capa tipográfica do Be Human com o título: Roteamento de modelos para agentes de IA na empresa: quando escalar
Ilustração conceitual criada com IA · Be Human

Roteamento de modelos para um agente de IA da empresa significa decidir, para cada tarefa, qual modelo deve executar o trabalho e quando esse trabalho deve passar para um modelo mais capaz ou para uma pessoa. Etapas rotineiras, como classificar uma mensagem ou preencher um formulário conhecido, geralmente podem ir para um modelo menor. Já os casos ambíguos, de alto impacto ou que falham escalam segundo regras escritas. As regras de roteamento e os registros que documentam cada decisão são o que mantém a empresa no controle quando os modelos por trás do agente mudam.

Principais pontos

  • Roteie o trabalho pelo tipo de tarefa e pelo custo de uma resposta errada, não pela sensação de dificuldade que o pedido causa no modelo.
  • Dê a cada rota uma finalidade escrita, um responsável, um conjunto de ferramentas permitidas e um caminho de contingência.
  • Escale com base em evidências que o harness consegue verificar: falha de validação, campos ausentes, tentativas repetidas, categorias sensíveis e pedidos de decisão que cabem a uma pessoa.
  • Registre a rota, a versão do modelo, o motivo da escalação e o resultado final de cada etapa roteada.
  • Repita as avaliações de cada rota sempre que um modelo ou prompt mudar, e não apenas quando o código mudar.

Por que usar um só modelo para todas as tarefas é o padrão errado

Um único modelo atendendo todos os pedidos é simples de construir e simples de explicar, por isso muitos primeiros agentes funcionam assim. O problema aparece quando o agente passa a lidar com trabalhos variados: confirmar uma consulta, resumir um e-mail de fornecedor, redigir uma resposta sobre um pagamento atrasado e interpretar uma cláusula de contrato. Essas tarefas diferem no custo de um erro, na urgência da resposta e na quantidade de contexto que exigem. O roteamento transforma essas diferenças em regras que a empresa consegue ler, testar e alterar.

Rotear não é o mesmo que escolher o modelo mais capaz e torcer para dar certo. Um modelo grande ainda pode falhar em uma tarefa mal especificada, e um modelo pequeno pode executar com segurança uma etapa estreita e bem definida. O objetivo é enviar cada tarefa para a rota menos capaz que atenda ao seu critério de sucesso, e subir o trabalho de nível apenas quando as evidências mostrarem que a rota menor não basta.

Como dividir o trabalho em rotas antes de escolher os modelos?

Comece pela lista de tarefas, não pelo catálogo de modelos. A lógica mais ampla de associar tarefas a modelos está em Roteamento de modelos em agentes de IA: o modelo certo por tarefa, mas o primeiro passo é sempre interno à sua operação. Percorra a lista nesta ordem:

  • Liste cada tarefa que o agente executa e escreva uma frase descrevendo um resultado correto para ela.
  • Classifique cada tarefa pelo custo de uma resposta errada: baixo, moderado ou alto.
  • Marque qualquer tarefa que toque em dinheiro, registros de clientes, redação jurídica, permissões de acesso ou segurança física.
  • Atribua a cada classificação uma rota padrão: um modelo pequeno para etapas estreitas e verificáveis, um modelo intermediário para redação e raciocínio, ou uma pessoa para decisões que a política reserva.
  • Escreva o gatilho de escalação de cada rota em termos que alguém diferente de quem construiu possa verificar.
  • Revise a tabela com a pessoa responsável pelo resultado, e não apenas com o engenheiro que a implementa.

Duas rotas costumam bastar para começar. Cada rota adicional traz mais regras, mais registros e mais manutenção, então acrescente uma só quando as evidências mostrarem uma classe real de casos que as rotas existentes tratam mal.

Quais gatilhos devem subir o trabalho para uma rota superior?

A escalação deve responder a fatos que o harness consegue observar. Uma regra como o modelo parece inseguro é fraca, porque a confiança autodeclarada pode soar certa mesmo quando a resposta está errada. Gatilhos mais fortes são verificáveis, e a maioria pode ser escrita como uma frase que um revisor confirma pelo registro:

  • A saída não passa no esquema ou deixa de fora um campo obrigatório.
  • Uma checagem contra os dados de origem falha, como uma data que não consta no calendário aprovado ou um valor que não está na tabela aprovada.
  • A mesma etapa é repetida mais vezes do que o limite definido.
  • O pedido contém uma categoria que suas regras marcam como sensível, como uma reclamação que menciona disputa judicial ou problema de saúde.
  • O agente está prestes a usar uma ferramenta não permitida para aquela rota.
  • O cliente ou funcionário pede uma decisão que a política mantém com uma pessoa.

Os limites de tentativas e de etapas pertencem ao harness, não ao prompt. Os detalhes práticos estão em Loop infinito em agentes de IA: limites de passos, tokens e tempo, e a forma de uma parada limpa é descrita em Condições de parada para agentes de IA: quando parar e escalar.

Como é uma decisão de roteamento na prática?

O cenário a seguir é ilustrativo e não descreve um cliente real. Uma equipe de administração de imóveis usa um agente para responder mensagens de inquilinos, e a equipe definiu três rotas:

  • Uma mensagem perguntando quando é a coleta de lixo vai para o modelo pequeno, que busca o cronograma no documento aprovado e o cita. O harness confirma que a data aparece naquele documento antes do envio.
  • Uma mensagem perguntando se uma multa por atraso pode ser dispensada vai para o modelo intermediário, que redige uma resposta com base na política escrita, mas não pode prometer a dispensa. Um membro da equipe revisa o rascunho antes de ele sair do sistema.
  • Uma mensagem relatando que uma unidade está sem aquecimento vai diretamente para uma pessoa, com marcação de prioridade. O agente envia apenas uma confirmação e o contato de plantão, sem tentar uma resposta mais completa.

O valor deste exemplo não está nos três rótulos. Cada rota declara o que pode fazer, o que precisa devolver e o que o registro mostrará depois. Um revisor consegue ler o registro e entender por que cada mensagem foi para onde foi.

O que o registro de roteamento deve conter?

Se você não consegue reconstruir por que um pedido foi para determinada rota, não consegue defender as regras de roteamento diante de um cliente, de um auditor ou da própria equipe. Cada etapa roteada precisa de um registro que uma pessoa leia sem abrir o código. O vocabulário de convenções semânticas para IA generativa do OpenTelemetry é um ponto de partida útil para detalhes de modelo e de tokens, mesmo que o seu esquema seja diferente. No mínimo, o registro deve conter:

  • Um identificador da requisição e o horário da decisão de roteamento.
  • O tipo de tarefa, a rota escolhida e a regra que a selecionou.
  • O nome e a versão do modelo, conforme informados pelo fornecedor.
  • Se cada checagem passou, falhou ou foi ignorada, com o motivo de qualquer ignorada.
  • O motivo da escalação, a rota ou pessoa que recebeu e o resultado final.
  • Qualquer contingência usada porque um fornecedor ou ferramenta estava indisponível.

Mantenha o registro focado em decisões. Sempre que possível, guarde referências ao conteúdo de origem, em vez de copiar dados pessoais para cada registro, e aplique às informações de registro as mesmas regras de retenção da conversa original.

Como manter o controle quando os modelos mudam?

Uma tabela de roteamento que funcionou no mês passado pode falhar depois que um fornecedor substitui um modelo, depois que você atualiza para uma nova versão ou depois que uma contingência assume o tráfego. Trate cada uma dessas mudanças como uma liberação. Versione juntos a tabela de roteamento, os prompts e as permissões de ferramentas, e rode o conjunto de testes da rota afetada contra a candidata antes que ela atenda trabalho real. Uma liberação em canário, em que uma pequena parcela do tráfego real vai primeiro para a nova configuração, permite comparar resultados antes da troca completa.

O conjunto de testes deve vir de pedidos reais que sua equipe já revisou, incluindo os que escalaram e os que causaram problemas. Escreva com antecedência o resultado esperado para cada caso. O método geral de testar agentes contra um comportamento esperado é descrito no guia de avaliações da OpenAI e nos materiais da Anthropic sobre avaliação de agentes. Quando uma rota falha, a correção pode ser uma regra melhor, uma permissão de ferramenta mais restrita ou a passagem para uma rota mais forte, e a mudança deve ser registrada com o motivo. Quando um fornecedor está indisponível, o harness deve seguir um caminho documentado, como descrito em Roteamento de fallback de modelos para agentes de IA sem perder controle.

A Be Human projeta e opera essa camada como parte da operação gerenciada. Em um primeiro projeto, definimos as rotas de um papel útil, a memória e as ferramentas que cada rota pode usar, os limites de aprovação e o critério de sucesso observável que mostra se o roteamento está funcionando. Na operação contínua, mantemos a tabela de roteamento sob controle de versão, rodamos avaliações recorrentes quando um modelo ou fornecedor muda, revisamos as permissões de ferramentas e tratamos incidentes quando uma escalação não chega a uma pessoa. A empresa decide o que o agente pode fazer, e nós mantemos as evidências de que essas decisões continuam sendo cumpridas.

Por onde começar sem construir demais?

Comece com um papel e duas rotas. Escolha, para a rota pequena, uma tarefa frequente, verificável e de baixo risco, e, para a rota com pessoa, uma tarefa em que o custo de erro é alto. Acrescente uma rota intermediária somente quando os registros mostrarem que a rota pequena continua falhando em uma classe real de casos.

  • Escolha um papel e escreva seu critério de sucesso em uma frase.
  • Escreva as duas rotas, suas ferramentas permitidas e seus gatilhos de escalação.
  • Acompanhe os registros por um período curto e revise cada escalação manualmente.
  • Altere uma regra somente quando os registros mostrarem um padrão repetido, e registre o motivo da mudança.

Se você não tem certeza de quais tarefas merecem um modelo menor e quais devem continuar com uma pessoa, o diagnóstico gratuito de IA da Be Human ajuda a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Um modelo menor pode responder mensagens de clientes com segurança? Pode, para respostas estreitas montadas a partir de textos aprovados que o harness verifica antes de qualquer envio. Respostas que prometem reembolso, alteram um contrato ou interpretam uma exceção de política devem ir para uma rota mais forte ou para uma pessoa. Comece pelas respostas que sua equipe já envia sem necessidade de julgamento, e amplie somente quando os registros sustentarem isso.

Como saber se uma rota é boa o suficiente? Monte um conjunto de testes com pedidos reais anteriores, incluindo os difíceis, e escreva o resultado esperado de cada um. Rode a rota contra esse conjunto antes de ela atender trabalho real, e de novo sempre que o modelo ou o prompt mudar. Uma rota é boa o suficiente quando atinge o critério de sucesso que você escreveu no início, e não quando suas respostas soam fluentes.

O que deve acontecer quando um fornecedor fica indisponível? O harness deve mover a etapa para uma rota de contingência documentada ou pausá-la com um status claro, e registrar que isso aconteceu. Uma falha silenciosa é pior do que um atraso, porque ninguém percebe que trabalho foi perdido. Revise os eventos de contingência da mesma forma que revisa as escalações.

Quem deve ser o dono das regras de roteamento? A gestão responsável pelo resultado deve ser dona das regras, porque essa pessoa decide quanto custa uma resposta errada. O engenheiro implementa as regras e mantém os registros funcionando. Cada mudança deve ser documentada com o motivo, para que a equipe veja por que uma rota foi alterada e quem aprovou a mudança.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →