Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Orçamento de latência para agentes de IA de atendimento: passo a passo

Defina o tempo máximo de cada etapa de um agente de IA que atende clientes, para um modelo mais capaz responder dentro do prazo que o cliente tolera.

Capa tipográfica do Be Human com o título: Orçamento de latência para agentes de IA de atendimento: passo a passo
Ilustração conceitual criada com IA · Be Human

Um orçamento de latência é o tempo total que um cliente vai esperar por uma resposta, dividido em fatias fixas para cada etapa que o agente executa: ler a mensagem, consultar registros, chamar ferramentas, redigir a resposta e conferi-la. Com esse orçamento, a equipe pode escolher um modelo mais capaz sem adivinhar se a resposta chegará a tempo, porque cada etapa tem um limite e um responsável. O método começa pela paciência do cliente e trabalha para dentro, em vez de partir da velocidade do modelo.

Principais pontos

  • Defina quanto tempo de espera o cliente aceita em cada canal e, a partir desse número, distribua o orçamento de trás para frente.
  • Dê a cada etapa do agente uma fatia de tempo e confirme que, somadas, elas cabem dentro do total.
  • Concentre o orçamento nas etapas que mudam a qualidade da resposta e corte trabalho que apenas repete o que já é conhecido.
  • Defina o que acontece quando uma etapa estoura o tempo: uma resposta parcial, uma rota mais rápida para aquela etapa ou o encaminhamento para uma pessoa.
  • Meça cada etapa separadamente em produção, para que uma consulta lenta nunca seja atribuída ao modelo.

Comece pela espera que o cliente aceita

O primeiro número não é uma métrica do modelo. É o tempo que um cliente, em determinado canal, espera antes de supor que a conversa travou, trocar de canal ou desistir. A tolerância varia por canal e por tipo de pedido. Um visitante do chat do site que não vê sinal de progresso por algum tempo pode simplesmente sair, enquanto um cliente que escreveu sobre uma fatura atrasada espera resposta dentro do expediente e não perceberia alguns segundos a mais de processamento. Registre essa espera para cada canal e tipo de pedido, e informe quem aprova esse número.

Confira o número com evidências que você já tem. Leia conversas recentes em que o cliente repetiu a pergunta, pediu uma pessoa ou fechou a janela. Esses momentos mostram onde a paciência acabou. Uma confirmação rápida pode fazer a espera parecer menor, mas não torna o trabalho mais rápido, e nunca deve esconder uma falha que o cliente precisa conhecer.

Mapeie cada etapa antes de definir qualquer número

Um agente de atendimento raramente faz uma única chamada ao modelo. Um caminho típico classifica o pedido, carrega o contexto do cliente, verifica o que o agente tem permissão para fazer, chama uma ou mais ferramentas, redige a resposta e executa as checagens antes do envio. Cada estágio tem sua própria duração, e o mais lento muitas vezes não é o modelo. Uma busca em um grande volume de registros, uma ferramenta que espera um sistema de terceiros ou uma janela de contexto cheia de mensagens antigas podem levar mais tempo do que a própria geração da resposta.

Desenhe o caminho como um rastro. A documentação do OpenTelemetry descreve uma requisição como um conjunto de intervalos (spans), cada um com horário de início e duração, aninhados dentro da operação geral. Esse vocabulário se encaixa bem aqui: a espera do cliente é o intervalo externo, e cada etapa do agente é um intervalo filho que você pode orçar e medir. Se hoje não é possível desenhar esse caminho a partir dos logs, essa é a primeira lacuna a fechar. O checklist de observabilidade para agentes lista os campos que vale registrar em cada etapa.

Distribua o orçamento etapa por etapa

Comece pelo tempo total de espera, subtraia o que é fixo e divida o que sobra. As etapas abaixo mantêm a distribuição honesta.

  • Escreva o orçamento total para o canal e o tipo de pedido, e reserve uma margem de tempo não atribuída para imprevistos.
  • Liste todas as etapas do rastro e marque quais são fixas (como a autenticação) e quais variam conforme o pedido.
  • Meça a duração típica de cada etapa com rastros reais, e não com um único teste ou com a velocidade anunciada pelo fornecedor.
  • Dê a cada etapa uma fatia acima da duração típica e confirme que as fatias continuam dentro do total.
  • Reserve a maior parte para as etapas que mais afetam a qualidade da resposta, normalmente a redação e a fundamentação, e a menor para formatação e registro.
  • Defina um tempo limite rígido para cada etapa, para que uma chamada lenta não consuma o orçamento inteiro.
  • Decida o plano B de cada tempo limite antes do lançamento, e não durante um incidente.
  • Refaça a distribuição após cada mudança de modelo, prompt ou ferramenta, porque uma nova versão pode deslocar tempo de uma etapa para outra.

As orientações da Anthropic sobre como construir agentes eficazes deixam explícita a troca de fundo: sistemas agênticos costumam aceitar mais latência e custo em troca de melhores resultados em trabalhos complexos. O orçamento é o lugar em que a sua equipe decide quanto dessa troca é aceitável para cada canal, em vez de deixá-la acontecer por padrão.

Decida o que acontece quando uma etapa estoura o tempo

Estourar o tempo não é um evento raro a ser eliminado no papel. Tempos de resposta do modelo variam, ferramentas têm momentos ruins e clientes pedem coisas que o plano não previu. A pergunta útil é o que o agente faz em seguida. Este guia de decisão ajuda:

  • Se uma consulta ou chamada de ferramenta estourar, responda com os fatos já confirmados e informe qual detalhe ainda está pendente.
  • Se a redação estourar, use uma rota mais rápida apenas para essa etapa, e somente se a saída dela tiver passado pelas mesmas checagens nos testes.
  • Se o pedido alterar algo, como um reembolso, uma reserva ou um endereço salvo, não repita a ação às cegas. Confirme primeiro o estado atual, para que a ação não possa ser executada duas vezes.
  • Se o prazo do cliente estiver próximo ou o caso tiver uma reclamação, encaminhe para uma pessoa com um resumo que evite que ela precise perguntar tudo de novo.
  • Se o mesmo estouro aparecer em muitos pedidos, trate-o como incidente e revise a distribuição, em vez de chamá-lo de variação normal.

As repetições são o ponto em que os orçamentos desaparecem sem alarde. Uma nova tentativa iniciada depois de um tempo limite gasta um tempo que o cliente já está esperando, por isso as regras de repetição devem ser escritas com o orçamento à vista. O guia de política de repetição e as condições de parada para agentes presos em loop tratam das duas formas mais comuns de um agente continuar trabalhando quando deveria ter parado.

Um exemplo trabalhado para um agente de status de pedidos (ilustrativo)

Este é um exemplo ilustrativo, não a descrição de uma implantação real. Uma loja online quer um agente no widget de chat para responder perguntas sobre pedidos, incluindo exceções de entrega. O orçamento total do widget vem do que o responsável pelo suporte viu em transcrições anteriores. A equipe reserva uma fatia pequena para a consulta de pedidos, porque se trata de uma única busca indexada, e a maior parte para a redação, porque as respostas precisam explicar atrasos em linguagem simples.

Nos testes, um modelo mais capaz escreveu explicações mais claras, mas ultrapassou a fatia de redação em conversas longas, nas quais o contexto tinha crescido com mensagens anteriores. A equipe não trocou de modelo para correr atrás do tempo. Limitou o histórico carregado em cada conversa às mensagens que ainda importam, moveu a política de envio, que é estável, para um prefixo em cache e definiu uma regra: conversas longas recebem uma confirmação imediata e um encaminhamento para uma pessoa, com o resumo do pedido anexado. O cliente espera menos, o agente mantém o modelo mais capaz para as respostas que ele trata, e o encaminhamento fica registrado como um caminho planejado, e não como falha. A documentação de cache de prompts da Anthropic explica por que um prefixo repetido pode ser processado mais rápido, e esse é o motivo pelo qual a mudança funciona.

Meça cada etapa e mantenha o orçamento sob controle humano

Um orçamento que não é medido se desvia. Registre o início e o fim de cada etapa junto com o tipo de pedido, a versão do modelo, o nome da ferramenta e o resultado, para que a equipe veja qual etapa causou uma resposta lenta sem precisar adivinhar. Revise esses números na mesma rotina usada para as outras checagens do agente, e mantenha cada mudança nas fatias e nos tempos limite em um registro legível, para que um responsável possa explicá-la depois.

A Be Human projeta, implementa e opera agentes de IA personalizados. Na operação gerenciada, definimos as fatias de cada etapa durante o primeiro projeto, junto com o papel único que o agente desempenha, a memória e as ferramentas de que ele precisa e os limites de aprovação. O monitoramento compara cada etapa com a sua fatia, a resposta a incidentes trata os estouros que se repetem, e qualquer mudança no modelo, no prompt, na ferramenta ou na distribuição passa por uma revisão controlada, para que o orçamento continue preciso à medida que o sistema muda. O serviço é remoto, em inglês ou em português.

Se você não tem certeza de qual tarefa de atendimento deve ser a primeira a rodar dentro de um orçamento como este, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Como saber se um modelo mais lento vale a pena? Compare as respostas dos dois modelos em transcrições reais da sua fila e depois verifique se o tempo extra cabe na fatia de redação daquele canal. Se não couber, as opções são um contexto menor, uma rota diferente para pedidos simples ou um encaminhamento para casos longos. Não decida apenas com base em notas de benchmark.

Um indicador de digitação ou uma confirmação rápida resolvem uma resposta lenta? Podem fazer a espera parecer mais razoável, especialmente no chat ao vivo, mas não encurtam o trabalho. Use-os para avisar o cliente de que um processo está em andamento e combine-os com um tempo limite, para que uma etapa travada gere um próximo passo claro, e não uma espera sem fim.

Quem deve ser o responsável pelo orçamento de latência? Atribua um responsável do lado da operação que possa aceitar a troca entre velocidade e qualidade da resposta, normalmente quem cuida do canal de atendimento. O engenheiro ou o operador do agente mantém as medições e os tempos limite, e os dois devem acertar os números por escrito. Responsabilidade compartilhada sem uma pessoa nomeada tende a deixar o orçamento desatualizado depois do lançamento.

Com que frequência o orçamento deve ser revisado? Revise-o após qualquer mudança de modelo, prompt, ferramenta ou canal, e como parte de uma rotina regular de operação. Revise também quando as reclamações sobre espera aumentarem ou quando os encaminhamentos começarem a se concentrar em uma etapa. Um orçamento que estava certo no lançamento pode ficar errado quando o tráfego real e as ferramentas reais mudam o equilíbrio.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →