Orçamento de latência para agentes de IA: limites de tempo por etapa

Um orçamento de latência é o tempo máximo que cada etapa de um turno de agente de IA pode consumir, contado de trás para frente a partir do momento em que o cliente deixaria de esperar. Para um agente que atende clientes, defina o total a partir da paciência observada naquele canal, divida esse total entre entrada, consulta de contexto, chamadas de ferramentas, raciocínio e a resposta final, e então dê a cada etapa um tempo limite, uma alternativa de contingência e um responsável. O objetivo é uma resposta que quase sempre chegue dentro do limite, somada a um plano para os turnos que não chegam.

Principais pontos

• Defina o total do orçamento a partir do ponto em que o cliente para de esperar, e não a partir do que o modelo costuma levar.
• Divida o total entre todas as etapas de um turno, incluindo busca de informações, chamadas de ferramentas e a resposta final.
• Dê a cada etapa um tempo limite menor que o seu orçamento, uma alternativa e um responsável nomeado que possa alterá-lo.
• Meça cada etapa separadamente em produção, porque médias escondem os casos lentos que levam o cliente a sair.
• Revise os orçamentos após mudanças de modelo, prompt ou ferramenta, já que os tempos reais se alteram conforme o sistema muda.

Comece do momento em que o cliente desiste

O orçamento total deve vir do comportamento do cliente, e não do que o modelo costuma levar. Leia uma amostra das conversas recentes no chat e das gravações de ligações e procure os sinais de que as pessoas estavam esperando demais: uma segunda mensagem enviada segundos após a primeira, uma pergunta repetida, um pedido para falar com uma pessoa, uma ligação desligada ou uma aba fechada. Esses momentos marcam a borda da sua janela de paciência, e essa borda muda de canal para canal. Num chat escrito, o cliente tolera uma pausa curta se consegue ver que o sistema está trabalhando. Numa ligação, o silêncio na linha parece defeito quase de imediato, então o progresso precisa ser audível rapidamente.

Escreva o limite em uma frase simples antes de mexer em qualquer configuração, por exemplo: depois deste tempo, o cliente começa a duvidar da conversa. Em seguida, traduza essa frase em um total para um turno. Mantenha o total mais apertado que a borda observada, porque a espera do cliente também inclui o tempo de rede e o momento em que a resposta aparece na tela ou começa a tocar, e o agente não controla todo esse intervalo.

Divida o total entre todas as etapas de um turno

Uma única mensagem do cliente costuma passar por mais estágios do que as equipes imaginam. O texto ou a transcrição da fala chega, o agente identifica o cliente e a intenção, carrega a memória e os registros relevantes para aquele cliente, pode chamar uma ou mais ferramentas, redige a resposta, e o canal a entrega. Cada estágio consome tempo, e a etapa que você esquece de orçar é a que cresce sem que ninguém perceba.

Subtraia primeiro a margem de entrega. Reserve uma fatia fixa do total para o trajeto da rede e para a entrega pelo canal, e não atribua essa fatia a nenhuma etapa do agente. Depois, divida o que sobrou entre as etapas que o agente controla. Dê mais tempo às etapas necessárias para a resposta e menos às que apenas formatam ou rotulam dados. Um orçamento que dá à etapa de classificação a mesma folga da consulta de agendamento costuma significar que a consulta vai ficar sem tempo justamente quando ele mais importa.

Um plano passo a passo para definir os orçamentos

Use esta sequência para um caminho de requisição, como um cliente perguntando se um técnico pode ir até a casa dele amanhã. Repita o processo para cada caminho distinto, porque uma dúvida simples sobre horário de funcionamento e um pedido de remarcação raramente merecem o mesmo orçamento.

• Escreva o limite de paciência do canal em uma frase simples e combine-o com o responsável pela operação.
• Liste todas as etapas que um turno típico executa, na ordem, incluindo cada chamada de ferramenta e cada chamada ao modelo.
• Subtraia a margem de entrega e o tempo das etapas que você não controla, como a resposta de um serviço de terceiros.
• Atribua um orçamento a cada etapa restante e defina um tempo limite abaixo dele, para que o agente ainda tenha espaço para agir.
• Nomeie a alternativa de cada etapa: uma resposta em cache, uma resposta mais curta, um pedido de um detalhe que falta ou um encaminhamento.
• Vincule um responsável e uma medição a cada etapa, para que uma etapa lenta tenha dono e um número visível.
• Reproduza requisições reais gravadas pelo caminho e confirme que o caso realista mais lento ainda cabe no total.

Escreva o resultado como um documento que a equipe consiga ler, e não como uma planilha que só um desenvolvedor sabe editar. O orçamento é uma decisão sobre a experiência do cliente, então as pessoas responsáveis por essa experiência devem poder alterá-lo, com o motivo registrado por escrito.

Para onde vai o tempo em um turno típico do agente

Na maior parte dos agentes que atendem clientes, os atrasos maiores e menos previsíveis vêm de sistemas externos ao agente: uma verificação de disponibilidade em uma ferramenta de agendamento, uma consulta de pedido ou pagamento, ou uma busca em um grande acervo de documentos. As chamadas ao modelo também pesam, sobretudo quando o agente faz várias passadas de raciocínio antes de responder. Cada passada extra soma uma rodada completa de espera, então um plano com três chamadas sequenciais ao modelo pode estourar um orçamento que uma única chamada caberia com facilidade.

Comece por três mudanças de baixo custo. Execute as consultas independentes em paralelo, em vez de uma após a outra. Mantenha o contexto enviado a cada chamada ao modelo pequeno e específico, para que o modelo leia menos e responda mais rápido. Guarde em cache informações estáveis, como horário de atendimento, áreas de atuação e textos de política, para que o agente não as busque a cada turno. O guia da Anthropic sobre a construção de agentes eficazes observa que sistemas agênticos muitas vezes trocam latência e custo por melhor desempenho na tarefa, o que serve como teste útil para cada etapa extra: ela precisa merecer seu lugar na resposta.

O que fazer quando uma etapa passa do orçamento

O tempo limite não é uma falha do desenho. É uma decisão tomada com antecedência. Para cada etapa, defina o que o cliente vê quando o limite é ultrapassado. As opções usuais são um aviso curto com uma promessa que você consegue cumprir, uma resposta mais restrita construída apenas com dados já carregados, um pedido de um detalhe que falta ou um encaminhamento para uma pessoa com o contexto anexado. A escolha certa depende do canal: numa ligação, uma frase falada ganha tempo, enquanto no chat uma mensagem clara com o próximo passo funciona melhor do que um indicador que continua girando.

Tenha cuidado com as novas tentativas. Uma repetição gasta orçamento que talvez você não tenha, e numa ação de escrita ela pode repetir o efeito. Se um pedido de agendamento deu timeout, o agendamento pode já ter sido criado. Verifique o estado da ação antes de tentar de novo, e torne a ação segura para repetir sempre que o sistema permitir. Para as regras de repetição, veja a política de repetição para agentes de IA, e para ações de escrita veja ações idempotentes em agentes de IA. Quando uma etapa continua falhando, encaminhe o caso para uma pessoa com a decisão já formulada, como descrito em escalonamento humano em falhas de agentes de IA.

Como medir cada etapa em produção

Um orçamento que você não consegue observar é apenas uma esperança. Registre a duração de cada etapa em cada turno, junto com o nome da etapa e o resultado, para enxergar a cauda lenta e não apenas a média. As médias escondem os momentos em que o cliente espera, porque uma etapa pode parecer saudável no conjunto e mesmo assim falhar durante um horário de pico. A introdução ao OpenTelemetry descreve rastros formados por spans, em que cada span registra uma operação e o seu tempo. Isso se encaixa bem em um turno de agente: um turno é um rastro, e cada etapa é um span com o seu próprio orçamento. O guia de observabilidade de agentes de IA explica quais campos vale manter.

O NIST AI Risk Management Framework trata a medição e o monitoramento contínuo como funções permanentes, e não como testes pontuais. Revise os dados de tempo semanalmente no início, depois em um ritmo compatível com a frequência com que seus modelos, prompts e ferramentas mudam.

Cenário ilustrativo: uma empresa de serviços técnicos externos mantém um agente de chat que responde dúvidas sobre agendamento fora do horário comercial. O orçamento total de uma resposta está fixado em oito segundos. O plano reserva um segundo e meio para a consulta ao cadastro do cliente, três segundos para a verificação de disponibilidade e dois segundos para a redação da resposta, com o restante mantido como margem. Os dados de rastro mostram que a verificação de disponibilidade desacelera bastante no início da noite, quando o sistema de agendamento está mais carregado. A equipe reduz o tempo limite dessa verificação para dois segundos e meio. Quando esse limite é atingido, o agente informa ao cliente que está confirmando com a equipe e oferece confirmar o horário por ligação de retorno. Nada mais no caminho muda até que os tempos de resposta do fornecedor de agendamento tenham sido revisados.

Como a operação gerenciada mantém os orçamentos precisos

A Be Human projeta, implementa e opera infraestrutura de IA personalizada para empresas, e os orçamentos de latência fazem parte desse trabalho operacional. Uma primeira etapa define o papel único que o agente desempenha, a memória e as ferramentas de que ele precisa, seus limites de aprovação e um critério de sucesso observável, que, para um agente que atende clientes, pode incluir o orçamento de tempo de cada caminho. A operação gerenciada depois mantém esses números atualizados: os tempos das etapas são monitorados, avaliações recorrentes rodam após mudanças de modelo, prompt ou ferramenta, as integrações são mantidas quando um fornecedor altera seu comportamento de resposta, e cada mudança de orçamento é registrada de forma que o responsável consiga ler.

Se você não tem certeza de qual das suas conversas com clientes é o melhor primeiro candidato a um agente, faça o diagnóstico gratuito de IA da Be Human para identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Qual é um bom orçamento de latência total para um agente de chat? Não existe um número universal, porque o limite certo depende do canal, da tarefa e do que os seus clientes já toleram. Comece do ponto em que suas transcrições mostram as pessoas esperando, deixe uma margem de entrega e defina o primeiro rascunho de forma conservadora. Aperte o limite somente depois que os rastros mostrarem os casos lentos reais.

Um agente de voz deve usar o mesmo orçamento de um agente de chat? Não. Um agente de voz precisa de progresso audível muito mais cedo, então o desenho costuma depender de um aviso falado curto enquanto as consultas terminam em segundo plano. Acompanhe separadamente o tempo até o primeiro som e o tempo até a resposta completa, e meça os dois.

Um agente deve repetir uma chamada de ferramenta lenta? Somente quando o orçamento restante permitir e a ação for segura para repetir. Em leituras, a repetição costuma ser aceitável. Em escritas, verifique se a ação já aconteceu antes de tentar de novo, porque um timeout não confirma que a ação falhou.

Quem deve ser o responsável pelos orçamentos de latência dentro da empresa? O dono do negócio ou o líder de operações deve responder pela promessa feita ao cliente, ou seja, pelo limite de paciência e pelas mensagens de contingência. Um responsável técnico deve manter os tempos limite e as medições, e cada mudança deve ser registrada com o motivo, para que a equipe entenda por que um orçamento foi alterado.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.