Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Painel de observabilidade de agentes de IA: cinco painéis semanais

Cinco painéis para ler toda semana um agente de IA: falhas em ferramentas, esperas por aprovação, custo por tarefa concluída e qualidade amostrada.

Capa tipográfica do Be Human com o título: Painel de observabilidade de agentes de IA: cinco painéis semanais
Ilustração conceitual criada com IA · Be Human

Um painel de observabilidade de agentes de IA é um conjunto curto de painéis que mostra o que o agente tentou, quanto custou, onde esperou por uma pessoa e onde falhou, para que o dono avalie o trabalho sem ler todas as conversas. Para um agente de negócio, cinco painéis cobrem a maior parte do que precisa de atenção toda semana: chamadas de ferramenta com falha, tempo de espera por aprovação, custo por tarefa concluída, escalonamentos para pessoas e uma amostra de qualidade das saídas. Os painéis só ajudam se vierem de eventos que o agente já registra e se alguém os lê no mesmo dia, toda semana.

Principais pontos

  • Cinco painéis semanais cobrem a maior parte do que um agente de negócio precisa: falhas em ferramentas, esperas por aprovação, custo por tarefa concluída, escalonamentos e qualidade amostrada.
  • Meça o custo por tarefa concluída, e não o custo por mensagem, para que novas tentativas e retrabalho apareçam no número.
  • Uma fila de aprovação que cresce é um sinal de confiabilidade, e não apenas uma questão de equipe.
  • Cada painel precisa de um responsável nomeado, um limite e uma ação escrita para quando o limite for ultrapassado.
  • Crie os eventos antes do painel, porque nenhum painel mostra o que o agente nunca registrou.

Por que o dono precisa de um painel, e não de um arquivo de conversas

As transcrições são úteis depois que algo dá errado. Elas respondem mal às perguntas que um líder de operações faz numa segunda-feira de manhã: o agente ainda faz o trabalho para o qual foi designado, está ficando mais caro e houve alguma mudança silenciosa? Um painel resume a semana em poucas leituras que podem ser comparadas com a semana anterior. Ele não substitui a revisão de saídas individuais. Ele indica por onde começar a olhar.

A disciplina por trás disso vem da engenharia de sistemas. O projeto OpenTelemetry descreve observabilidade como a capacidade de entender o estado interno de um sistema a partir dos sinais que ele emite, como logs, métricas e traces. A mesma ideia vale para agentes, com uma diferença importante: parte do comportamento de um agente é decidida em linguagem natural. Por isso o trace precisa registrar mais do que tempo e erros. Ele também deve mostrar qual ferramenta o agente escolheu, o que ele tinha permissão para fazer e o ponto em que parou para pedir a decisão de uma pessoa.

Os cinco painéis para ler toda semana

  • Chamadas de ferramenta com falha, agrupadas por ferramenta e por tipo de erro
  • Tempo de espera por aprovação, do momento em que o agente pede até o momento em que uma pessoa responde
  • Custo por tarefa concluída, incluindo novas tentativas e reexecuções
  • Escalonamentos para pessoas, com um código de motivo em cada um
  • Qualidade amostrada das saídas, avaliada numa quantidade fixa de tarefas finalizadas

As falhas em chamadas de ferramenta vêm primeiro porque são a evidência mais direta de que algo está quebrado. Leia a quantidade e o padrão juntos. Falhas repetidas em uma ferramenta com um mesmo tipo de erro costumam apontar para um problema localizado, como uma credencial expirada ou um campo renomeado. Falhas espalhadas por todas as ferramentas indicam algo a montante, como problema de rede ou uma mudança em uma plataforma da qual o agente depende. Agrupar por tipo de erro transforma um número bruto em uma direção.

O tempo de espera por aprovação importa porque agentes que precisam de autorização antes de um pagamento, de um e-mail ao cliente ou de uma alteração de registro ficam parados quando ninguém responde. Acompanhe a espera típica e a espera mais longa separadamente, pois o cliente sente mais as esperas mais longas. Se a fila cresce, descubra se o aprovador está sobrecarregado, se a regra de aprovação é ampla demais ou se o agente está perguntando sobre coisas que deveria resolver sozinho.

O custo por tarefa concluída é o painel que muitos donos são tentados a pular, e é o que mostra se o agente vale a pena ser mantido. Divida o gasto do período pelas tarefas que chegaram ao estado final pretendido, e não pelo número de mensagens ou de chamadas ao modelo. Um agente que tenta de novo uma etapa com falha várias vezes antes de conseguir parece produtivo na contagem de mensagens e caro neste painel. A FinOps Foundation trata a economia unitária da mesma forma: o custo só é útil quando está ligado a uma unidade de resultado de negócio.

Os escalonamentos mostram onde termina o julgamento do agente. Cada repasse deve trazer um código de motivo, como dado ausente, conflito de política, ferramenta indisponível ou cliente em situação delicada. Quando um motivo cresce, você sabe o que corrigir. Mantenha este painel honesto. Um agente que escalona tudo não é seguro, é inútil, e transfere o custo para a sua equipe sem deixar isso visível.

A qualidade amostrada é o painel que verifica se o trabalho finalizado está de fato correto. Toda semana, retire o mesmo número de tarefas concluídas e avalie-as com uma rubrica curta que cubra fatos, uso de ferramentas, tom e qualidade do repasse. Mantenha o tamanho da amostra fixo. Se a amostra muda a cada semana, a linha de tendência reflete a variação da amostragem, e não o desempenho do agente.

Como definir limites sem chutar

Limites inventados no primeiro dia costumam ser ignorados na terceira semana. Um método mais simples funciona melhor:

  • Deixe o agente rodar por duas semanas na configuração atual e registre cada painel sem disparar alertas.
  • Escreva, em linguagem simples e com os valores observados, como é uma semana normal em cada painel.
  • Defina o limite de alerta no ponto em que uma mudança alteraria uma decisão, e não onde o gráfico apenas se mexe.
  • Nomeie um responsável por painel, a pessoa que lê e age sobre ele.
  • Escreva a ação de cada limite em uma frase, por exemplo: pausar novas respostas a clientes e revisar os últimos dez rascunhos.
  • Revise os limites uma vez por mês e altere-os apenas com uma nota curta no registro de mudanças.

O último passo importa mais do que parece. Limites que mudam toda semana escondem o desvio, e um declínio lento de qualidade é fácil de perder quando a meta não para de se mover. As mudanças devem ser deliberadas e visíveis para as pessoas que dependem dos números.

O que registrar antes de construir o painel

Um painel só é tão confiável quanto os eventos que estão por baixo dele. Cada ação do agente precisa de um identificador de tarefa que sobreviva a novas tentativas, o nome da ferramenta, o status do resultado, carimbos de tempo para a requisição e para a resposta, um atributo de custo, o estado da aprovação e um código de motivo quando o agente passa o trabalho para uma pessoa. As convenções semânticas do OpenTelemetry para IA generativa definem nomes de atributos compartilhados para a atividade dos modelos, o que facilita manter os mesmos painéis quando um modelo ou fornecedor muda no futuro. A lista prática de eventos está detalhada em Observabilidade de agentes de IA: o que registrar?.

Cenário ilustrativo, não é caso de cliente: uma pequena importadora usa um agente para rascunhar respostas a e-mails de fornecedores e para criar pedidos de compra no sistema contábil depois que uma pessoa aprova. Na primeira semana, o painel de falhas mostra erros repetidos em um mesmo endpoint do sistema contábil, concentrados no período da tarde. O painel de espera por aprovação mostra que os pedidos ficam parados por boa parte do dia útil, porque as aprovações chegam em lotes. O custo por tarefa concluída fica acima do esperado, porque o agente continua tentando o endpoint e as novas tentativas se acumulam. O dono não troca o modelo. Ele pede ao responsável pela integração que verifique os limites de requisição, muda as aprovações para duas janelas diárias fixas com lembrete e limita as novas tentativas, enviando o que sobrar para uma fila humana. Os painéis da semana seguinte mostram se as mudanças se sustentaram.

Como a Be Human trabalha isso em uma operação gerenciada

A Be Human define os eventos, o responsável por cada painel e os limites de aprovação antes da primeira leitura, para que o painel reflita o trabalho que o agente está de fato autorizado a fazer. A operação gerenciada cobre então o monitoramento, as avaliações recorrentes, a manutenção das integrações, a revisão de permissões e a resposta a incidentes. Isso mantém os painéis lidos, os limites revisados e cada mudança registrada em um log que o dono consegue acompanhar. Um primeiro projeto delimita um papel útil, a memória e as ferramentas desse papel e um critério de sucesso observável, que costuma ser o custo por tarefa concluída ou o tempo de espera por aprovação desse papel.

Uma rotina de leitura semanal que leva menos de uma hora

Escolha um dia e um horário fixos para a revisão. Leia os painéis na mesma ordem toda semana: falhas, esperas, custo, escalonamentos e, por fim, qualidade. Para cada painel, escreva nas notas da revisão uma de três palavras: sem mudança, observar ou agir. Um painel marcado como agir recebe um responsável nomeado e um prazo. Um painel marcado como observar é relido na semana seguinte, com o mesmo tamanho de amostra e as mesmas definições. Mantenha as notas curtas o suficiente para que alguém consiga revisar o último mês em poucos minutos. O ritmo mais amplo de verificação de um agente está descrito em checklist semanal de manutenção de agentes de IA gerenciados, e a leitura de custo fica mais fácil de usar quando você segue como medir o custo por tarefa concluída.

Se você ainda não sabe qual papel merece esse tipo de observação primeiro, o diagnóstico gratuito de IA da Be Human ajuda a identificar a primeira tarefa que vale a pena entregar a um agente.

Perguntas frequentes

Quantos painéis um agente de negócio realmente precisa? Cinco é um ponto de partida prático para a maioria dos papéis, porque cobrem falhas, esperas, custo, repasses e qualidade. Acrescentar mais painéis antes que os cinco primeiros tenham responsáveis e limites costuma deixar a revisão mais lenta sem melhorar as decisões. Adicione um painel só quando uma pergunta recorrente não puder ser respondida pelos cinco existentes.

Quem deve ler o painel toda semana? Quem lê deve ser a pessoa capaz de agir sobre o que vê, geralmente um líder de operações ou o dono do processo que o agente apoia. Alguém da parte técnica deve preparar os dados e explicar qualquer anomalia, mas a decisão de pausar, ajustar ou ampliar o agente cabe ao dono do negócio. A visibilidade compartilhada ajuda, mas um painel sem responsável vira uma captura de tela em uma apresentação.

Uma pessoa sem especialização consegue montar isso? Alguém sem especialização técnica pode definir as perguntas, os responsáveis e os limites, que é justamente a parte que mais costuma ficar de fora. O registro de eventos e o trabalho de integração geralmente exigem alguém que saiba ler logs de aplicação e trabalhar com os sistemas que o agente chama. Muitas equipes dividem o trabalho assim: o dono do negócio especifica as decisões, e um operador ou parceiro constrói e mantém a instrumentação.

E se os painéis contradizem o que a equipe relata? Trate a divergência como informação, e não como veredito. Verifique se o painel está contando a coisa certa, por exemplo tarefas concluídas e não tarefas tentadas, e se a equipe está descrevendo o melhor dia do agente ou sua semana típica. Depois, compare à mão uma pequena amostra de tarefas. Quando o painel estiver certo, ajuste as expectativas da equipe. Quando a equipe estiver certa, corrija a definição do evento para que a próxima leitura signifique o que todos pensam que significa.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →