Observabilidade de agentes de IA: o que registrar, rastrear e alertar
O que registrar, rastrear e alertar em agentes de IA: decisões, chamadas de ferramentas, custos e aprovações que o negócio precisa ver para manter controle.

Observabilidade de agentes de IA é a prática de registrar informação suficiente sobre cada execução para reconstruir o que o agente viu, quais ferramentas chamou, o que decidiu e o que alterou, além de emitir alertas quando ele sai dos limites aprovados. Para uma empresa, o objetivo não é acumular uma grande quantidade de logs, e sim um registro curto e confiável que o líder de operações consiga ler e usar para agir. Este artigo cobre o que registrar, como rastrear uma execução do pedido ao resultado, quais alertas merecem atenção e como manter o registro legível para quem é dono do processo.
Principais pontos
- Registre decisões, aprovações e efeitos colaterais, não apenas prompts e respostas finais.
- Dê a cada execução um identificador único que acompanhe chamadas de ferramentas, leituras de memória, transferências e escalonamentos.
- Configure alertas para ultrapassagem de limites, anomalias de custo e de tempo e desvios de qualidade, não para cada erro.
- Escreva resumos de execução que o dono do processo consiga ler sem precisar pedir ajuda a um engenheiro.
- Combine os logs com uma revisão pequena e regular das saídas, porque um log mostra o que aconteceu, mas não se o resultado foi bom.
Por que a observabilidade de agentes é diferente do log de aplicação
Logs tradicionais de aplicação registram requisições, respostas e exceções. Um agente acrescenta etapas que dependem do contexto: ele busca documentos, escolhe entre ferramentas, planeja uma sequência e às vezes aguarda uma pessoa. Uma execução pode terminar sem nenhum erro técnico e, mesmo assim, fazer a coisa errada, como atualizar um registro que deveria apenas consultar ou responder com base em uma fonte desatualizada. A OpenTelemetry descreve a observabilidade com três sinais: traços, métricas e logs. Juntos, eles permitem acompanhar uma requisição entre componentes e ver para onde foram o tempo e as decisões. Suas convenções para IA generativa estendem esses sinais às chamadas de modelo e às etapas do agente.
Na prática, isso significa que o registro precisa ser desenhado antes da primeira execução. Acrescentar visibilidade depois de um incidente costuma deixar você sem condições de reconstruir a decisão que o causou.
O que cada execução do agente deve registrar?
Para cada execução, o registro deve responder a cinco perguntas: quem ou o que iniciou a execução, qual contexto foi usado, quais ações foram tomadas, o que foi alterado e como terminou. Na prática, isso vira uma lista curta de campos:
- Um identificador da execução, um identificador da requisição de origem, o papel do agente e a versão das instruções que ele seguiu.
- O gatilho e a entrada recebida, com dados pessoais mascarados ou reduzidos quando a finalidade não exigir o dado completo.
- As fontes de contexto usadas, registradas como identificadores de documentos, entradas de memória ou registros, e não como cópias completas sempre que possível.
- O modelo, o fornecedor, as configurações principais e a versão do prompt usados em cada chamada ao modelo.
- Cada chamada de ferramenta com nome, argumentos (ocultando o que for sensível), status do resultado, duração e indicação de leitura ou escrita.
- A ação escolhida, a regra ou aprovação que a permitiu e qualquer alternativa que o agente tenha registrado.
- Cada ponto de contato humano: aprovação solicitada, concedida ou negada, ou escalonamento com o motivo.
- O desfecho: concluída, transferida, bloqueada ou falha, com o estado final de tudo o que foi alterado.
- O uso de tokens e o custo da execução e de cada etapa.
Não registre tudo por padrão. Prompts brutos e dados de clientes têm suas próprias obrigações de retenção e de acesso. O NIST AI Risk Management Framework trata isso como uma questão de governança, e não apenas técnica: defina quais evidências você precisa para gerenciar o risco e mantenha essas evidências com um responsável definido e um prazo de retenção.
Como rastrear uma execução do pedido ao resultado?
Um traço é a cadeia de etapas que pertence a uma mesma execução. Monte-o em uma sequência simples:
- Atribua o identificador da execução na entrada e passe-o para cada chamada de ferramenta, mensagem e gravação em memória.
- Registre o início e o fim de cada etapa com um vínculo à etapa que a disparou, para que a ordem e os aninhamentos fiquem visíveis.
- Registre as decisões como eventos estruturados, com campos fixos, e não apenas como texto livre dentro de uma mensagem longa.
- Em qualquer escrita, guarde o estado antes e depois da mudança, para que seja possível reverter e explicar o que aconteceu.
- Vincule todo escalonamento ao mesmo identificador da execução, para que quem assumir veja a cadeia completa.
- Teste o desenho uma vez: escolha uma execução concluída, reconstrua o que aconteceu usando apenas o traço e verifique se foi preciso perguntar algo ao construtor do agente.
Se esse último teste falhar, o traço está deixando de fora um contexto que o revisor vai precisar durante um incidente.
Um traço que só um engenheiro consegue ler é uma ferramenta de diagnóstico. Um traço que o dono do processo consegue ler é uma ferramenta de supervisão.
Quais alertas importam e quais são ruído?
Os alertas devem corresponder a decisões que alguém precisa tomar. Alertas em excesso ensinam as pessoas a ignorá-los, e alertas de menos deixam um agente em loop ou em desvio rodando sem ser visto. Um guia simples ajuda a separá-los:
- Interrompa alguém agora: foi tentada uma ação fora das permissões aprovadas, uma escrita falhou no meio de uma sequência ou uma credencial de ferramenta foi rejeitada repetidamente.
- Revise no mesmo dia: o custo por execução saiu bem da faixa normal do agente, uma etapa estourou seu limite de tempo ou as tentativas se concentraram em uma única ferramenta.
- Revise semanalmente: as saídas amostradas mudaram em precisão ou tom, a taxa de escalonamento se deslocou ou uma fonte de documentos esperada deixou de aparecer no contexto recuperado.
Os sinais de custo merecem regras próprias, porque um agente em loop pode consumir orçamento sem produzir erros. O guia de alertas de custo para agentes de IA explica como definir limites que pegam loops cedo. Para transferências, o artigo sobre escalonamento humano em falhas de agentes mostra como enviar a decisão e o contexto necessários para uma pessoa, em vez de entregar a execução inteira.
Como manter o registro legível para o dono do processo?
A pessoa responsável por um processo, como o gerente financeiro ou o coordenador de suporte, não deveria precisar interpretar traços brutos. Gere, para cada execução, um resumo curto em linguagem simples que diga o que foi pedido, o que o agente fez, o que mudou e se algo precisa de uma decisão. Monte o resumo a partir dos campos estruturados, para que ele nunca se afaste do registro.
Cenário ilustrativo: um agente de triagem de notas fiscais de fornecedores lê um e-mail, associa a nota a um pedido de compra e prepara um lançamento de pagamento para aprovação. O resumo de uma execução pode dizer que a nota bateu com o pedido, que o agente preparou o lançamento sem registrá-lo, que o valor diferiu do pedido por uma margem pequena e que o lançamento aguarda aprovação. O responsável decide em poucos minutos, e o traço completo fica a um clique de distância caso a decisão seja contestada.
Como os logs e as revisões de qualidade trabalham juntos?
Logs respondem o que aconteceu. Eles não respondem se o resultado foi bom. Uma execução pode passar em todas as checagens técnicas e ainda produzir uma resposta fraca, uma categoria errada ou um tom que não combina com o cliente. Combine o traço com uma amostra recorrente de execuções concluídas, avaliadas contra um conjunto pequeno de casos que a empresa já aceita como corretos. Comece com um punhado de saídas por semana e ajuste o tamanho da amostra conforme o risco e o que as revisões encontram. Guarde os resultados das revisões junto dos identificadores das execuções, para que uma queda de qualidade possa ser rastreada até uma versão, uma ferramenta ou uma fonte específica.
A degradação silenciosa é o padrão mais difícil de ver apenas nos logs, porque nada falha de forma explícita. Compare a qualidade revisada ao longo do tempo e observe mudanças na taxa de escalonamento e nos padrões de recuperação de contexto. São esses sinais que costumam revelar um desvio antes que um cliente ou colega reclame.
Como a Be Human trata a observabilidade de agentes
A Be Human projeta e opera agentes de IA sob controle humano, e a observabilidade é definida no início do trabalho, e não acrescentada depois. Uma primeira etapa define o papel útil, a memória e as ferramentas de que o agente precisa, os limites de aprovação e o critério de sucesso. Os campos do traço e os alertas decorrem dessas decisões. A operação gerenciada cobre então monitoramento, avaliações recorrentes, revisão de permissões, manutenção de integrações e resposta a incidentes, para que o registro continue acompanhando o trabalho à medida que ferramentas e permissões mudam. O atendimento é remoto, em inglês e em português.
Se você quer identificar qual tarefa do seu negócio é a primeira certa para entregar a um agente, e o que ele precisaria registrar desde o primeiro dia, faça o diagnóstico gratuito de IA da Be Human.
Perguntas frequentes
O que é observabilidade de agentes de IA? É a capacidade de reconstruir o que um agente fez em cada execução, incluindo o contexto usado, as ferramentas chamadas, as decisões tomadas, as aprovações exigidas e o estado final que deixou. Ela combina logs estruturados, traços que ligam as etapas entre si e alertas vinculados aos limites que importam para o negócio. O objetivo é que uma pessoa entenda e corrija o trabalho do agente sem precisar adivinhar.
Preciso guardar todo prompt e toda resposta? Normalmente, não por completo. Guarde identificadores das fontes de contexto, campos estruturados para decisões e chamadas de ferramenta, e apenas o texto necessário para explicar um desfecho. Aplique limites de retenção e controles de acesso a tudo que contenha dados pessoais ou confidenciais, e mascare esses dados quando a finalidade não exigir.
Por quanto tempo os logs de agentes devem ser mantidos? A resposta depende das suas obrigações legais, contratuais e de revisão interna, então confirme com os responsáveis por compliance e registros. Mantenha histórico suficiente para investigar um incidente e para comparar a qualidade entre versões do agente. Documente o prazo de retenção com o dono do processo, para que ele seja aplicado de forma consistente.
Como saber se minha observabilidade é suficiente? Teste. Escolha uma execução concluída, reconstrua o que aconteceu usando apenas o traço e o resumo da execução, e veja se o dono do processo consegue decidir o próximo passo. Se um revisor ainda precisar perguntar ao construtor, acrescente os campos ou eventos que faltam e teste de novo em outra execução.
Seu próximo passo
Descubra primeiro onde um agente de IA cabe na sua empresa.
Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.
Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.


