Suporte e manutenção de agentes de IA: rotina mensal de revisão

Uma rotina mensal de manutenção para um agente de IA é um conjunto fixo de verificações que confirma três coisas: as ferramentas conectadas ainda respondem, as permissões ainda correspondem ao trabalho que o agente executa e as respostas ainda passam em um conjunto de testes estável. Execute a rotina uma vez por mês, registre o que encontrou e altere o agente somente quando uma verificação falhar ou quando uma mudança de modelo ou de política exigir. É assim que um agente segue confiável enquanto os modelos, as APIs e as regras de negócio ao redor dele continuam mudando.

Principais pontos

• Um agente depende de partes que mudam em cronogramas próprios: versões de modelo, APIs de fornecedores, documentos e funções da equipe.
• Faça quatro tipos de verificação todo mês: integrações, permissões, avaliações e uso com custo.
• Mantenha um conjunto de testes versionado e rode-o antes e depois de cada mudança de modelo ou de prompt.
• Revise o acesso com base no trabalho que o agente faz hoje, e não no trabalho que ele tinha no lançamento.
• Registre o que mudou, o que passou e quem aprovou cada alteração, para que a próxima revisão comece com evidências.

Por que agentes precisam de uma rotina mensal

Um agente de IA não é um software acabado que permanece igual depois do lançamento. Ele chama um modelo que o fornecedor pode atualizar ou desativar, lê dados de sistemas cujos campos e endpoints mudam e age com permissões concedidas para uma versão do negócio que talvez não exista mais. Cada uma dessas partes pode sair do lugar sem gerar nenhum erro visível. O agente continua respondendo com tom confiante enquanto uma ferramenta devolve dados parciais sem aviso ou um modelo de documento muda de layout.

As checagens semanais pegam as falhas que aparecem rápido, como uma ferramenta que deixa de responder. A rotina mensal olha para problemas mais lentos: escopos que foram ampliados, resultados de teste que enfraqueceram e custos que cresceram porque um prompt ficou mais longo. Se você quer começar pela revisão semanal, mais leve, o checklist semanal de manutenção de agentes de IA reúne os sinais a observar entre as revisões mensais.

A rotina mensal, na ordem

Siga estas etapas em sequência, porque as seguintes dependem das anteriores. Uma revisão de permissões perde sentido se o inventário estiver errado, e uma nota de avaliação perde sentido se uma ferramenta da qual ela depende estava quebrada durante a execução.

• Confirme o inventário de ferramentas, fontes de dados e canais, e verifique se cada item tem um responsável nomeado.
• Execute testes somente de leitura em cada integração e registre os resultados com data e hora.
• Revise as permissões de cada ferramenta com base no trabalho atual e remova os escopos que ninguém usa.
• Rode novamente o conjunto de avaliação versionado e compare os resultados com a execução do mês anterior.
• Verifique o uso, o custo por tarefa concluída e a folga em relação aos limites de taxa da API.
• Revise as escalações e incidentes recentes e anote qualquer falha que tenha se repetido.
• Registre cada decisão como manter, ajustar ou alterar, com o nome da pessoa que aprovou.

Mantenha a rotina inteira em uma página de anotações por agente. Se uma etapa revelar um problema que exige trabalho de engenharia, registre-o como tarefa com responsável, em vez de corrigi-lo no meio da revisão.

Verificações de integração: confirme que cada conexão ainda funciona

Comece pelo inventário. Liste cada ferramenta, fonte de dados e canal que o agente usa, a conta ou o serviço por trás de cada um e a pessoa da sua empresa que pode responder perguntas sobre ele. Muitas equipes descobrem nesta etapa que alguma integração não tem responsável, e esse é o primeiro ponto a corrigir.

Depois, passe cada conexão por um teste somente de leitura. Confirme que a autenticação ainda funciona, que as respostas trazem os campos que o agente espera e que os erros chegam em um formato que o agente consegue tratar. Para sistemas que enviam eventos ao agente, verifique se as entregas chegam e se as assinaturas são validadas, e não apenas presumidas. Leia os avisos de mudança de cada fornecedor, porque endpoints descontinuados e campos renomeados são o motivo mais comum de uma integração que funcionava no mês passado falhar hoje.

Registre cada teste com data, hora e resultado. A documentação de observabilidade da OpenTelemetry explica os logs, métricas e traces que tornam esses registros úteis. Um histórico datado transforma uma falha futura em uma mudança rastreável, em vez de uma sensação vaga de que algo quebrou.

Revisão de permissões: alinhe o acesso ao trabalho atual

A revisão de permissões faz uma pergunta mais restrita do que a maioria das equipes espera: o que este agente pode fazer sem pedir a aprovação de uma pessoa? Comece pela lista de ações, e não pela lista de ferramentas. Acesso de leitura a um cadastro de cliente e a capacidade de emitir um reembolso são permissões diferentes, mesmo quando vêm da mesma integração. Para cada ação, anote se ela é permitida, se exige aprovação humana e quais limites se aplicam, como um valor máximo ou um conjunto restrito de registros.

Remova o que o trabalho não exige mais. Agentes acumulam escopos durante a configuração e os testes, e depois ninguém os retira. As recomendações de autorização da OWASP são uma boa referência para checar o acesso no momento da ação, e não presumi-lo a partir de uma configuração antiga. Confirme também que as ações de escrita são seguras para repetir, porque uma requisição tentada novamente não deve gerar um segundo reembolso ou uma segunda reserva. O guia sobre ações idempotentes em agentes de IA detalha esse padrão.

Por fim, confirme que as regras de aprovação ainda correspondem à empresa. Uma política que exigia a assinatura de um gestor acima de certo valor pode ter mudado desde o lançamento. O agente deve seguir a regra vigente, e essa regra deve estar em um documento que alguém consiga apontar.

Execuções de avaliação: meça a qualidade em um conjunto de testes fixo

Uma avaliação é um conjunto de tarefas realistas com resultados bons conhecidos, executado contra o agente e pontuado por regras ou por revisores. Mantenha o conjunto fixo de um mês para o outro, para que uma mudança na nota reflita uma mudança no agente ou em suas entradas, e não uma mudança no teste. Inclua os casos que já falharam antes, os pedidos ambíguos e os casos que tocam em dinheiro, registros ou clientes. Os guias de avaliação dos grandes provedores de modelos descrevem a pontuação pelo resultado, e não pela impressão geral.

Pontue primeiro o resultado. Uma resposta pode ler muito bem e ainda assim marcar o horário errado ou citar uma política já substituída. Se você usa um juiz automático para avaliar respostas livres, compare os veredictos dele com uma amostra que uma pessoa tenha avaliado, porque juízes automáticos podem favorecer certos estilos. As notas também podem cair devagar, sem nenhuma falha isolada, por isso compare vários meses de resultados, e não apenas a última execução. Quando a tendência aponta sempre na mesma direção, o guia para identificar desvios em agentes de IA descreve o que verificar em seguida.

Cenário ilustrativo: uma pequena empresa de conserto de eletrodomésticos usa um agente de agendamento para marcar visitas e enviar lembretes. Em uma rodada mensal, os agendamentos simples continuaram passando, mas vários casos que alteravam uma visita já marcada começaram a falhar. A causa foi um campo de calendário que uma atualização do fornecedor passou de horário local para um valor em UTC, e o agente leu o horário errado. A correção foi uma mudança pequena no tratamento da resposta da ferramenta, e os casos que falharam entraram no conjunto de testes para que a próxima atualização seja checada contra eles. Este cenário é ilustrativo e não descreve um cliente real.

Mudanças de modelo e a decisão após cada execução

Os provedores atualizam e desativam modelos em seus próprios calendários, e uma troca do modelo por baixo pode alterar o comportamento sem nenhuma mudança na sua configuração. Quando uma nova versão fica disponível, rode o conjunto completo de avaliação antes de trocar, e compare os resultados tarefa por tarefa, e não pela média geral. Um pequeno ganho médio pode esconder uma regressão justamente nas tarefas mais importantes. O guia sobre checagens de regressão em atualizações de modelo descreve como estruturar essa comparação.

Cada execução deve terminar em uma de três decisões. Adote a mudança se as tarefas importantes se mantiverem ou melhorarem. Ajuste se a regressão vier de um prompt, de uma descrição de ferramenta ou de um campo ausente, altere apenas essa coisa e rode o conjunto de novo. Volte à versão anterior se a regressão afetar tarefas de alto risco e a correção não estiver clara. Registre a decisão e o motivo, para que o próximo mês não reabra a questão do zero.

Como a Be Human conduz a rotina

A Be Human executa essa rotina como parte da operação gerenciada. A primeira etapa define um papel útil e bem delimitado, a memória e as ferramentas de que ele precisa, os limites de aprovação e um critério de sucesso observável. O trabalho contínuo cobre monitoramento, avaliações recorrentes, manutenção das integrações, revisão de permissões, resposta a incidentes e melhorias controladas. Cada mudança é registrada contra os limites de aprovação do agente antes de ser aplicada, para que a rotina continue com o agente ao longo do tempo, e não dependa apenas de quem fez a configuração inicial.

Registre os resultados e decida o que muda

A rotina só ajuda se o que ela produz for guardado. Um registro de uma página por agente basta: a data da revisão, o resultado de cada verificação, cada falha, a decisão tomada e a pessoa que a aprovou. Guarde o registro onde o próximo revisor vai procurar e vincule-o à trilha de auditoria de qualquer mudança de permissão ou de ferramenta.

As mudanças devem sempre passar por uma decisão escrita. Uma edição silenciosa em um prompt ou em uma permissão é a causa mais comum de um agente se comportar de forma diferente no mês seguinte sem explicação. Mantenha a revisão pequena e regular, e deixe o registro mostrar como o agente evoluiu ao longo do tempo.

Se você ainda não sabe qual tarefa deve ir primeiro para um agente, o diagnóstico gratuito de IA da Be Human é um ponto prático para descobrir qual vale começar.

Perguntas frequentes

Quem deve ser o responsável pela rotina mensal? Uma pessoa nomeada na operação deve ser a responsável, porque a revisão envolve decisões de negócio sobre acesso e erros aceitáveis que um engenheiro sozinho não consegue tomar. Equipe técnica ou um provedor gerenciado pode executar os testes de integração e o ambiente de avaliação. O responsável assina a revisão de permissões e as decisões registradas nas anotações.

Preciso rodar o conjunto completo de avaliação todo mês? Sim, rode o conjunto completo uma vez por mês e de novo após qualquer mudança de modelo, prompt ou ferramenta. Entre essas execuções, confira semanalmente uma amostra das saídas reais para identificar problemas cedo. A execução completa é o que mantém as notas mensais comparáveis entre si.

E se uma atualização de modelo melhorar algumas tarefas e piorar outras? Decida tarefa por tarefa, e não pela média. Mantenha a nova versão nas tarefas em que ela se sustenta e mantenha a versão anterior, ou acrescente uma correção, nas tarefas de alto risco em que ela não se sustenta. Registre o motivo para que a escolha possa ser revista quando a próxima atualização chegar.

Uma equipe pequena consegue executar isso sem engenheiros? O inventário, a revisão de permissões e o registro de decisões exigem apenas os donos do negócio e um checklist claro. Testes de integração e execuções de avaliação normalmente precisam de alguém com acesso aos sistemas, que pode ser um engenheiro interno ou um operador externo. Mantenha com a sua equipe as etapas que exigem julgamento, mesmo quando outra pessoa executar os testes.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.