Checklist de manutenção de agente de IA: calendário mensal pós-lançamento

Um agente de IA precisa de um calendário de manutenção desde o dia em que entra em produção, porque suas respostas, permissões e ferramentas conectadas se desviam à medida que o negócio, os modelos por trás dele e os dados mudam. Um calendário viável distribui verificações recorrentes em quatro áreas, avaliações, permissões, integrações e higiene da memória, com um responsável e um registro escrito para cada uma. As seções abaixo trazem uma versão mês a mês que você pode adaptar, junto com as evidências que devem ser guardadas.

Principais pontos

• Dê a cada verificação recorrente um responsável nomeado, uma data de vencimento e um registro escrito antes de terminar o primeiro mês.
• Reexecute todo mês um conjunto fixo de casos reais de avaliação, para que as mudanças de qualidade apareçam antes que os usuários as relatem.
• Revise permissões e ferramentas conectadas em um ritmo definido, e trate cada nova ferramenta ou escopo ampliado como uma solicitação de mudança.
• Limpe a memória do agente de forma intencional: remova fatos desatualizados, confirme as fontes e registre cada exclusão com o motivo.
• Use o primeiro trimestre para ajustar o calendário, depois mantenha as verificações que pegaram problemas reais e aposente as que nunca pegaram nada.

Por que um agente precisa de calendário de manutenção depois do lançamento

Um piloto prova que um agente consegue executar uma tarefa em condições controladas. A produção acrescenta o que muda sem que ninguém toque no agente. O fornecedor do modelo pode atualizar o modelo por trás dele, uma política da empresa pode mudar, uma ferramenta conectada pode alterar seus escopos ou o formato de resposta, e a memória armazenada do agente continua crescendo. O monitoramento mostra que algo aconteceu. Um calendário de manutenção garante que uma pessoa nomeada olhe para isso, decida o que fazer e registre a decisão.

Cada verificação deve responder a três perguntas: qual questão ela resolve, quem a executa e qual registro comprova que foi feita. Sem o registro, a equipe não consegue saber se um mês silencioso significou que nada deu errado ou que simplesmente ninguém verificou. Para ver os primeiros meses com mais detalhe, consulte Quanto tempo leva para implementar um agente de IA? Fases e fatores.

Avaliações: mantenha um teste fixo e reexecute

Avaliações respondem a uma pergunta: o agente continua fazendo seu trabalho no nível de qualidade que você aceitou? Monte um conjunto fixo de casos reais, extraídos do trabalho que o agente realmente faz, começando com algumas dezenas, e inclua os casos que ele tratou mal durante o piloto. Escreva o resultado esperado ao lado de cada caso, para que um revisor consiga avaliar uma resposta sem reconstruir todo o contexto. As orientações da Anthropic sobre avaliações de agentes de IA descrevem essa abordagem de medir agentes contra tarefas definidas, e são uma referência útil na hora de desenhar o conjunto.

Reexecute o conjunto todo mês, e também após qualquer mudança no modelo, nos prompts, nas ferramentas ou na memória. Compare cada resultado com o critério de sucesso combinado antes do lançamento, e não com a impressão do mês anterior. Quando uma nota cai, a primeira pergunta é se a causa foi sua mudança, a mudança do fornecedor ou a mudança nos dados, porque cada uma tem um responsável e uma correção diferentes.

O calendário mês a mês

Execute essas verificações na mesma ordem todo mês, para que a revisão ocupe um espaço previsível no calendário. Os três primeiros meses concentram a maior parte do risco, porque os usuários reais encontram os casos que o piloto nunca cobriu.

Mês um, após o lançamento:

• Confirme que o conjunto de avaliação reflete o tráfego real e acrescente cada falha das duas primeiras semanas.
• Verifique se os registros capturam cada requisição, chamada de ferramenta e escalonamento, com data e hora.
• Teste o caminho de escalonamento para uma pessoa e confirme que os alertas chegam a alguém que vai agir sobre eles.
• Registre as notas de referência e a lista de permissões que o agente tem hoje.

Mês dois:

• Reexecute o conjunto de avaliação e compare os resultados com a referência.
• Revise cada escalonamento e registre se o agente deveria ter resolvido o caso.
• Verifique cada ferramenta conectada em busca de erros, tempos esgotados e respostas alteradas.
• Abra uma solicitação de mudança para cada correção e feche as que já foram concluídas.

Mês três:

• Faça uma revisão de permissões: liste cada ferramenta e fonte de dados e confirme que o agente ainda precisa delas.
• Teste uma restauração a partir do backup mais recente da memória e da configuração, se você mantiver um, e registre quanto tempo levou e o que faltou.
• Revise as entradas de memória adicionadas no trimestre.
• Pergunte às pessoas que trabalham com o agente o que ele errou e o que ele simplesmente não conseguiu fazer.

Meses quatro a seis:

• Reexecute as avaliações todo mês e leia a tendência ao longo dos meses, não apenas a nota mais recente.
• Renove credenciais e confirme quais contas e identidades de serviço o agente usa.
• Verifique os avisos do fornecedor sobre mudanças de modelo, API ou condições comerciais que possam afetar o agente.
• Limpe a memória unindo duplicatas e expirando fatos que não se aplicam mais.

Meses sete a doze:

• Repita as verificações mensais e faça a revisão completa de permissões a cada trimestre.
• Compare os escalonamentos e solicitações de mudança do ano para ver quais tarefas cresceram e quais diminuíram.
• Decida se o escopo do agente deve ampliar, manter ou reduzir, e registre a decisão.
• Atualize o próprio calendário, retirando verificações que nunca encontraram nada e acrescentando verificações para riscos novos.

Permissões e integrações: revise acessos e conexões

Permissões se desviam por conveniência. Um agente que recebeu acesso de leitura a uma pasta compartilhada para um projeto pode manter esse acesso muito depois do fim do projeto. Aplique o princípio do menor privilégio: o agente deve ter apenas os escopos que seu papel exige, concedidos pelo fluxo de autorização que cada ferramenta oferece. Os escopos do OAuth 2.0 são um bom ponto de partida, pois definem o que um token pode fazer. Para o procedimento completo, veja Reestruturação da empresa e agentes de IA: donos, permissões e rotas.

Trate uma nova ferramenta ou um escopo mais amplo como mudança, não como atualização de rotina. Na revisão mensal, decida o destino de cada permissão com um conjunto simples de regras:

• Mantenha quando uma tarefa atual do documento de escopo precisar dela e o responsável confirmar essa necessidade.
• Reduza quando o agente usa apenas parte do acesso, como ler registros sem nunca gravá-los.
• Remova quando nenhuma tarefa a tiver usado no período de revisão e nenhum responsável a reivindicar.
• Escale quando o acesso tocar dados pessoais, pagamentos ou registros de clientes, e envie para um aprovador nomeado.

Integrações falham em silêncio. Verifique, em cada conexão, a entrega de webhooks e a validação de assinatura, as mudanças de versão da API, a expiração de credenciais e as taxas de erro. Quando uma ação puder ser repetida, confirme que requisições repetidas não criam registros duplicados. Alguns fornecedores documentam chaves de idempotência justamente para esse fim, e a documentação da Stripe sobre requisições idempotentes é um exemplo claro desse padrão. Teste esse comportamento uma vez por trimestre em um ambiente de testes, se a ferramenta oferecer um.

Higiene da memória: mantenha o que é verdadeiro, corrija o que está desatualizado

A memória do agente só é útil quando seu conteúdo está atualizado e tem origem rastreável. Todo mês, amostre as entradas adicionadas desde a última revisão e faça três perguntas: ainda é verdade, tem uma fonte e o agente deveria poder guardá-la? Remova duplicatas, expire fatos ligados a campanhas, políticas ou pessoas que saíram da empresa, e apague qualquer credencial ou dado pessoal que o papel não exija. Registre cada exclusão com o motivo, para que o histórico continue explicável para um auditor ou para um novo integrante da equipe.

Cenário ilustrativo: o agente de uma equipe de suporte ainda lembra de uma regra de desconto de uma campanha que terminou dois meses antes. Na revisão de memória, o líder de operações encontra a entrada, confirma com o responsável pela campanha que ela expirou, remove e registra a mudança. O próximo caso de avaliação sobre esse tema passa a esperar a resposta padrão, e a nota reflete a correção.

O NIST AI Risk Management Framework é uma referência útil para organizar essas revisões em torno de risco, documentação e responsabilidade, e não em torno do hábito.

Como uma operação gerenciada mantém o calendário rodando

A Be Human desenha e opera essas verificações como parte da operação gerenciada, que pode incluir monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas. Cada verificação gera um registro curto por escrito. Mudanças de escopo, permissões ou memória passam por uma etapa de aprovação com responsável nomeado. O calendário é ajustado em cada revisão trimestral conforme o papel do agente muda, e é construído a partir da definição do papel feita no primeiro projeto, de sua memória, de suas ferramentas e de seus limites de aprovação, e não a partir de um modelo genérico. Para entender a função de quem opera o dia a dia, veja O que é AgentOps? Como operar um agente de IA no dia a dia.

Se você não tem certeza de qual dessas verificações deve vir primeiro para o seu agente, faça o diagnóstico gratuito da Be Human AI para encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Com que frequência um agente de IA deve ser avaliado após o lançamento? Execute o conjunto fixo de avaliação pelo menos uma vez por mês, e de novo após qualquer mudança no modelo, nos prompts, nas ferramentas ou na memória. Execuções mensais revelam desvios que reclamações isoladas costumam deixar passar. Compare cada resultado com o critério de sucesso combinado antes do lançamento e mantenha as notas em um registro compartilhado.

Quem deve ser o dono do calendário de manutenção? Um responsável de operações nomeado deve mantê-lo, com um responsável técnico pelas integrações e um responsável de negócio pelas decisões de escopo. Quando a responsabilidade é compartilhada sem nome, as verificações costumam ser puladas nos meses tranquilos. O responsável não precisa executar cada verificação pessoalmente, mas precisa ver e aprovar cada registro.

O que significa higiene da memória para um agente de IA? Significa revisar o que o agente armazena para que as entradas continuem verdadeiras, com fonte e permitidas para o seu papel. Fatos desatualizados são removidos, duplicatas são unidas e dados sensíveis que o papel não exige são apagados. Cada mudança deve ser registrada com um motivo.

Precisamos de um calendário de manutenção se o agente apenas responde perguntas? Sim, embora as verificações possam ser mais leves. Um agente que responde perguntas ainda depende de um modelo, de uma fonte de conhecimento e, muitas vezes, de algumas ferramentas, e suas respostas podem ficar erradas quando as políticas mudam. Um calendário curto, com avaliações mensais e uma verificação trimestral de permissões, costuma bastar nesse caso.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.