O que é AgentOps? Como operar um agente de IA no dia a dia

AgentOps é o trabalho recorrente, diário e semanal, que mantém um agente de IA em produção preciso, seguro, com custo sob controle e útil depois do lançamento. Isso inclui acompanhar o que o agente faz, testar a qualidade em intervalos fixos, cuidar das conexões e permissões e alterar o agente de forma controlada. Pense nisso como a gestão de um novo tipo de integrante da equipe: alguém precisa supervisionar o trabalho mesmo quando ele vai bem.

Principais pontos

• AgentOps é a rotina de um agente em produção: observar, avaliar, manter, governar e melhorar.
• Agentes saem do rumo sem que ninguém quebre nada, porque documentos, ferramentas, modelos e pedidos da equipe mudam o tempo todo ao redor deles.
• O trabalho diário é curto e focado em exceções. O semanal testa a qualidade com um conjunto fixo de tarefas realistas.
• O trabalho mensal e trimestral cobre permissões, custo por tarefa concluída, testes de restauração e se a função do agente ainda corresponde ao negócio.
• Cada tarefa precisa de um responsável nomeado, e a empresa mantém as decisões sobre escopo, risco e aprovações.

O que o AgentOps cobre na prática?

Um agente de IA não é um programa que você instala e esquece. Ele é a combinação de um modelo com instruções, memória, fontes de conhecimento, ferramentas que agem em outros sistemas, permissões e canais como e-mail ou chat. Cada uma dessas partes pode mudar sem que ninguém da sua equipe mexa no agente.

O fornecedor atualiza um modelo. Um documento de política é substituído. Um sistema conectado muda a forma de login. Um funcionário novo pergunta algo que ninguém previu. O AgentOps é a rotina que percebe essas mudanças antes que um cliente ou um colega perceba.

O trabalho se divide em cinco atividades:

• Observar: manter registros do que o agente fez, quais ferramentas acionou, quanto custou e onde falhou. As ideias de logs, métricas e rastros (traces) do guia de observabilidade do OpenTelemetry se aplicam diretamente.
• Avaliar: executar em intervalos fixos um conjunto de tarefas realistas e comparar os resultados com o que seria o padrão esperado.
• Manter: conservar integrações, credenciais, fontes de conhecimento e memória atualizadas e funcionando.
• Governar: revisar o que o agente pode acessar, manter os limites de aprovação e guardar um registro de auditoria.
• Melhorar: fazer mudanças em passos pequenos e reversíveis, cada um com um motivo e um caminho de volta.

Isso é diferente de construir. Construir define o que o agente é. Operar mantém o agente assim e o melhora de propósito.

O que acontece todos os dias?

O trabalho diário é pequeno de propósito. Ele trata de exceções, não de ler todas as conversas. Quando tudo está saudável, um operador treinado termina rápido. Quando não está, a rotina deixa isso evidente.

• Ler o resumo da noite: quantas tarefas foram tratadas, quantas foram passadas para uma pessoa e quantas terminaram sem um resultado claro.
• Ler as exceções: chamadas de ferramenta que falharam, ações recusadas, tempos esgotados e tudo o que o próprio agente marcou como incerto.
• Verificar as conexões: confirmar que o acesso a e-mail, agenda, CRM ou arquivos continua funcionando e que nenhuma credencial está perto de expirar.
• Comparar o uso com os limites: um salto repentino de atividade pode indicar um laço repetitivo, um erro de configuração ou uso indevido.
• Triar os relatos da equipe: quando alguém diz que o agente errou, registrar, reproduzir e decidir se foi um caso isolado ou um padrão.

O último item é o mais importante. Os relatos de quem usa o agente são o sinal de qualidade mais barato que você terá, e eles secam rápido se ninguém responde. Olhe também a fila de aprovações. Se o agente precisa pedir autorização antes de agir e a fila fica parada, um agente útil vira, sem alarde, um gargalo.

O que entra na revisão semanal?

A revisão semanal se afasta dos incidentes isolados e procura padrões. Sua ferramenta central é um conjunto de testes: uma coleção pequena de tarefas realistas, tiradas do trabalho de verdade, cada uma com um resultado correto conhecido. Rodá-lo toda semana, e depois de cada mudança, mostra se a qualidade se moveu. O guia da Anthropic sobre avaliações (evals) de agentes de IA explica por que esse hábito pesa mais à medida que os agentes assumem tarefas mais longas.

Um checklist semanal prático:

• Rodar o conjunto fixo de testes e comparar com a execução anterior.
• Ler de ponta a ponta algumas tarefas concluídas, inclusive algumas que pareciam ter saído bem.
• Revisar as correções: cada vez que uma pessoa editou, rejeitou ou refez a saída do agente, anotar o motivo.
• Verificar se as fontes de conhecimento têm documentos desatualizados, duplicados ou contraditórios.
• Olhar entradas incomuns, como e-mails ou arquivos que contêm instruções dirigidas ao agente. Conteúdo externo que tenta conduzir o agente é um risco conhecido, descrito no OWASP Top 10 para aplicações com LLMs.
• Revisar os pedidos de mudança em aberto e decidir o que entra, o que espera e o que é recusado.

Mantenha o conjunto de testes pequeno o bastante para que alguém realmente o execute. Sempre que surgir uma falha real, acrescente um caso que a teria detectado. Com o tempo, o conjunto de testes vira a memória de tudo o que já deu errado, e é assim que um agente fica cada vez mais confiável em vez de mudar ao acaso.

O que muda todo mês e todo trimestre?

Alguns riscos se movem devagar demais para uma olhada semanal, mas ainda precisam de data fixa na agenda. O trabalho mensal trata sobretudo de acesso e custo. O trimestral trata de saber se o arranjo inteiro ainda faz sentido.

• Revisão mensal de permissões: listar cada sistema que o agente pode ler ou alterar, remover o que não é mais necessário e confirmar que cada limite de aprovação ainda reflete a sua intenção. Para entender quem deve ser dono de contas e chaves, veja de quem devem ser as contas e chaves de API do agente de IA.
• Revisão mensal de custo: olhar o custo por tarefa concluída, e não só o gasto total. Gasto crescente com custo por tarefa estável costuma significar mais trabalho útil. O contrário é um alerta.
• Teste mensal de restauração: confirmar que configuração, memória e fontes de conhecimento podem ser recuperadas de uma cópia salva, e não apenas que a cópia existe.
• Atualizações de modelo e de ferramentas: tratar cada uma como uma mudança. Testar contra o conjunto fixo antes de liberar e manter um plano de reversão pronto. Para uma visão de como evoluir a IA que já está em uso, veja como melhorar a IA que a empresa já usa.
• Revisão trimestral da função: comparar a função escrita com o que as pessoas realmente pedem ao agente e então ampliá-la, reduzi-la ou dividi-la. A revisão trimestral de IA na empresa detalha esse momento.
• Simulação trimestral de incidente: praticar o procedimento de pausa. Quem pode parar o agente, com que rapidez e quem é avisado depois.

Se você quer um quadro mais amplo para esse ciclo, o NIST AI Risk Management Framework descreve, em termos gerais, o mesmo ciclo de governar, mapear, medir e gerenciar.

Cenário ilustrativo: desvio detectado na revisão semanal

Este é um cenário ilustrativo, não a descrição de um cliente real. Uma distribuidora usa um agente para responder a clientes sobre entregas e devoluções. Durante o mês, a empresa revisa a política de devoluções e sobe o documento novo, mas a versão antiga continua na pasta de conhecimento. Ninguém reclama, porque as duas versões geram respostas que parecem razoáveis.

Na revisão semanal, o conjunto fixo de testes inclui uma pergunta sobre devolução com resposta correta conhecida. Nesta semana a resposta é diferente da anterior. O operador rastreia a causa até o documento antigo e segue estes passos:

• Retirar o documento antigo da pasta de conhecimento.
• Rodar o conjunto de testes de novo para confirmar que a resposta está correta.
• Acrescentar um segundo caso de teste que falhe caso duas versões da política voltem a coexistir.
• Contar à liderança de suporte o que aconteceu e por quê.
• Registrar a mudança no histórico de alterações.

O esforço foi pequeno. Sem uma rotina, o primeiro sinal seria um cliente citando de volta para a empresa a resposta errada do agente.

Quem cuida de cada parte do AgentOps?

Operar bem depende de clareza sobre quem decide o quê. Use esta lista como guia de decisão e escreva a sua própria versão.

• O que o agente tem permissão de fazer: quem decide é o dono do negócio.
• Se uma nova conexão de ferramenta ou uma permissão mais ampla é aprovada: o dono do negócio aprova, depois que o operador explica o risco em linguagem simples.
• Se o agente está funcionando hoje: o operador responde, a partir do monitoramento.
• Se as respostas continuam corretas: o operador executa as avaliações, e um contato nomeado do negócio confirma o que significa correto.
• Se um documento é a política vigente: decide o responsável interno por esse documento.
• Quando pausar o agente: qualquer pessoa da lista combinada pode pausá-lo, o operador investiga e o dono do negócio decide quando ele volta.

Responsabilidades escritas evitam duas falhas comuns: todos presumem que outra pessoa está de olho, ou quem está de olho não tem autoridade para agir. Para dividir esses deveres entre um parceiro e a sua empresa, veja time interno de IA ou parceiro externo. Sobre quem fica com a supervisão cotidiana, veja quem supervisiona um agente de IA na empresa.

Como a Be Human trata o AgentOps?

A Be Human projeta, implementa e opera agentes de IA para empresas. Um primeiro projeto define uma função útil, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso observável. Depois do lançamento, a operação gerenciada executa as rotinas descritas aqui: monitoramento, avaliações recorrentes, manutenção de integrações, revisão de permissões, resposta a incidentes e melhorias controladas. O serviço é remoto, disponível em português e em inglês, e a empresa mantém o controle sobre escopo e aprovações. Para saber o que esperar no início, veja os primeiros meses com um agente de IA gerenciado.

Perguntas frequentes

AgentOps é a mesma coisa que DevOps ou MLOps? Há sobreposição, mas não são idênticos. DevOps mantém o software implantado e funcionando, e MLOps gerencia o treinamento e a liberação de modelos. AgentOps acrescenta a supervisão do comportamento: o que o agente decidiu, quais ferramentas usou, se as respostas continuam certas e se as permissões ainda fazem sentido.

Quanto tempo o AgentOps consome? Depende de quantas tarefas o agente trata e de quantos sistemas ele toca. As verificações diárias devem ser curtas quando tudo está saudável, enquanto a revisão semanal e as revisões mensais de acesso e custo precisam de tempo protegido na agenda. Se ninguém tem esse tempo, o trabalho será pulado, e esse é o motivo mais comum para entregá-lo a um parceiro.

A nossa equipe consegue fazer AgentOps sozinha? Sim, se alguém tiver tempo, habilidade técnica para ler logs e rastrear falhas e autoridade para pausar o agente. Muitas empresas mantêm as decisões, como escopo, aprovações e o que conta como resposta correta, e entregam a rotina técnica a um operador.

Como saber se o AgentOps está realmente acontecendo? Peça para ver cinco coisas: uma rotina escrita com responsáveis, o conjunto de testes atual com resultados recentes, um histórico de mudanças, um procedimento de incidente e pausa, e um relatório periódico curto sobre uso, custo e pendências. Se qualquer um deles não existir, o agente está sendo acompanhado, na melhor das hipóteses, de modo informal.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.