Quem supervisiona um agente de IA na empresa: revisão diária

Na maioria das empresas, um agente de IA deve ser supervisionado por uma pessoa nomeada, da equipe responsável pelo trabalho que o agente executa. Não basta a TI e não basta o fornecedor. Essa pessoa lê uma amostra do que o agente produziu em cada dia útil, confere com um padrão escrito e curto e decide o que corrigir, escalar ou pausar. O papel toma pouco tempo quando vira rotina, mas precisa de nome, de agenda e de autoridade para dizer: pare.

Principais pontos

• Quem supervisiona é um revisor de negócio, não um engenheiro. A tarefa é julgar, todos os dias, se o trabalho do agente está certo para a empresa.
• Escolha alguém que conheça o trabalho a ponto de perceber rápido uma resposta errada e que tenha autoridade para pausar o agente.
• O tempo de revisão é maior nas primeiras semanas e só diminui conforme as evidências se acumulam. Reduza de propósito, nunca por descuido.
• Uma boa revisão confere mais do que acerto: escopo, ações nas ferramentas, comportamento de escalonamento, entradas incomuns e desvio ao longo do tempo.
• Todo achado deve terminar em uma decisão: aceitar, corrigir, escalar, pedir uma mudança ou pausar.

O que faz, na prática, quem supervisiona um agente de IA?

Um agente de IA trabalha: redige respostas, atualiza registros, prepara relatórios, encaminha solicitações. Alguém precisa olhar esse trabalho do mesmo jeito que um líder olha o trabalho de um profissional recém-contratado. O supervisor é essa pessoa.

O papel tem três tarefas. A primeira é ler: abrir uma amostra do que o agente produziu e fez desde a última revisão. A segunda é julgar: comparar com o padrão daquela função, que deve estar por escrito. A terceira é encaminhar: levar cada achado ao lugar certo. Um dado errado vai para o responsável pela base de conhecimento. Um problema de permissão vai para quem gerencia acessos. Um padrão que se repete vira pedido de mudança.

Ajuda separar esse papel dos vizinhos. O patrocinador executivo financia o trabalho e define a direção. O operador técnico mantém integrações, registros (logs) e infraestrutura saudáveis. O supervisor fica entre os dois e responde, a cada dia, a uma pergunta: o agente está fazendo o trabalho bem o bastante para continuar fazendo sem acompanhamento direto? Se a sua empresa ainda está definindo esses papéis, o artigo sobre o modelo de responsabilidade compartilhada em agentes de IA mostra quem faz o quê, e o texto sobre time interno de IA ou parceiro externo ajuda a ver onde o supervisor se encaixa.

O supervisor não precisa entender como o modelo funciona. Precisa entender como é um bom resultado no seu próprio domínio e precisa de um jeito de ver o que o agente fez, e não apenas o que ele disse.

Quem na empresa deve assumir o papel?

Use este roteiro de decisão. A pessoa certa costuma atender a todos estes critérios:

• Executa ou gerencia o trabalho que o agente faz, por isso percebe erros que um generalista deixaria passar.
• Tem autoridade para pausar o agente ou restringir uma tarefa sem pedir licença a outras três pessoas.
• Consegue reservar um bloco fixo de tempo em cada dia útil, e não apenas o que sobrar.
• Está perto o suficiente da equipe para ouvir reclamações e ver como a produção do agente é usada.
• Escreve com conforto uma nota curta e precisa sobre o que estava errado e por quê.

Na prática, costuma ser um líder de operações, um líder de equipe ou um profissional sênior. Para um agente de atendimento, alguém da equipe de atendimento. Para um agente financeiro, alguém de operações financeiras. O supervisor deve vir do departamento, e não de uma área central de tecnologia, porque a área central sabe dizer se o sistema rodou, mas raramente se a resposta estava certa.

Duas escolhas tendem a dar errado. A primeira é fazer de quem construiu ou configurou o agente o único revisor. Essa pessoa corrige o próprio trabalho e costuma ler a produção com generosidade. A segunda é nomear um executivo sênior. Ele tem a autoridade, mas raramente o tempo diário, e a revisão vira uma olhada mensal.

Nomeie também um substituto. Uma rotina de revisão que para quando uma pessoa sai de férias não é um controle, é um hábito. O substituto deve seguir o mesmo checklist, para que o padrão não mude conforme o revisor.

Quanto tempo leva a revisão diária?

A resposta honesta é que depende do volume, do risco e de quanto o agente pode fazer sem aprovação. Uma suposição inicial útil, para um único agente em uma única função, é um bloco fixo por dia, entre meia hora e uma hora. Esse bloco não é uma promessa, é uma referência de planejamento para ajustar com evidências.

Três fatores aumentam ou reduzem o tempo:

• Reversibilidade. Se o agente apenas redige e uma pessoa envia, os erros são pegos antes de sair. Se ele envia ou altera registros sozinho, a revisão precisa ser mais próxima e mais rápida.
• Público. A produção que fica dentro da equipe pede revisão mais leve do que a que chega a clientes, fornecedores ou órgãos reguladores.
• Amplitude. Um agente com acesso a várias ferramentas tem mais tipos de ação a conferir do que um que só escreve texto.

Um padrão sensato é revisar tudo o que envolve dinheiro, clientes ou mensagens externas nas primeiras semanas e trabalhar por amostragem no restante. Conforme o agente se prova, passe da revisão completa para a amostragem, e da revisão diária profunda para uma checagem diária curta somada a uma sessão semanal mais longa. A sessão semanal olha tendências, e não itens isolados: que tipos de solicitação causam problema, quais correções se repetem, o que mudou nas entradas.

A regra para reduzir o tempo de revisão é simples: só reduza quando o histórico sustentar. Se os critérios de sucesso da função foram definidos antes do início, você pode comparar o trabalho recente do agente com eles e decidir com evidências. O artigo sobre critérios de sucesso para piloto de agente de IA mostra como definir essas medidas para que o supervisor não precise improvisar o padrão.

O que o supervisor procura no trabalho do agente?

A precisão é a checagem óbvia, mas é só a primeira. Quem confere apenas se os fatos estão certos deixa passar as falhas que causam dano de verdade. Use esta lista como ponto de partida e encurte-a conforme a função.

• Correção em relação às fontes. A resposta bate com os documentos, registros ou políticas da empresa? Se o agente cita uma fonte, ela realmente diz aquilo?
• Escopo. O agente ficou dentro da função definida ou passou a responder perguntas e executar ações que pertencem a outra pessoa?
• Ações versus relatos. Quando o agente diz que atualizou um registro ou enviou uma mensagem, isso aconteceu? Compare o relato com o log das ferramentas.
• Comportamento de escalonamento. Ele pediu ajuda humana quando devia? Um palpite confiante em um caso pouco claro é um sinal de alerta maior do que uma passagem honesta para uma pessoa.
• Tom e formato. A produção soa como a empresa e segue a estrutura esperada, principalmente em qualquer coisa externa?
• Limites de permissão. O agente tentou acessar dados ou ferramentas fora da sua alçada, mesmo que a tentativa tenha sido bloqueada?
• Entradas estranhas. Alguma mensagem, documento ou página da web continha instruções dirigidas ao agente? Instruções embutidas são um risco conhecido. As orientações da OWASP sobre aplicações com modelos de linguagem explicam por que conteúdo não confiável deve ser tratado com desconfiança.
• Repetição e desvio. O mesmo erro está aparecendo de novo? A qualidade muda aos poucos sem nenhuma alteração anunciada?
• Sinais de volume e custo. A atividade subiu ou caiu de forma inesperada? Uma mudança brusca costuma apontar para um laço de repetição, uma integração quebrada ou uma alteração a montante.

Os dois últimos itens são onde a revisão diária se paga. Uma resposta ruim isolada é um incidente. Um padrão de respostas levemente piores é uma tendência, e só quem olha todo dia a vê se formar.

O supervisor também precisa ter o que olhar. Vale o básico de observabilidade: se as ações, entradas e saídas do agente ficam registradas de um jeito que um não engenheiro consegue ler, a revisão é rápida. A ideia de tornar o comportamento de um sistema visível a partir do que ele produz é bem explicada no guia introdutório de observabilidade do OpenTelemetry. Sem registros legíveis, o supervisor fica reduzido a adivinhar.

Uma rotina de revisão diária, passo a passo

Uma rotina que cabe em uma única sentada funciona melhor do que uma ambiciosa que é pulada. Esta sequência serve para a maioria dos agentes de função única.

• Abra primeiro as exceções. Veja os itens que o agente sinalizou, escalou ou em que falhou. Eles mostram onde ele sabe que está inseguro.
• Leia a amostra de alto risco. Separe todos os itens que envolveram dinheiro, clientes ou destinatários externos desde a última revisão, ou um número fixo deles se o volume for alto.
• Leia uma amostra aleatória de itens de rotina. Aleatória, e não escolhida pelo agente, para que a qualidade seja avaliada no trabalho típico e não nos melhores casos.
• Compare relatos com logs. Em alguns itens, confira se as ações que o agente informou batem com o que as ferramentas registraram.
• Verifique os sinais. Dê uma olhada em volume, contagem de erros e uso em relação à faixa habitual.
• Escreva os achados. Uma linha por problema: o que aconteceu, por que importa, o que você decidiu.
• Encaminhe cada achado. Aceite, corrija à mão, envie ao responsável pelo conhecimento ou pelo acesso, abra um pedido de mudança ou pause a tarefa.
• Feche o dia com um status. Verde, amarelo ou vermelho para a função, visível ao patrocinador e ao operador técnico.

Guarde o registro dos achados, mesmo que pareça informal. Depois de algumas semanas, ele se torna o documento mais útil do projeto: mostra o que continua dando errado, o que foi corrigido e se as correções se sustentaram.

Quando um achado aponta para uma correção duradoura, como uma instrução alterada, um documento novo ou uma permissão mais restrita, trate-a como uma mudança controlada e não como um ajuste silencioso. Um fluxo simples de pedido, análise e aprovação de mudanças transforma as observações do supervisor em melhorias revisadas. Se o achado for sobre acesso, o artigo sobre identidade e contas próprias para o agente de IA ajuda a conferir quem acessa o quê.

Um conjunto estruturado de avaliação pode apoiar essa rotina. Uma pequena coleção de casos representativos, executada com regularidade, dá ao supervisor um ponto de referência estável além da amostra do dia. A Anthropic publica material técnico sobre avaliações (evals) de agentes de IA que ajuda a entender a ideia, mesmo que você nunca monte uma.

Cenário ilustrativo: uma semana de supervisão

Este é um cenário ilustrativo, não um caso real. Uma empresa de médio porte usa um agente na equipe de operações financeiras para redigir respostas a dúvidas de fornecedores sobre o status de notas fiscais. Uma profissional sênior da equipe é a supervisora nomeada, com um colega como substituto.

Na segunda-feira, a supervisora lê as exceções e vê que o agente escalou vários casos em que faltava a referência da nota. É o comportamento esperado, e ela os aceita. Na terça, na amostra aleatória, ela nota uma resposta que informa uma data de pagamento que o registro do fornecedor não sustenta. O agente havia lido um documento antigo. Ela registra o achado e o envia ao responsável pelo documento de condições de pagamento, que o atualiza.

Na quarta, ela compara as ações relatadas com o log das ferramentas e descobre que o agente disse ter anexado um extrato a uma resposta, mas o log não mostra anexo. Ela marca a função como amarela e abre um pedido de mudança, porque a causa pode ser uma falha de integração. O operador técnico investiga e corrige no mesmo dia.

Na quinta, o volume está incomumente baixo. Ela verifica e descobre que uma regra de caixa de e-mail está desviando algumas mensagens de fornecedores para outro lugar. Não é falha do agente, mas, sem a checagem diária dos sinais, ninguém teria percebido. Na sexta, ela revisa o registro da semana, vê que o erro de data não se repetiu e devolve a função ao verde. O tempo de revisão diminui na semana seguinte, e ela consegue apontar o registro para explicar por quê.

Observe o que fez isso funcionar: uma pessoa nomeada, um padrão escrito, registros legíveis e um caminho claro para cada achado. Nada disso exigiu habilidade técnica especial.

Como a Be Human trata a supervisão

A Be Human desenha o modelo de supervisão junto com a empresa, quando o primeiro projeto define a função do agente. Isso inclui os limites de aprovação, o critério de sucesso observável e quem, do lado da empresa, atua como revisor. Na operação gerenciada, a Be Human monitora o agente, executa avaliações recorrentes, mantém as integrações, revisa permissões, responde a incidentes e aplica melhorias controladas. O supervisor da empresa mantém o julgamento de negócio sobre se o trabalho está bom o bastante, e a Be Human cuida do lado técnico do que esse julgamento revela. Para ver como isso evolui com o tempo, leia sobre os primeiros meses com um agente de IA gerenciado.

Perguntas frequentes

Quem supervisiona o agente precisa ter conhecimento técnico? Não. Precisa conhecer bem o trabalho que o agente executa e saber descrever problemas com clareza. O diagnóstico técnico é do operador, e as notas do supervisor devem dar a ele detalhes suficientes para agir.

O agente pode supervisionar a si mesmo ou a outro agente? Uma checagem automática ajuda, por exemplo ao sinalizar campos ausentes ou volume incomum, e serve como primeiro filtro. Ela não deve substituir um revisor humano nas decisões de julgamento, porque os mesmos pontos cegos podem afetar quem executa e quem confere. Mantenha uma pessoa responsável pela decisão final.

E se o supervisor concluir que o agente acerta quase sempre e a revisão parecer perda de tempo? É um bom sinal, mas não é motivo para parar. Passe da revisão completa para a amostragem, encurte o bloco diário e mantenha a sessão semanal de tendências. Reduza a revisão em etapas e ligue cada etapa às medidas de sucesso combinadas, para que a mudança seja uma decisão e não um desvio.

Quem supervisiona o agente quando o supervisor está ausente ou deixa a empresa? Um substituto nomeado deve seguir o mesmo checklist escrito e o mesmo registro de achados. Se o supervisor sair, trate como qualquer passagem de função: transfira o registro, o padrão e a autoridade para pausar, e confirme que o acesso do agente e o direcionamento das notificações não apontam mais para quem saiu. O artigo sobre desligamento de funcionários e acesso ao agente de IA detalha esse cuidado.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.