Avaliação de desempenho de agente de IA: metas, evidências e ajustes

Para fazer a avaliação de desempenho de um agente de IA, trate o agente como uma função com um revisor humano nomeado. Compare o que a função deveria entregar com evidências do trabalho real, transforme o feedback em mudanças específicas e registre quem aprovou cada uma. A avaliação é uma conversa de negócio recorrente, não um teste técnico feito uma única vez.

Principais pontos

• Avalie a função, não o modelo: a pergunta é se o trabalho que o agente faz continua útil, seguro e compatível com o custo.
• Nomeie um revisor humano que responda pelo resultado da função e registre esse nome antes da primeira avaliação.
• Leve evidências do trabalho real: tarefas amostradas, correções feitas por pessoas, escalonamentos, incidentes e uso, não impressões.
• Converta cada achado em uma mudança concreta em instruções, conhecimento, ferramentas, permissões ou processo, com um aprovador.
• Mantenha um ritmo curto e regular, para que a avaliação seja um hábito e não um evento que só acontece depois de uma falha.

Por que um agente de IA precisa de avaliação de desempenho?

A maioria dos agentes não falha de forma barulhenta. Eles se desgastam aos poucos. A empresa muda uma política, um fornecedor altera um formulário, uma ferramenta é atualizada, surge uma nova linha de produto, e o agente continua trabalhando com o que sabia no lançamento. Ninguém reclama, porque a resposta ainda parece fluente. Enquanto isso, as pessoas começam a refazer partes do trabalho em silêncio ou deixam de enviar ao agente os casos mais difíceis.

A avaliação torna esse desgaste visível. Ela também resolve uma pergunta que costuma ficar vaga: quem é responsável por esse agente ser bom no que faz? Com um funcionário, quem responde é o gestor. Com um agente, a resposta muitas vezes é um dar de ombros entre quem pediu, quem montou e quem usa.

O formato clássico de avaliação funciona bem porque faz quatro perguntas simples. O que esta função deveria alcançar? O que realmente aconteceu? O que precisa ser dito sobre isso? O que muda agora? Nenhuma delas exige formação técnica. Exigem um horário na agenda, acesso às evidências e alguém com autoridade para decidir.

Se você ainda está definindo a própria função, comece por exemplos de funções para agentes de IA em empresas. A avaliação só é tão precisa quanto a descrição da função usada como régua.

Quem deve ser o revisor nomeado?

Escolha uma pessoa do lado do negócio que seja dona do resultado para o qual o agente contribui. Para um agente que redige respostas a dúvidas de clientes, normalmente é o responsável pelo atendimento, não quem configurou as ferramentas. Para um agente que prepara documentos de fornecedores, é o líder de operações, que sentiria o problema primeiro.

O revisor precisa de três coisas:

• Autoridade para aprovar mudanças na função, dentro dos limites definidos pela empresa.
• Familiaridade suficiente com o trabalho para julgar se um resultado é bom, e não apenas se está bem escrito.
• Tempo reservado na agenda, para que a avaliação não dependa de boa vontade.

Ao redor do revisor ficam papéis de apoio. Um operador técnico traz os registros, o uso e o histórico de incidentes. Um ou dois usuários do dia a dia contam como é trabalhar ao lado do agente. Alguém responsável pelos acessos confirma que as permissões ainda correspondem ao trabalho. Em uma empresa pequena, uma só pessoa pode ocupar vários desses lugares, e tudo bem, desde que o revisor esteja nomeado.

Escreva o nome do revisor na descrição da função e no canal em que o agente foi anunciado. Se a pessoa sair, o lugar de revisor deve ser reatribuído na mesma semana, o mesmo problema de continuidade tratado em líder interno de IA na empresa.

Como reafirmar as metas antes da avaliação?

A primeira parte de qualquer avaliação são as metas, e no caso de agentes elas costumam estar ausentes ou vagas demais. Frases como "ajudar o time de vendas" não podem ser avaliadas. Antes da reunião, reescreva a função como um conjunto pequeno de metas, de preferência entre três e cinco. Para cada meta, registre quatro itens:

• A tarefa: o que o agente faz, em palavras simples.
• O padrão de qualidade: como é um bom resultado para quem o recebe.
• A medida observável: algo que o revisor consiga verificar no registro do trabalho.
• O limite: o que o agente não deve fazer ou deve passar para uma pessoa.

Um exemplo para um agente que faz a triagem de uma caixa de entrada compartilhada. Tarefa: classificar as mensagens recebidas e redigir uma primeira resposta para dúvidas de rotina. Padrão de qualidade: o rascunho responde à pergunta real, usa a política vigente e precisa de pouca edição. Medida: a proporção de rascunhos que uma pessoa envia com pouca ou nenhuma edição, avaliada em um conjunto amostrado. Limite: qualquer assunto que envolva decisão de reembolso, reclamação jurídica ou pedido de alteração de dados cadastrais vai para uma pessoa, com um resumo curto.

Repare que a medida é algo que uma pessoa consegue observar, mas não precisa ser um número exato para ser útil. Se você definiu critérios de sucesso quando o agente era um piloto, reaproveite-os e pergunte se ainda descrevem o trabalho. O artigo sobre critérios de sucesso para piloto de agente de IA mostra como escrevê-los para que sobrevivam ao lançamento.

Acrescente também uma meta fácil de esquecer: a relação do agente com as pessoas. Os colegas confiam nele o bastante para usá-lo e sabem quando devem contrariá-lo? Um agente preciso, mas ignorado, não está entregando resultado.

Que evidências levar para a avaliação?

Uma avaliação sem evidências vira uma discussão entre impressões. Prepare um pequeno pacote de evidências antes da reunião. Ele deve vir do registro real do trabalho, não de uma demonstração.

• Uma amostra de tarefas concluídas, sem escolher só as boas, com o revisor lendo algumas de cada meta.
• Correções humanas: onde as pessoas editaram, rejeitaram ou refizeram a entrega do agente, e por quê.
• Escalonamentos e repasses: com que frequência o agente passou o trabalho a uma pessoa e se fez isso nos momentos certos.
• Incidentes e quase incidentes: tudo que encostou em um limite, mesmo sem dano.
• Feedback dos usuários: comentários curtos de quem trabalha com o agente toda semana.
• Uso e custo em relação ao orçamento definido para a função.
• O histórico de mudanças: o que foi alterado desde a última avaliação e qual foi o efeito.

Para reunir quase tudo isso, o trabalho do agente precisa ser observável. A ideia geral de observabilidade é que dá para entender o que um sistema fez a partir dos registros que ele deixa. O material introdutório sobre observabilidade do projeto OpenTelemetry explica essa ideia com clareza, e ela se aplica diretamente: se você não consegue reconstruir o que o agente fez diante de um pedido, não consegue avaliá-lo. Em setores regulados, vale ainda definir requisitos de trilha de auditoria desde o início.

Também ajuda manter um conjunto fixo de tarefas representativas, incluindo algumas difíceis, e executá-las de novo antes de cada avaliação. Comparar os resultados entre avaliações mostra se uma mudança ajudou ou prejudicou sem ninguém notar. O artigo da Anthropic sobre avaliações (evals) de agentes de IA descreve como as equipes montam esses conjuntos de tarefas e por que ler as transcrições reais importa tanto quanto qualquer pontuação. O revisor não precisa construir isso sozinho, mas deve exigir que exista.

Por fim, inclua a evidência silenciosa: o trabalho que parou de chegar. Se os usuários deixaram de enviar ao agente uma categoria de pedido, isso é um achado, mesmo que ninguém tenha reportado problema. O método de como coletar feedback dos funcionários sobre o agente de IA e agir é um bom caminho para trazer isso à tona.

Como transformar feedback em mudanças?

Uma pessoa que recebe feedback o absorve e muda de comportamento na semana seguinte. Um agente não funciona assim. Dizer a ele numa conversa que errou pode ajudar naquela sessão, mas não muda nada de forma duradoura. O feedback de verdade precisa chegar a algum lugar: nas instruções, no conhecimento, nas ferramentas, nas permissões ou no processo ao redor.

Por isso, a disciplina desta etapa é o diagnóstico. Para cada problema encontrado nas evidências, pergunte qual destas causas é a mais provável e escolha a resposta correspondente:

• A instrução era confusa ou contradizia outra: reescreva a instrução e acrescente um exemplo do comportamento correto.
• O agente não tinha conhecimento atualizado: atualize ou inclua o material de referência que ele consulta e nomeie quem o mantém em dia.
• Uma ferramenta estava ausente, instável ou ampla demais: conserte ou troque a ferramenta, ou restrinja o que ela pode fazer.
• A permissão estava errada, ampla ou estreita demais: ajuste o acesso pelo processo de permissões, não de modo informal.
• A tarefa não é adequada para um agente: devolva-a a uma pessoa ou divida-a para que o agente cuide apenas da parte previsível.
• O problema está no processo humano ao redor: corrija o repasse, o formulário de entrada ou a etapa de aprovação, não o agente.

As duas últimas são as que as equipes costumam pular. Às vezes o melhor resultado de uma avaliação é reduzir a função, e isso é um acerto, não um fracasso.

Toda mudança deve passar por um caminho visível de solicitação e aprovação, com uma forma de desfazer. Caso contrário, as avaliações geram um monte de edições sem registro que dificultam a avaliação seguinte. O dia a dia descrito em o que é AgentOps e como operar um agente de IA é um modelo viável para isso. Para achados sobre permissões, use o mesmo rigor: o ajuste de acesso deve passar por quem responde pelas contas e credenciais do agente.

Como conduzir a reunião de avaliação, passo a passo?

Mantenha a reunião curta e a preparação rigorosa. O roteiro abaixo funciona para a primeira avaliação e pode ser enxugado depois.

• Passo um: envie o pacote de evidências ao revisor e aos papéis de apoio com alguns dias de antecedência, com as metas reescritas na primeira página.
• Passo dois: abra pelas metas. Pergunte se cada uma ainda descreve o trabalho e corrija as que não descrevem mais, antes de julgar o desempenho.
• Passo três: percorra as evidências meta por meta. O revisor dá uma nota em palavras simples: atende ao padrão, atende em parte ou não atende, com uma frase de justificativa.
• Passo quatro: analise os limites separadamente. Liste cada quase incidente e confirme que o agente ficou dentro do que podia fazer.
• Passo cinco: ouça os usuários. Um ou dois usuários do dia a dia dizem o que ajuda, o que incomoda e o que passaram a evitar.
• Passo seis: faça o diagnóstico de cada lacuna com as causas listadas acima e atribua a cada uma uma mudança com responsável.
• Passo sete: decida o resultado para a função como um todo: continuar como está, continuar com mudanças, reduzir o escopo, ampliar o escopo ou pausar.
• Passo oito: escreva um registro de uma página com a data, o revisor, as decisões e as mudanças aprovadas, e arquive-o onde o próximo revisor vá encontrá-lo.

A ampliação pede cautela. Se o agente vai bem, a tentação é dar a ele mais ferramentas e acessos mais amplos de imediato. Trate isso como uma solicitação de mudança separada, com sua própria verificação, e não como um prêmio concedido na reunião.

Como é uma avaliação na prática?

Cenário ilustrativo: uma distribuidora de médio porte tem um agente que redige respostas a dúvidas de rotina sobre status de pedidos e janelas de entrega. O revisor nomeado é o gerente de operações com clientes. Na primeira avaliação, os rascunhos amostrados estão corretos quanto ao status do pedido, mas citam com frequência uma política de entrega antiga. Os usuários contam que passaram a reescrever qualquer rascunho que mencione atrasos. A lista de escalonamentos mostra que o agente repassou corretamente todas as reclamações de avaria.

O diagnóstico do revisor é simples. A fonte de conhecimento sobre a política de entrega nunca foi atualizada após uma mudança nos acordos com transportadoras, ou seja, é uma lacuna de conhecimento com um responsável nomeado na área de operações. Uma meta, responder dúvidas sobre atrasos, recebe a nota de atende em parte. A decisão é continuar com mudanças: atualizar a fonte da política, acrescentar três exemplos corrigidos às instruções e executar de novo o conjunto fixo de tarefas antes da próxima avaliação. Nada muda nas permissões. O registro de uma página anota tudo isso, e a reunião seguinte começa verificando se as pessoas pararam de reescrever as respostas sobre atrasos.

Nada nesse cenário exigiu conhecimento técnico avançado. Exigiu uma meta, uma amostra, um diagnóstico e um responsável.

A Be Human trata isso como parte da operação gerenciada. Um primeiro projeto define a função, a memória e as ferramentas de que ela precisa, os limites de aprovação e um critério de sucesso observável, o que dá à avaliação seu ponto de partida. Depois, o trabalho recorrente pode incluir monitoramento, avaliações periódicas, revisão de permissões e melhorias controladas, e o provedor prepara o pacote de evidências para que o revisor nomeado use a reunião para decidir. O revisor fica do lado do cliente e mantém a autoridade para aprovar mudanças. Para ver o trabalho recorrente com mais detalhe, leia primeiros meses com um agente de IA gerenciado e confira o que os serviços gerenciados de IA incluem antes de contratar.

Para um quadro mais amplo de como risco e supervisão se encaixam em avaliações como essa, o NIST AI Risk Management Framework é uma boa referência para conversas de governança.

Perguntas frequentes

Com que frequência devemos avaliar um agente de IA? Faça uma avaliação mais completa logo após o lançamento, quando a distância entre o plano e a realidade é maior, e depois adote um ritmo regular que acompanhe a velocidade com que o trabalho muda. Entre uma reunião e outra, basta uma verificação curta de incidentes, correções e uso. Se mudar uma política, ferramenta ou processo de que o agente depende, antecipe a avaliação.

O agente pode escrever a própria avaliação? Ele pode ajudar resumindo o registro do seu trabalho e apontando padrões, o que economiza tempo de preparação. Mas não deve ser juiz do próprio desempenho, porque o revisor precisa ler amostras reais e ouvir as pessoas afetadas. Trate qualquer autorresumo como um rascunho a ser conferido com as evidências.

O revisor precisa de habilidades técnicas? Não. O revisor precisa entender o trabalho o bastante para julgar um resultado e ter autoridade para aprovar mudanças. Os operadores técnicos fornecem os registros, o diagnóstico das causas e a implementação, enquanto o revisor decide o que a função deve alcançar e o que é aceitável.

E se a avaliação mostrar que o agente não vale a pena? É um resultado legítimo, e é melhor chegar a ele por uma avaliação do que por abandono lento. Reduza a função, devolva a tarefa às pessoas ou pause o agente, e registre o motivo. O encerramento deve ser feito de forma deliberada, com remoção de acessos e guarda dos registros, no mesmo espírito da revisão trimestral de IA na empresa: manter, corrigir ou encerrar.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.