Como medir valor acumulado da IA na empresa: cinco métricas

Para medir o valor da IA ao longo do tempo, acompanhe um conjunto pequeno de métricas sobre um grupo fixo de tarefas reais e repita a medição sempre que o modelo, a memória, as ferramentas ou o processo mudarem. A pergunta não é se o agente parece melhor, e sim se o mesmo trabalho sai correto, com menos correção humana e a um custo menor por resultado aceito. Se esses números se mantêm ou melhoram depois de trocar o modelo, sua memória, suas ferramentas e seus processos estão se acumulando.

Principais pontos

• Meça o sistema inteiro (modelo, memória, ferramentas, processo e aprovações), não só o modelo, porque o modelo é a peça que você vai trocar.
• Monte um conjunto fixo de avaliação com trabalho real da empresa e mantenha-o congelado, para que qualquer mudança no resultado possa ser ligada a algo que você fez.
• Cinco métricas bastam: taxa de resultado aceito, esforço de correção, custo por resultado aceito, ganho de contexto e prontidão para troca.
• Teste memória e ferramentas desligando cada uma. Se o resultado não cai, elas não estão contribuindo, e você precisa saber disso.
• Trate cada troca de modelo como um teste agendado e só conte a melhoria se ela permanecer dentro dos limites de aprovação.

Por que uma boa demonstração diz tão pouco sobre valor ao longo do tempo?

Uma demonstração mostra o agente no melhor momento, em um exemplo escolhido por alguém. Valor ao longo do tempo depende dos dias comuns de trabalho: entradas confusas, contexto faltando, pedidos pouco claros e o caso ocasional que deveria ser recusado. A demonstração não diz como o agente se comporta nesse cenário e muito menos se ele está melhorando.

Há um segundo problema. Tudo ao redor do agente se mexe. O modelo é atualizado ou substituído, as instruções são editadas, a memória recebe material novo, as ferramentas se conectam a sistemas que mudam por conta própria. Sem uma régua fixa, não dá para saber se a melhoria veio do modelo, da sua configuração ou de entradas mais fáceis naquela semana.

O valor se acumula quando o que você construiu passa para o próximo modelo e faz com que ele renda mais do que renderia sozinho. Isso significa contexto da empresa na memória, ferramentas ligadas aos sistemas certos, processos documentados e regras claras de aprovação. Essa é a ideia por trás da camada de inteligência da empresa, discutida em superinteligência e vantagem competitiva: o modelo é um motor substituível, e o valor duradouro está na camada ao redor dele. Medir é como você confere se isso é verdade na sua empresa.

Quais cinco métricas mostram se o valor está se acumulando?

Mantenha o conjunto pequeno o bastante para que alguém o revise todo mês. Cada métrica abaixo é calculada sobre o mesmo conjunto fixo de tarefas.

• Taxa de resultado aceito: a parcela das tarefas em que um revisor nomeado aceita o resultado sem alterações. É o número principal e depende totalmente de uma definição escrita do que é aceitável.
• Esforço de correção: o tempo humano e o número de edições necessários para transformar a saída do agente em algo utilizável. O agente pode manter a mesma taxa de aceite enquanto os revisores gastam, sem alarde, menos tempo corrigindo. Isso também é valor.
• Custo por resultado aceito: custo total de execução (uso do modelo, chamadas a ferramentas e tempo de revisão) dividido pelos resultados aceitos. Dividir pelos resultados aceitos, e não por todas as tentativas, evita que execuções baratas e inúteis pareçam eficientes. A orientação da FinOps Foundation sobre economia unitária é uma boa referência para esse raciocínio.
• Ganho de contexto: a diferença na taxa de resultado aceito entre o agente com memória e ferramentas e o mesmo agente sem elas. Isso isola o que o seu próprio investimento entrega.
• Prontidão para troca: como a taxa de resultado aceito e o custo mudam quando você substitui o modelo mantendo memória, ferramentas e processo iguais, e quanto tempo leva para voltar a um estado em que você confia.

Há mais uma leitura que fica ao lado dessas como condição, não como meta: os eventos de fronteira. Conte as ações bloqueadas por permissões, as escalações para uma pessoa e as exceções concedidas. Uma melhoria que vem acompanhada de mais violações de limite não é melhoria. É risco passando para o seu balanço.

Leia as métricas em conjunto. Aceite subindo junto com esforço de correção subindo sugere revisores mais lenientes. Custo caindo com aceite caindo sugere que o agente está cortando caminho. Ganho de contexto forte com prontidão para troca fraca sugere que sua configuração está presa demais às manias de um único modelo.

Como montar um conjunto de avaliação que torne essas métricas confiáveis?

O conjunto de avaliação é o instrumento. Se ele for fraco, todo número construído sobre ele também será. Ele não precisa ser grande nem técnico. Precisa ser representativo, escrito e estável.

Um conjunto útil tem estas características:

• Tarefas reais tiradas do trabalho passado, com detalhes sensíveis removidos, e não exemplos inventados que por acaso favorecem o agente.
• Uma mistura de casos de rotina, casos difíceis e casos que o agente deve recusar ou escalar, já que recusar corretamente faz parte do trabalho.
• Uma descrição escrita do que é aceitável em cada tipo de tarefa, acordada com quem normalmente revisaria o trabalho.
• Uma versão congelada. Você pode acrescentar casos novos com o tempo, mas não edita os antigos, e registra qual versão produziu cada resultado.
• Um tamanho que permita rodar com frequência, mas grande o suficiente para que um caso fora do padrão não mude o quadro inteiro.

A mesma disciplina vale para pilotos. Se você ainda está definindo o que um teste precisa provar, veja por que pilotos de IA não saem do papel e como levá-los à produção, que trata do acordo necessário antes de qualquer medição começar. Os textos da Anthropic sobre avaliação de agentes e o guia de evals da OpenAI fazem o mesmo ponto de fundo: avaliações construídas com tarefas realistas dizem mais do que impressões.

Qual é o passo a passo para começar a medir ainda este mês?

Você consegue montar isso em algumas semanas, com as pessoas que já fazem o trabalho. Siga os passos em ordem.

• Passo um: nomeie a função e o resultado único que ela existe para produzir. Se você não consegue dizer isso em uma frase, as métricas também serão vagas.
• Passo dois: designe um responsável de negócio que decide o que é aceitável. Métricas sem dono viram opinião.
• Passo três: reúna tarefas reais e escreva a descrição de aceite de cada tipo de tarefa. Inclua os casos que precisam ser escalados.
• Passo quatro: rode a configuração atual sobre o conjunto e registre a linha de base das cinco métricas. Não mude nada até a linha de base existir.
• Passo cinco: registre cada execução com marcações de versão do modelo, versão das instruções, estado da memória e conjunto de ferramentas. O material do OpenTelemetry sobre observabilidade e suas convenções para IA generativa mostra como capturar esse tipo de rastro de forma consistente.
• Passo seis: faça o teste de ganho de contexto. Remova a memória e depois as ferramentas, uma de cada vez, e anote a queda. Mantenha o que se justifica e questione o que não se justifica.
• Passo sete: mude uma coisa por vez, seja instrução, conteúdo de memória, ferramenta ou modelo, e rode o conjunto de novo depois de cada mudança.
• Passo oito: faça uma revisão mensal curta com o responsável. Olhe as cinco métricas, os eventos de fronteira e os casos que pioraram, e decida o que manter, corrigir ou reverter.

Se você já tem um agente rodando sem nada disso, comece pelo passo três. Uma auditoria passo a passo da IA que a empresa já usa pode ajudar a decidir o que corrigir primeiro.

Como é uma troca de modelo quando o valor está se acumulando?

Este é um cenário ilustrativo, não um resultado real. Imagine uma empresa de serviços com um agente que redige respostas a dúvidas de cobrança de clientes. Uma pessoa do financeiro revisa cada rascunho antes do envio.

Na linha de base, o agente trabalha com instruções gerais. Os revisores corrigem com frequência referências a políticas e o tom, então o esforço de correção é alto e a taxa de resultado aceito é modesta. A equipe então adiciona uma memória com as exceções de política documentadas e uma ferramenta que consulta o status das faturas. No conjunto fixo, a taxa de resultado aceito sobe e o esforço de correção cai. Quando memória e ferramentas são desligadas como teste, os resultados voltam a cair, e o ganho de contexto fica claramente positivo. Isso é acúmulo gerado pelo trabalho da própria empresa.

Mais tarde, a empresa testa um modelo novo. A memória, as ferramentas e as regras de aprovação ficam como estão. O conjunto de avaliação mostra aceite maior nos casos de rotina e menos tempo de revisão. Também mostra uma regressão: o novo modelo responde a uma pergunta de reembolso que deveria ter escalado. Como o conjunto inclui casos de escalação, a equipe percebe o problema antes da entrada em produção, ajusta as instruções, roda o conjunto de novo e aprova a troca.

O valor do exercício não está em o modelo novo ser melhor. Está em a empresa conseguir provar isso, encontrar o único problema e adotar o modelo rapidamente. Sem o conjunto fixo, a mesma mudança seria um palpite. Empresas que dependem de mais de um modelo se beneficiam ainda mais, como mostra o guia sobre como escolher modelo de IA para empresa (se você já leu, a mesma lógica vale aqui).

Como a Be Human trata a medição na operação gerenciada?

A Be Human incorpora a medição desde o primeiro trabalho com o agente: uma função definida, a memória e as ferramentas de que ele precisa, limites de aprovação e um critério de sucesso observável. Na operação gerenciada, isso vira avaliações recorrentes sobre um conjunto fixo, registros de execução marcados por versão, revisão de permissões e mudanças controladas que o cliente aprova. Quando um modelo é substituído, a avaliação é refeita antes de a mudança entrar no ar, e os resultados são compartilhados com o responsável de negócio. O trabalho recorrente é detalhado em o que é AgentOps e como operar um agente de IA no dia a dia.

O que faz esses números enganarem você?

A maioria das falhas de medição vem de poucos hábitos. Fique atento a estes:

• Contar atividade em vez de resultado. Mensagens enviadas, sessões abertas e tarefas iniciadas dizem pouco sobre se o trabalho foi aceito.
• Editar o conjunto de avaliação depois de ver os resultados. Isso transforma, sem alarde, o teste em espelho.
• Diluir na média falhas raras, porém graves. Acompanhe os casos graves à parte para que um bom número geral não os esconda.
• Ignorar o tempo de revisão. Uma saída aceita só depois de muito retrabalho humano tem um custo real que precisa entrar na métrica.
• Dar ao modelo o crédito por ganhos que sua configuração produziu, ou culpar o modelo por falhas causadas por memória desatualizada ou conexão de ferramenta quebrada.
• Deixar a memória crescer sem revisão. Material desatualizado ou contraditório pode piorar a qualidade, e o teste de ganho de contexto é como você percebe isso.

Perguntas frequentes

Com que frequência devemos rodar a avaliação? Rode depois de toda mudança relevante (um modelo novo, instruções novas, material novo na memória ou uma ferramenta alterada) e também em um calendário regular, mesmo quando nada mudou. O calendário pega desvios causados por coisas que você não controla, como um fornecedor atualizar um modelo mantendo o mesmo nome.

Precisamos de equipe técnica para acompanhar essas métricas? Não para lê-las. O responsável de negócio precisa definir o que é trabalho aceitável e revisar os resultados mensais. Alguém técnico, da casa ou de um parceiro, precisa rodar o conjunto, registrar as versões e manter o instrumento estável.

E se um modelo novo for pior no nosso conjunto? Não o adote ainda. Verifique se a queda vem do modelo em si ou de instruções escritas em torno dos hábitos do modelo antigo, depois ajuste uma coisa e rode de novo. Se ele continuar pior nas tarefas que importam para você, manter o modelo atual é uma decisão perfeitamente boa.

Uso ou adoção é uma boa medida de valor? É um sinal útil, mas não é medida de valor. As pessoas podem usar um agente com frequência e ainda gastar muito tempo corrigindo-o, ou usá-lo pouco porque ele resolve bem uma tarefa restrita. Combine o uso com a taxa de resultado aceito e o esforço de correção para ver se o trabalho está de fato melhorando.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.