Conjunto de avaliação para agente de IA: tarefas de referência versionadas

Um conjunto de tarefas de referência é uma coleção pequena e versionada de tarefas reais do seu negócio, cada uma com um resultado correto conhecido e uma regra clara de aprovação. Você executa o mesmo conjunto contra o agente de IA antes e depois de cada mudança em seus prompts, modelo, ferramentas, memória ou permissões, para ver se ele melhorou, piorou ou manteve o desempenho. O método é simples, mas depende de disciplina: tarefas reais, resultados aprovados pela pessoa responsável pelo trabalho e um conjunto que só muda por meio de versões registradas.

Principais pontos

• Um conjunto de tarefas de referência é uma lista curta de itens de trabalho reais com resultados corretos acordados. Não é um benchmark genérico.
• Escolha tarefas do trabalho que sua equipe realmente faz e dê peso extra aos casos em que uma resposta errada é cara.
• Escreva cada resultado esperado como um estado ou uma decisão observável, para que um avaliador possa conferir sem precisar adivinhar.
• Versione as tarefas, as regras de avaliação e a configuração do agente juntas, e rode o conjunto antes e depois de cada mudança.
• Amplie o conjunto só quando a produção mostrar uma falha que ele não cobre, e registre cada inclusão.

O que é um conjunto de tarefas de referência, e o que ele não é

Os placares públicos medem a capacidade geral em problemas padronizados. O seu agente não opera em um mundo padronizado. Ele trabalha com seus clientes, seus documentos, suas ferramentas e suas regras de aprovação. Um conjunto de referência mede se aquele agente específico conclui corretamente o seu trabalho específico. A palavra referência significa que as respostas de referência foram verificadas por alguém responsável pelo resultado, para que o conjunto sirva como ponto de comparação confiável quando todo o resto está mudando.

Um conjunto de referência também não é um teste de estresse de todas as entradas possíveis, nem um painel de produção. Ele fica no meio. É pequeno o bastante para rodar a cada mudança e é construído com casos que importam. O monitoramento em produção mostra o que está acontecendo agora. O conjunto mostra se uma mudança deixou o agente melhor ou pior no trabalho que você já sabe que ele precisa acertar. Equipes que pulam essa etapa normalmente descobrem regressões quando um cliente ou um auditor as encontra primeiro.

Para entender como as avaliações de agentes são estruturadas, as orientações sobre avaliação de agentes de IA publicadas por fornecedores e o guia de evals da OpenAI descrevem as ideias centrais de tarefas, avaliadores e execuções repetidas. O trabalho prático está nas escolhas descritas a seguir. Se você quiser começar pela montagem do conjunto em si, o conjunto de testes de referência para sua IA mostra um passo a passo inicial.

Como escolher as tarefas?

Comece com pedidos reais, não com pedidos imaginados. Reúna as entradas das últimas semanas que o agente tratou ou trataria, da caixa de entrada, da fila de chamados, do drive compartilhado ou do canal por onde o trabalho chega. Depois selecione tarefas em quatro grupos: casos rotineiros, que formam a maior parte do volume; casos de borda, que já geraram confusão antes; casos de alto custo, em que um erro gera retrabalho ou exposição; e casos em que a ação correta é recusar, perguntar ou escalar.

O último grupo é o que as equipes mais deixam de fora. Um agente que responde a todas as perguntas não é confiável. Um conjunto útil inclui pedidos que estão fora da autoridade do agente, porque essas tarefas verificam se ele para na fronteira certa. Para decidir onde essa fronteira deve ficar, vale ler sobre quem pode dar instruções ao agente de IA da empresa e sobre escalonamento humano quando o agente falha.

A cobertura importa mais que a quantidade. Algumas dezenas de tarefas bem escolhidas costumam revelar mais do que centenas de casos quase iguais. Remova qualquer tarefa que não possa ser avaliada e qualquer tarefa cuja resposta correta esteja em disputa dentro da equipe. Essas tarefas pertencem a uma discussão, não ao conjunto.

Uma tarefa que ninguém consegue concordar não é um teste. É uma pergunta que precisa ser resolvida antes.

Cenário ilustrativo: uma coordenadora de logística de um distribuidor regional quer que um agente responda clientes que perguntam onde está a remessa e sinalize exceções de entrega. Ela exporta mensagens recentes, agrupa por tipo e mantém as que tratam de desembaraço aduaneiro atrasado, paletes danificados e mudanças de endereço, já que essas geram mais retrabalho. Acrescenta também duas mensagens pedindo reembolso, em que a ação correta é encaminhar para uma pessoa. O primeiro rascunho do conjunto cobre onze situações, e cada uma tem um responsável nomeado que aprovará o resultado esperado.

Como cada tarefa deve definir o resultado correto?

Cada tarefa precisa de cinco campos: a entrada, o estado inicial dos sistemas envolvidos, as ferramentas que o agente pode usar, o estado final ou a decisão esperada e a regra de avaliação. O resultado esperado é o campo mais mal escrito. Expressões como soa prestativo ou atende bem o cliente não são verificáveis. Formulações melhores nomeiam o resultado observável: o status do chamado foi definido como aguardando cliente, o rascunho contém o código de rastreio e nenhum custo interno, o agente pediu aprovação antes de enviar a mensagem, ou o caso foi encaminhado para a fila de reembolsos com a mensagem original anexada.

Separe as verificações de resultado das verificações de qualidade. As verificações de resultado costumam ser determinísticas: um campo tem um valor, uma ação aconteceu ou não aconteceu, um item proibido está ausente. As verificações de qualidade, como clareza ou tom, precisam de uma rubrica revisada, e os revisores devem concordar com ela antes de pontuar. Quando for possível usar uma verificação determinística, prefira-a, porque ela dá a mesma resposta em todas as execuções.

Registre quem aprovou cada resultado esperado e quando a aprovação foi dada. Esse registro é o que torna o conjunto de referência confiável. Se o líder de operações não consegue explicar por que uma resposta está correta, o avaliador acabará recompensando o comportamento errado, e ninguém perceberá até que um cliente perceba.

• Entrada: a mensagem, o documento ou o evento exato que o agente recebe, com os dados pessoais reduzidos ao necessário para a tarefa.
• Estado inicial: o registro, o status e as permissões relevantes no momento em que a tarefa começa.
• Ferramentas permitidas: as ações que o agente pode executar nessa tarefa, de acordo com as permissões atuais.
• Estado final esperado: o resultado ou a decisão observável que conta como correto.
• Regra de avaliação: verificação determinística, rubrica revisada ou ambas, com o nome de quem aprovou.

Como versionar o conjunto e a configuração do agente juntos?

Guarde o conjunto de referência no mesmo lugar controlado onde ficam os demais documentos do agente, como um repositório com controle de versão ou um sistema de documentos com histórico de alterações. Dê ao conjunto um rótulo de versão e trate qualquer mudança em uma tarefa, em um avaliador ou em um resultado esperado como uma nova versão. Nunca edite uma tarefa em silêncio. Uma edição silenciosa torna impossível comparar os resultados do mês passado com os deste mês, e isso anula a finalidade do conjunto.

Registre a configuração do agente ao lado de cada resultado: o identificador do modelo, a versão do prompt, a lista de ferramentas e seus escopos, o snapshot de memória ou de base de conhecimento usado e o conjunto de permissões. Quando uma pontuação muda, você precisa saber se a causa foi o modelo, uma edição de prompt, uma ferramenta nova ou um documento de conhecimento alterado. Sem esse registro, uma queda nos resultados vira uma discussão sobre o que mudou.

Mantenha um registro curto de mudanças do próprio conjunto. Cada entrada deve dizer o que foi incluído ou removido e por quê. As inclusões normalmente vêm de falhas em produção, o que é um bom sinal, porque o conjunto está aprendendo com problemas reais. As remoções devem ser raras e explicadas, pois uma tarefa retirada porque o agente continua falhando nela está escondendo um defeito.

Como rodar o conjunto antes e depois de cada mudança?

A rotina é a mesma, seja a mudança uma edição de prompt, uma atualização de modelo ou uma ferramenta nova. Mantenha-a curta e repetível, para que ninguém a pule sob pressão de prazo.

• Congele a configuração atual e execute o conjunto completo contra ela. Essa execução é a linha de base.
• Execute cada tarefa mais de uma vez quando as saídas variarem entre execuções, e registre a dispersão, não apenas o melhor resultado.
• Aplique uma mudança por vez, para que qualquer diferença nos resultados tenha uma causa provável única.
• Rode o mesmo conjunto, com os mesmos avaliadores e o mesmo rótulo de versão, contra a configuração candidata.
• Compare os resultados tarefa por tarefa. Liste cada tarefa que passou para reprovada e leia esses casos antes de olhar as médias.
• Decida se adota, ajusta ou reverte, e escreva o motivo ao lado da versão da configuração.
• Inclua como nova tarefa, na próxima versão do conjunto, qualquer falha de produção do período.

A última etapa fecha o ciclo. Um conjunto que nunca é atualizado a partir da produção deixa de medir o que importa, enquanto um conjunto que absorve todas as surpresas fica grande demais para rodar a cada mudança. Equilibre os dois adicionando um pequeno número de tarefas de alto valor a cada ciclo e aposentando apenas as que não refletem mais o trabalho. Para acompanhar o agente depois da implantação, o registro do que observar em agentes de IA ajuda a alimentar esse ciclo com dados úteis.

Como ler os resultados sem se enganar?

Uma taxa média de acerto pode esconder a falha que importa. Uma mudança que melhora pedidos rotineiros enquanto quebra uma única regra de aprovação ainda pode parecer positiva na pontuação geral. Ler os resultados exige algumas regras firmes, e vale escrevê-las antes da primeira execução, para que ninguém as discuta depois.

• Uma regressão em qualquer tarefa marcada como de alto risco bloqueia a mudança até que uma pessoa nomeada a revise.
• Ganhos em tarefas rotineiras não compensam perdas em tarefas que envolvem aprovações, dados pessoais ou dinheiro.
• Uma mudança que passa, mas usa muito mais etapas ou chamadas de ferramenta, vai para revisão antes da adoção, já que custo e latência costumam variar junto com o comportamento.
• Uma tarefa que às vezes passa e às vezes falha é corrigida ou esclarecida. Ela nunca é diluída na média.
• Os resultados são apresentados por categoria, para que a equipe veja que tipo de trabalho melhorou e qual não melhorou.

Essas regras ligam o conjunto de referência às decisões operacionais. O conjunto mostra o que mudou. As regras mostram se a mudança é aceitável. Equipes que mantêm os dois no mesmo lugar tomam decisões mais rápidas e mais tranquilas quando chega uma atualização de um fornecedor de modelo ou de ferramenta. Se a sua operação ainda não tem um lugar definido para essas decisões, o runbook de operação para agente de IA mostra o que documentar.

Como a Be Human trata isso na operação gerenciada

Em um projeto com a Be Human, o primeiro conjunto de referência é montado durante a definição inicial do papel do agente, com as tarefas que o responsável do cliente seleciona e aprova. A Be Human mantém o conjunto sob controle de versão junto com a configuração do agente e o executa novamente antes de mudanças no modelo, nos prompts, nas ferramentas ou nas permissões. Na operação gerenciada, o conjunto também roda em uma agenda recorrente, e as falhas alimentam a revisão de incidentes e a próxima versão do conjunto. A abordagem não promete uma pontuação específica. Ela torna cada mudança mensurável contra o trabalho que o negócio já decidiu que importa.

Se você não tem certeza de qual tarefa do seu agente merece um teste de referência primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Quantas tarefas um conjunto de referência deve ter? Um primeiro conjunto útil é pequeno o bastante para que o responsável consiga ler todas as tarefas em uma única sentada, muitas vezes algumas dezenas. A cobertura importa mais que o total, então escolha tarefas entre o trabalho rotineiro, os casos de borda, os casos de alto custo e os casos em que o agente deve parar. Acrescente tarefas quando a produção revelar uma lacuna, não para fazer o número parecer maior.

Quem deve aprovar os resultados esperados? A pessoa responsável pelo trabalho deve aprová-los, como o líder de operações ou o chefe de equipe que assinaria a execução da mesma tarefa por uma pessoa. Engenheiros podem construir a infraestrutura de testes e os avaliadores, mas as respostas de referência precisam ter dono no negócio. Caso contrário, o conjunto mede o que é fácil de verificar, e não o que a empresa precisa.

Um conjunto de referência pode usar dados reais de clientes? Somente com cuidado. Mantenha o mínimo de dados pessoais necessário para reproduzir cada tarefa, oculte o restante e limite quem pode ler o conjunto. O guia sobre minimização de dados em agentes de IA ajuda a decidir o que o agente deve ver, para começar.

Com que frequência o conjunto deve ser executado? Execute-o antes de cada mudança no modelo, nos prompts, nas ferramentas, nas fontes de conhecimento ou nas permissões do agente, e também em uma agenda regular em produção para detectar desvios. A agenda deve acompanhar a velocidade com que suas entradas mudam. Um conjunto que nunca é executado de novo não consegue dizer se o agente de hoje ainda corresponde à aprovação de ontem.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.