Ir para conteúdo
be-human.ai
← Voltar ao blog

Testes e confiabilidade

Conjunto de referência para avaliar agentes de IA: monte um em uma semana

Lista pequena e fixa de casos reais, com resultados acordados. É a base que cada nova versão do agente precisa igualar antes de entrar em uso.

Capa tipográfica do Be Human com o título: Conjunto de referência para avaliar agentes de IA: monte um em uma semana
Ilustração conceitual criada com IA · Be Human

Um conjunto de referência para avaliar agentes de IA é uma coleção pequena e fixa de casos reais. Cada caso traz a entrada que o agente recebe, o resultado que uma pessoa competente aceitaria e uma nota curta explicando por que esse resultado está certo. Monte um em uma semana com o trabalho que sua equipe já faz, avalie cada nova versão de modelo, prompt ou ferramenta contra ele e só libere uma versão quando ela igualar ou superar a referência atual nos casos que mais importam.

Principais pontos

  • Um conjunto de referência é uma base para o seu trabalho, escrita com as suas regras, e não um benchmark público que diz pouco sobre os seus clientes.
  • Tire os casos de pedidos reais e de decisões anteriores, e mantenha os casos extremos que já causaram problemas.
  • Escreva cada resultado esperado de modo que um segundo revisor consiga conferi-lo sem precisar perguntar ao autor o que ele quis dizer.
  • Avalie toda mudança candidata contra o mesmo conjunto congelado, e registre quais casos mudaram e por quê.
  • Aposente casos desatualizados em um calendário fixo, para que a referência continue descrevendo o negócio como ele funciona hoje.

O que é um conjunto de referência, e o que não é

Um conjunto de referência é o padrão que uma mudança não pode quebrar. Ele não é um ranking, um roteiro de demonstração nem uma pilha de registros de conversas. Um benchmark público mostra como um modelo se sai em tarefas de terceiros. Um conjunto de referência mostra se o agente continua tratando os seus pedidos de reembolso, os seus e-mails de fornecedores e as suas alterações de conta do jeito que a operação espera, e faz isso sempre com os mesmos casos.

A diferença importa porque agentes mudam de forma silenciosa. Uma nova versão de modelo, um prompt revisado, um esquema diferente de ferramenta ou uma política de memória alterada podem melhorar um comportamento e prejudicar outro. Sem uma referência fixa, a equipe julga cada mudança pelo exemplo que apareceu na revisão daquele dia. Com um conjunto de referência, a pergunta fica concreta: quais casos melhoraram, quais pioraram, e alguma piora é aceitável para esse papel?

Se você já mantém uma coleção de avaliação mais ampla, o conjunto de referência é o núcleo menor e mais rigoroso dela. Para uma discussão mais ampla sobre testes internos a partir de dados da operação, veja Conjunto de referência para avaliar agentes de IA com trabalho real.

Um plano de uma semana para o primeiro conjunto

A primeira versão não precisa estar completa. Ela precisa ser específica o suficiente para que alguém que não a escreveu consiga executá-la e chegar ao mesmo veredito. Uma sequência prática para um papel só fica assim:

  • Dia um: defina o papel, as entradas, as ferramentas que ele pode acionar e as ações que exigem aprovação humana. Escreva o critério de sucesso em uma frase.
  • Dia dois: puxe os pedidos reais recentes desse papel e agrupe por tipo, valor e risco. Anote quais tipos a equipe resolve manualmente hoje.
  • Dia três: selecione os casos. Inclua o caminho comum, os erros caros, os casos extremos conhecidos e pelo menos um pedido que o agente deve recusar ou encaminhar.
  • Dia quatro: escreva o resultado esperado de cada caso, incluindo os campos exatos, as ações proibidas e a regra de aprovação.
  • Dia cinco: rode o agente atual contra o conjunto, peça que uma segunda pessoa revise as divergências, corrija qualquer caso pouco claro e congele a versão como referência.

Remova dados pessoais antes que os casos saiam dos sistemas em que foram criados. Substitua nomes, números de conta e contatos por marcadores consistentes, para que a lógica de cada caso se mantenha. O conjunto deve ser legível para as pessoas que vão aprovar mudanças, o que normalmente significa que ele fica em um documento ou repositório compartilhado, com um dono definido, e não dentro do caderno de um único engenheiro.

Como escolher casos que representem o trabalho real

A falha mais comum num primeiro conjunto de referência é parecer com os exemplos que o autor lembra, e não com o trabalho que o papel de fato recebe. Puxe os casos dos registros. Filas de chamados, históricos de pedidos, logs de aprovação e as anotações que a equipe deixa quando corrige algo são fontes melhores do que a imagem que o gestor tem da função.

Um conjunto equilibrado costuma misturar quatro tipos de caso. Cada tipo responde a uma pergunta diferente sobre o agente.

  • Casos de rotina, que representam a maior parte do volume, para confirmar que o caminho básico funciona.
  • Casos caros, em que uma resposta errada cria exposição financeira, jurídica ou de reputação, para confirmar que o agente para ou encaminha a tempo.
  • Casos ambíguos, em que a resposta correta depende do contexto, para confirmar que o agente pede o que lhe falta em vez de chutar.
  • Casos adversariais ou fora do escopo, como um pedido para contornar uma política ou uma mensagem que tenta sobrescrever as instruções, para confirmar que os limites se sustentam.

Evite dar peso excessivo aos casos que foram fáceis de descrever. Se o conjunto só tiver pedidos bem organizados, uma nota alta diz muito pouco. Também vale manter pelo menos um caso por incidente passado, anonimizado, para que uma falha que você já pagou para resolver não volte sem aviso. O próprio incidente pode virar um caso depois de uma revisão curta, como descrito em Pós-incidente para falha de agente de IA: modelo sem culpados.

Escrever resultados esperados que um revisor consiga conferir

O resultado esperado é a parte que a maioria das equipes subestima. Um caso que diz que o agente deve responder de forma útil não é testável. Um caso que informa os campos obrigatórios, a ação permitida, a ação proibida e o motivo, é. Cada entrada do conjunto deve ter a mesma estrutura enxuta: a entrada e o contexto que o agente teria, o resultado esperado, a regra de aprovação e uma nota explicando o julgamento por trás dela.

Em tarefas com texto livre, a regra de aprovação costuma ser um conjunto de verificações, e não uma comparação única. O agente deve citar a política correta, não deve prometer uma data que não consegue confirmar, não deve revelar dados de outro cliente e deve passar o caso adiante quando um limite for ultrapassado. Escrever essas verificações em linguagem simples mantém o conjunto revisável. Quando uma verificação exige que um modelo julgue o texto, trate esse juiz como mais um componente a calibrar. Os compromissos envolvidos estão em Juiz com LLM para avaliar agentes de IA: onde erra e como checar.

Cenário ilustrativo: uma equipe de operações de atendimento quer que um agente rascunhe respostas para mensagens sobre atrasos de entrega e proponha um crédito quando a política permitir. O caso de referência para um pedido atrasado dentro da janela da política especifica que a resposta deve informar a nova previsão de entrega com base no registro da transportadora, deve propor o crédito padrão, não pode prometer entrega mais rápida e deve ser encaminhado a uma pessoa se o cliente mencionar ação judicial. Um segundo caso, para um pedido fora da janela, espera nenhum crédito, uma explicação educada e nenhum compromisso além do texto da política. Cada caso registra o nome do revisor que o aprovou, para que uma disputa futura possa ser rastreada até uma decisão, e não até uma lembrança.

Rodar o conjunto e ler o resultado

Um conjunto de referência só produz um veredito útil quando as regras de leitura são acordadas antes de o candidato rodar. Caso contrário, a equipe vai discutir o resultado depois de vê-lo. Defina as regras uma vez, escreva-as no cabeçalho do conjunto e aplique-as a todos os candidatos.

Use um guia de decisão simples:

  • Se qualquer caso obrigatório falhar, o candidato não entra em uso, independentemente do desempenho geral.
  • Se todos os casos obrigatórios passarem e alguns casos não críticos regredirem, revise cada regressão e decida se a troca é aceitável para o papel.
  • Se o candidato melhorar alguns casos e mantiver os demais, confirme que as melhorias não vêm de um atalho, como uma resposta mais longa que por acaso contém as palavras-chave certas.
  • Se os resultados forem mistos de um jeito que ninguém consegue explicar, adicione casos que isolem a diferença antes de decidir qualquer coisa.
  • Se o candidato passar em tudo, ainda assim rode-o em um ambiente limitado antes de dar a ele autoridade real, por exemplo por meio de um piloto controlado como o descrito em Modo sombra para agentes de IA: teste propostas antes de dar escrita.

Registre cada execução com a versão do modelo ou do prompt, a data, o veredito e os nomes das pessoas que revisaram as divergências. O registro é o que permite explicar, meses depois, por que o agente atual se comporta do jeito que se comporta. Guias oficiais de avaliação, como o guia de evals da OpenAI, descrevem esse mesmo ciclo de conjuntos de teste fixos, saídas avaliadas e comparação repetida. O NIST AI Risk Management Framework coloca a medição e a documentação dentro de uma prática maior de governança.

Manter o conjunto honesto ao longo do tempo

Um conjunto de referência envelhece. Políticas mudam, produtos mudam, ferramentas são renomeadas e clientes fazem perguntas novas. Uma referência que descreve o negócio do ano passado vai premiar agentes por comportamentos que já não servem a ninguém. Coloque o conjunto sob o mesmo controle de mudanças do agente. Todo caso adicionado, editado ou aposentado recebe um motivo, um autor e um revisor. Aposente os casos que descrevem um processo que não existe mais e mantenha um histórico curto, para que a referência possa ser comparada de forma justa ao longo do tempo. Para orientações sobre essa poda, veja Manutenção de conjunto de avaliação de IA: aposente casos antigos.

A Be Human projeta e opera agentes personalizados cuja identidade, memória, canais, ferramentas, permissões e contexto operacional permanecem sob controle humano. Em uma primeira contratação, o conjunto de referência é escrito junto com o papel útil que ele mede, sua memória e ferramentas, seus limites de aprovação e seu critério de sucesso observável, para que a referência e aquilo que ela julga sejam definidos ao mesmo tempo. Na operação gerenciada, o conjunto é executado de novo quando uma integração muda, revisado nas avaliações recorrentes e atualizado pelo mesmo processo que o próprio agente, para que a equipe sempre saiba o que uma nota aprovada significa.

Se ainda não está claro qual das suas tarefas deve receber um conjunto de referência primeiro, o diagnóstico gratuito de IA da Be Human pode ajudar a identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Quantos casos deve ter um primeiro conjunto de referência? Comece com um número pequeno o bastante para que uma pessoa consiga revisá-lo em uma única sessão, e garanta que ele cubra o caminho comum, os erros caros e os casos extremos conhecidos. O tamanho importa menos que a clareza, porque algumas dezenas de casos bem escritos orientam decisões melhor do que um conjunto grande cujos resultados esperados ninguém consegue explicar. Amplie o conjunto quando surgir uma falha nova ou quando uma parte nova do papel entrar em operação.

Um modelo de IA pode corrigir o conjunto de referência automaticamente? Ele pode avaliar algumas verificações, como se uma resposta menciona uma política obrigatória ou evita uma promessa proibida, mas só depois de testar o avaliador contra julgamentos humanos em uma amostra. Verificações determinísticas, como confirmar que um campo tem o valor correto ou que um reembolso não foi emitido duas vezes, devem continuar como código simples sempre que possível. Mantenha uma etapa de revisão humana para os casos em que o resultado esperado envolve julgamento.

Quem deve escrever os resultados esperados? As pessoas que executam o trabalho devem redigi-los, porque conhecem a aparência de um bom resultado na prática, e uma segunda pessoa deve revisá-los, porque será ela quem aceitará uma mudança com base no veredito. Equipes jurídica, financeira ou de conformidade devem aprovar os casos que tocam compromissos regulados. Registre os nomes, para que cada resultado esperado tenha um dono capaz de explicá-lo depois.

Com que frequência o conjunto de referência deve mudar? Mantenha-o congelado enquanto compara um candidato, para que a comparação seja justa, e altere-o de forma deliberada entre as comparações, quando o negócio, a política ou as ferramentas mudarem. Uma revisão mensal ou trimestral é um ritmo inicial razoável para a maioria das equipes, com revisão imediata após qualquer incidente. Toda mudança deve ser registrada com um motivo, para que a referência continue sendo um ponto de comparação confiável e não um alvo que se move.

Seu próximo passo

Descubra primeiro onde um agente de IA cabe na sua empresa.

Faça o diagnóstico gratuito de IA da Be Human. Algumas perguntas sobre o seu trabalho mostram qual tarefa entregar primeiro a um agente, o que ele precisa saber e onde uma pessoa aprova.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.

Menos tarefas. Mais espaço para você.

Traga o trabalho para o qual falta tempo.

Agende uma conversa e teste 7 dias grátis um agente de IA personalizado ↗Ou faça o diagnóstico gratuito de IA →