Juiz com LLM para avaliar agentes de IA: onde erra e como checar

Um juiz com LLM é um modelo de linguagem que avalia a resposta de outro modelo com base em uma rubrica escrita, o que torna viável pontuar muitas respostas de agente que nenhuma pessoa conseguiria ler. Ele funciona melhor em critérios concretos e verificáveis, como saber se a resposta cita o registro usado ou se segue uma estrutura obrigatória. Ele induz ao erro quando compartilha os pontos cegos do agente, quando a rubrica premia texto fluente em vez de fatos corretos ou quando ninguém testou o juiz contra decisões humanas.

Principais pontos

• Um juiz é um instrumento de medição, então precisa de calibração própria antes que suas notas guiem qualquer decisão.
• Use juízes para critérios estreitos e observáveis: formato, campos obrigatórios, presença de citação e redação de políticas.
• Seja cauteloso com juízes para precisão factual, julgamento de domínio e qualquer caso em que juiz e agente venham da mesma família de modelos.
• Confira o juiz contra rótulos humanos em uma amostra fixa e leia cada divergência, em vez de confiar apenas em um índice geral de concordância.
• Mantenha a rubrica, a versão do juiz e a amostra sob o mesmo calendário de revisão do agente que eles avaliam.

O que um juiz com LLM faz e por que as equipes recorrem a ele

A revisão humana continua sendo a referência de qualidade, mas não escala para todas as saídas que um agente produz. Um juiz entrega notas rápidas e repetíveis sobre os mesmos critérios a cada vez, então a equipe consegue acompanhar tendências em centenas de execuções em vez de ler algumas poucas à mão. O material da Anthropic sobre avaliação de agentes separa avaliadores baseados em código, avaliadores baseados em modelo e avaliadores humanos, e a pergunta útil é qual tipo serve a cada critério. Um juiz é um avaliador baseado em modelo. Ele é valioso justamente porque lê linguagem, e essa mesma capacidade é a fonte da maior parte das suas falhas.

O erro comum é tratar o juiz como um oráculo. Ele se parece mais com um funcionário novo que lê rápido, segue instruções ao pé da letra e não tem acesso a nada que você não tenha mostrado. Antes de confiar nos seus veredictos, é preciso saber o que ele consegue enxergar, o que tende a premiar e com que frequência concorda com uma pessoa cuidadosa nos casos que importam.

Onde um juiz com LLM é confiável

Juízes têm melhor desempenho quando o critério é estreito e a evidência está dentro do texto que eles avaliam. Se a resposta traz o número de protocolo no formato exigido, se a resposta sobre reembolso menciona o documento de política em que se apoiou ou se um pedido fora do escopo foi recusado com educação, são critérios que um juiz normalmente consegue verificar. Faça uma pergunta por chamada, use uma rubrica curta com descrições claras de aprovado e reprovado e inclua dois ou três exemplos de cada. Perguntas estreitas reduzem o espaço para o juiz inventar um padrão próprio.

A confiabilidade também depende de entregar ao juiz a mesma evidência que um revisor usaria. Se o agente respondeu com base em registros recuperados, o juiz deve receber esses registros junto da resposta. Um juiz que vê só o texto final consegue avaliar tom e estrutura, mas não consegue dizer se um valor da resposta bate com a fonte. Trate isso como requisito de desenho, não como detalhe.

Onde um juiz com LLM engana de forma sistemática

As falhas são previsíveis, e por isso podem ser verificadas. A primeira é o viés de fluência. Uma resposta confiante e bem organizada, mas errada, costuma ganhar nota maior que uma resposta simples e correta, porque o juiz reage à estrutura e à segurança do tom. A segunda é o viés de comprimento: respostas mais longas parecem mais completas, então passam em critérios que não mereceram passar. A terceira é a autopreferência. Um juiz tende a favorecer textos parecidos com a própria escrita, então um juiz da mesma família do agente pode aprovar erros que os dois consideram naturais.

A quarta falha é a cegueira de contexto, já mencionada acima, e a quinta é o desvio da rubrica. Um critério vago, como «a resposta é útil?», deixa o juiz definir o próprio limiar, e esse limiar pode mudar quando o modelo do juiz é atualizado. A sexta é o efeito teto: quando quase todas as saídas passam, a avaliação deixa de separar bom comportamento de mau comportamento, e as notas tranquilizam sem dizer muito. Por fim, a saída do agente nem sempre é texto neutro. Documentos e mensagens que o agente processa podem conter instruções dirigidas a quem os lê, inclusive a um juiz. O guia sobre prompt injection em documentos de negócio explica como limitar essa exposição.

Um juiz que sempre concorda consigo mesmo não foi testado. Apenas foi repetido.

Como conferir o próprio juiz

Conferir o juiz é uma atividade separada de conferir o agente, e deve ser feita em calendário. Os passos abaixo formam uma sequência prática para uma equipe sem grupo dedicado de avaliação.

• Sorteie uma amostra fixa de saídas que cubra casos normais, casos de borda e falhas recentes. Mantenha essa amostra estável para que os resultados possam ser comparados ao longo do tempo.
• Peça a duas pessoas que rotulem cada saída pela mesma rubrica, sem ver a nota do juiz. Onde discordarem, feche o rótulo em conjunto e registre o motivo por escrito.
• Compare os veredictos do juiz com os rótulos humanos e leia cada caso em que eles diferem. Não confie apenas em um índice geral de concordância, porque um número alto pode esconder um erro sistemático.
• Classifique cada divergência pela causa: rubrica pouco clara, falta de contexto para o juiz, preferência de estilo ou erro de quem rotulou.
• Corrija a causa. Reescreva o critério, forneça o registro de origem ou tire aquele critério do escopo do juiz e envie para revisão humana.
• Repita a verificação após qualquer mudança no agente, no modelo do juiz ou na rubrica, e em cadência regular depois do lançamento.

A abordagem de conjunto de testes de referência é uma boa base para a amostra fixa, porque os mesmos casos de referência podem medir tanto o agente quanto o juiz.

Cenário ilustrativo

Cenário ilustrativo: um agente de atendimento redige respostas sobre prazos de reembolso, e um juiz avalia cada rascunho quanto à precisão da política. Ao longo de algumas semanas, o juiz continua dando notas altas a rascunhos educados, inclusive a alguns que informam o prazo de reembolso errado. Uma verificação mostra que o juiz nunca recebeu o trecho da política, só o rascunho, então avaliou o texto e não os fatos. A equipe passa a entregar o trecho ao juiz, acrescenta a regra de que qualquer prazo citado deve bater exatamente com o trecho e rotula uma nova amostra. As notas então caem nos rascunhos que estavam errados, que é o sinal de que a equipe precisava desde o início. O agente não mudou. Mudou o instrumento de medição.

Quando confiar em um juiz e quando manter uma pessoa na decisão

Use este guia para decidir onde um juiz cabe no seu fluxo de trabalho.

• Use um juiz quando o critério puder ser conferido em uma fonte visível ou em uma rubrica curta com exemplos.
• Use um juiz com cautela quando a resposta depender de conhecimento especializado que ele pode não dominar com segurança.
• Mantenha uma pessoa na decisão quando a saída comprometer dinheiro, criar uma declaração jurídica ou contratual, ou trouxer orientação médica ou de segurança.
• Não deixe um juiz da mesma família de modelos ser o único avaliador de critérios de alto risco.
• Encaminhe veredictos de baixa confiança e divergências a um revisor, com uma passagem clara de responsabilidade como a descrita em escalonamento humano para falhas de agentes de IA.

O NIST AI Risk Management Framework é uma referência útil para documentar essas escolhas, porque trata medição e supervisão como atividades contínuas, e não como um único teste antes do lançamento.

Como a Be Human trata isso em operações gerenciadas

A Be Human desenha e opera agentes de IA com memória, ferramentas, permissões e limites de aprovação definidos. Em um projeto gerenciado, a rubrica do juiz é escrita junto com o critério de sucesso do agente, para que ambos descrevam o mesmo resultado. O juiz é conferido contra uma amostra rotulada por pessoas antes que suas notas influenciem qualquer decisão, e os casos de divergência são revisados como parte da operação normal. Monitoramento, revisão de permissões e manutenção das integrações seguem o mesmo calendário das avaliações, então um juiz que sai do padrão é pego junto com o agente que ele avalia.

Mantendo o juiz honesto depois do lançamento

Um juiz que passou na primeira verificação ainda pode sair do padrão, porque as entradas do agente mudam, o modelo do juiz é atualizado e a rubrica é reinterpretada por pessoas que não estavam na discussão original. Agende a verificação como tarefa permanente, registre qual versão da rubrica e do juiz produziu cada nota e trate uma mudança brusca nas notas como uma pergunta a investigar antes de comemorar. Uma rotina semanal de manutenção é um lugar prático para manter essa checagem visível. Se você ainda não tem certeza de quais tarefas do seu agente valem a pena ser avaliadas automaticamente, o diagnóstico gratuito de IA da Be Human ajuda a encontrar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Um juiz com LLM pode substituir revisores humanos? Ele pode assumir a parte repetitiva da revisão de qualidade, mas não deve substituir o julgamento humano nos critérios em que erros são caros. Mantenha pessoas responsáveis pela amostra rotulada, pelas divergências e por qualquer decisão com consequências financeiras, jurídicas ou de segurança. Assim o juiz cuida do volume e as pessoas mantêm o padrão honesto.

Com que frequência devo conferir um juiz? Confira antes que ele influencie qualquer decisão e repita a verificação após cada mudança no agente, no modelo do juiz ou na rubrica. Entre essas mudanças, uma cadência regular compatível com o seu nível de risco é razoável, com verificações mais frequentes em tarefas de alto risco. Mantenha a amostra fixa para que os resultados possam ser comparados ao longo do tempo.

Qual é o motivo mais comum para um juiz com LLM dar notas enganosas? Na maioria das equipes, a causa é uma rubrica vaga combinada com falta de contexto. Quando o juiz não vê o registro de origem e o critério pergunta se a resposta é boa, ele tende a premiar texto fluente e confiante. Entregar a evidência ao juiz e escrever critérios como verificações observáveis elimina boa parte desse risco.

O juiz e o agente devem usar o mesmo modelo? Usar a mesma família de modelos para os dois pode criar pontos cegos compartilhados, porque cada um pode aceitar o mesmo tipo de erro como razoável. Em critérios de alto risco, use um modelo diferente, uma verificação determinística baseada em código sempre que possível, ou um revisor humano para a decisão final. Documente a escolha para que uma equipe futura entenda por que ela foi feita.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.