Benchmarks de superinteligência: quais medem resultado de negócio

Benchmarks de superinteligência são testes públicos que tentam medir o quanto os modelos avançados de IA são capazes, usando provas padronizadas, problemas de programação e conjuntos de raciocínio. Eles dizem algo sobre a capacidade do modelo, mas raramente indicam se um agente de IA vai concluir corretamente um trabalho dentro da sua empresa, respeitar os limites de aprovação ou economizar tempo da sua equipe. Para avaliar o valor de negócio, teste o agente com as suas tarefas, com os seus dados, com as suas permissões e com uma definição clara de trabalho concluído.

Principais pontos

• Benchmarks públicos medem modelos em tarefas fixas. A sua operação depende de fluxos, documentos e exceções específicos que esses testes não contêm.
• Uma nota alta em um teste geral não informa com que frequência o agente acerta pedidos de reembolso, orçamentos ou etapas de integração de clientes.
• As medidas que preveem resultado são a conclusão em casos reais, o custo dos erros, a qualidade das passagens para pessoas, o tempo até um resultado utilizável e o esforço de revisão que as pessoas ainda gastam.
• Monte um conjunto pequeno de testes com casos reais do passado antes de comparar modelos ou fornecedores, e rode de novo sempre que o modelo, as instruções ou as ferramentas mudarem.
• Trate o conjunto de testes como ferramenta de gestão, porque ele define o que o agente pode fazer, o que conta como sucesso e quando uma pessoa precisa assumir.

O que os benchmarks públicos medem e o que deixam de fora

Os benchmarks públicos são construídos para serem comparáveis. Um conjunto fixo de perguntas, uma regra de pontuação fixa e um resultado publicado permitem que pesquisadores comparem modelos de diferentes laboratórios. Esse desenho é útil para a comunidade de pesquisa, e é justamente por isso que esses testes existem. Também é o motivo pelo qual servem pouco como guia para a operação, porque um processo de negócio não é fixo, não é compartilhado entre empresas e não é avaliado por um corretor neutro.

Vários elementos normalmente ficam fora de um benchmark público. Os seus documentos, as regras de produto e o histórico de clientes não estão lá. O seu modelo de permissões também não está, então o teste não mostra se o agente abriria um registro que nunca deveria ver. O custo de uma resposta errada também não aparece, de modo que um modelo que acerta na maior parte das vezes pode ser a escolha errada se seus erros forem caros de desfazer. E a passagem para uma pessoa também fica de fora, embora seja muitas vezes ali que um fluxo de agente tem sucesso ou fracasso.

Alguns testes públicos também perdem valor com o tempo. Suas perguntas circulam em material de treinamento, e os modelos líderes se aproximam do teto. Um benchmark que todo modelo forte acerta não consegue separar um do outro no seu caso de uso. Isso é uma característica de testes fixos, não um motivo para desconfiar da pesquisa que está por trás deles.

Por que uma nota alta não significa um agente que funciona

Um agente é mais do que um modelo. Ele é um modelo com instruções, memória, ferramentas, permissões e um ciclo que decide o próximo passo. Um modelo pode ir bem em um teste de raciocínio e, mesmo assim, chamar a ferramenta errada, incluir dados de cliente em um resumo que não deveria conter esses dados ou parar no meio de uma tarefa de várias etapas sem avisar. Essas falhas estão no sistema ao redor, e um benchmark de modelo não exercita esse sistema.

O guia sobre avaliação de agentes da Anthropic traz um ponto prático: é preciso examinar os resultados e também o caminho que o agente percorreu até chegar a eles, não apenas o texto final. O guia de evals da OpenAI apresenta a avaliação como um processo repetível de declarar critérios e aplicá-los a exemplos. As duas abordagens partem do princípio de que a sua organização escreve o teste. Um ranking público não pode escrevê-lo por você. O NIST AI Risk Management Framework também pede que as organizações avaliem o risco de IA no contexto em que o sistema é usado.

Quais sinais realmente preveem resultado de negócio

O valor de negócio aparece em medidas operacionais. As mais úteis são simples o bastante para acompanhar toda semana e específicas o bastante para gerar ação:

• Conclusão em casos reais: a parcela de pedidos passados que o agente finaliza sem que uma pessoa precise reescrever o resultado.
• Custo dos erros, e não contagem de erros: uma data de entrega errada em um pedido é diferente de um reembolso errado, então pondere cada falha pelo que custa para corrigir.
• Qualidade do encaminhamento: se o agente passa o caso no momento certo, com o contexto certo, para a pessoa certa.
• Aderência às permissões: se cada execução ficou dentro das ferramentas, fontes de dados e ações de escrita aprovadas.
• Tempo até um resultado utilizável, incluindo os minutos que as pessoas gastam conferindo o trabalho.
• Estabilidade: se os resultados se mantêm quando o modelo, o prompt ou um sistema conectado muda.

Esses sinais só fazem sentido quando medidos sobre o trabalho que a sua equipe realmente faz, então o próximo passo é montar essa medição.

Como montar um conjunto de testes específico da empresa, passo a passo

Um conjunto de testes útil é pequeno, honesto e tirado do trabalho real. Você não precisa de milhares de exemplos para começar. Precisa de algumas dezenas de casos que representem o trabalho como ele acontece, incluindo os casos incômodos.

• Escolha uma função e um resultado. Selecione uma única tarefa que o agente assumiria, como responder dúvidas de primeira linha sobre o status de pedidos ou preparar um resumo mensal de conciliação para revisão.
• Reúna algumas dezenas de casos passados dos últimos meses, mantendo uma mistura de exemplos rotineiros, ambíguos, incompletos e casos que já deram errado.
• Escreva o resultado esperado para cada caso em termos simples, listando os fatos que o agente deve usar e as ações que não deve tomar.
• Defina sucesso, sucesso parcial e falha antes da primeira execução. Decida com antecedência quem avalia os casos contestados.
• Estabeleça o limite de permissões para cada caso: quais sistemas o agente pode ler, em quais pode escrever e quais ações exigem aprovação.
• Rode o agente sobre o conjunto completo, registre cada etapa e cada saída, e avalie cada execução pelos critérios escritos.
• Revise primeiro as falhas, porque a maior parte do aprendizado está nos casos que o agente errou.
• Rode o mesmo conjunto novamente depois de qualquer mudança no modelo, nas instruções, nas ferramentas ou nos dados. Uma prova de conceito, um piloto ou uma fase de produção deve ser avaliada com testes diferentes, e este conjunto cresce a cada etapa.

Cenário ilustrativo: um agente de triagem de suporte

Cenário ilustrativo: uma empresa de serviços quer um agente que classifique e-mails de clientes em cobrança, agendamento e problemas técnicos, e que prepare uma primeira resposta para o dono aprovar. Um benchmark público pode mostrar que o modelo subjacente classifica bem textos. O conjunto de testes da própria equipe revela algo mais útil. E-mails que trazem dois problemas ao mesmo tempo costumam ser arquivados em apenas um deles, e rascunhos que citam uma tabela de preços desatualizada geram a maior parte do retrabalho. A equipe então dá ao agente acesso de leitura à tabela vigente, acrescenta uma regra que encaminha qualquer menção a reembolso para uma pessoa e acompanha com que frequência o dono edita cada rascunho. A versão seguinte do modelo é avaliada por essas medidas, e não pela nota geral.

Como a Be Human trata a avaliação em operações gerenciadas

A Be Human monta o conjunto de testes durante a primeira fase do trabalho, junto com a definição da função, da memória e das ferramentas que o agente precisa e dos limites de aprovação. O critério de sucesso é escrito antes de o agente tocar em trabalho real, para que exista uma referência combinada com a qual comparar. Em operações gerenciadas, o mesmo conjunto é executado de novo quando o modelo, as instruções ou as integrações mudam, e os resultados são revisados com o dono do negócio antes que qualquer mudança chegue à produção. O monitoramento também acompanha os resultados em uso real, para que uma queda na conclusão ou um aumento de encaminhamentos fique visível sem depender de uma reclamação. A abordagem é deliberadamente modesta: um conjunto pequeno que a empresa entende e consegue defender.

Manter o conjunto de testes atualizado ao longo do tempo

Um conjunto de testes não é uma prova de uma vez só. Processos mudam, surgem produtos novos e as pessoas encontram novas formas de fazer pedidos. Depois de corrigida, cada falha real deve entrar no conjunto, para que o mesmo erro não volte sem ser notado. Retire os casos que não refletem mais o trabalho e mantenha um registro curto de qual versão do agente passou em quais casos, para que uma decisão futura sobre um novo modelo se apoie em evidências, e não na memória. Revise o conjunto em uma agenda regular com a pessoa que é dona do resultado, e não apenas com os engenheiros que construíram o agente. Mudanças no escopo do agente devem seguir um caminho documentado, como descrito em como avaliar o desempenho de um agente de IA, com metas, evidências e ajustes. Quando estiver pronto para descobrir por onde um agente poderia começar, faça o diagnóstico gratuito de IA da Be Human para identificar a primeira tarefa que vale entregar a um agente.

Perguntas frequentes

Benchmarks de superinteligência ajudam a escolher uma ferramenta de IA para o meu negócio? Eles ajudam a reduzir a lista de opções e a entender a capacidade geral, mas não mostram como um sistema vai se comportar nos seus fluxos, dados e permissões. Use-os como um primeiro filtro e, depois, rode o seu próprio conjunto de testes nas opções pré-selecionadas antes de decidir.

Quantos casos de teste preciso antes de confiar nos resultados? Algumas dezenas de casos bem escolhidos mostram a maior parte dos padrões de falha importantes para uma única função. Inclua trabalho rotineiro, casos de borda confusos e erros do passado, porque um conjunto formado só por exemplos fáceis vai superestimar a prontidão.

Quem deve avaliar os resultados do agente? A pessoa que é dona do resultado deve avaliar, ou pelo menos aprovar as regras de avaliação, porque ela sabe quanto custa um bom resultado e como é um resultado prejudicial. A equipe técnica pode rodar os testes e registrar os rastros, mas a decisão de negócio sobre o que é sucesso deve ficar com o dono.

Com que frequência devemos rodar o conjunto de testes de novo? Rode sempre que o modelo, as instruções, uma ferramenta conectada ou os dados subjacentes mudarem, e revise também em uma agenda fixa. Cada execução deve gerar um registro que você possa comparar com execuções anteriores, para que as mudanças de desempenho apareçam antes que os usuários as percebam.

Orientação editorial Be Human. Exemplos são ilustrativos, salvo atribuição explícita. Fontes oferecem contexto; a implementação depende do seu processo.