Be Human SISuper Intelligence

Pesquisa

XYBench mede se a IA corrige a pergunta mal feita

A pessoa quer chegar a X, pergunta sobre Y. O teste mede se o modelo ajuda com o objetivo real.

Publicado 13/11/2026 · atualizado 18/11/2026 · 2 min · Be Human SI

Pesquisa

Em uma linha. 8.115 perguntas, cinco modelos testados e um prêmio de melhor artigo de recurso no EMNLP 2026.

Um assistente de IA precisa ajudar também quem faz a pergunta errada. É a tese do XYBench, benchmark publicado em 13 de novembro de 2026 no blog da Hugging Face pela organização allenai, com pesquisadores da Carnegie Mellon, da NVIDIA e da Johns Hopkins. A página diz que o trabalho levou o prêmio de melhor artigo de recurso no EMNLP 2026.

O problema tem nome: a pessoa quer chegar a X, supõe que o caminho Y funciona e pergunta sobre Y. No exemplo do texto, alguém quer saber como engrossar a cobertura que escorrega dos cupcakes, quando o motivo real é que os bolinhos ainda estão quentes.

O benchmark reúne 8.115 perguntas: 1.557 do Stack Overflow, 184 do Stack Exchange, 102 curadas à mão e 6.272 geradas a partir de guias do WikiHow. Cada uma traz o pedido declarado, Y, e o objetivo real, X. Três medidas avaliam se a resposta contém solução para Y e para X, se o foco está em Y ou em X e se orienta a pessoa para longe da abordagem errada.

Foram testados Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro, com uma resposta por pergunta. Todos incluíram mais soluções para o pedido declarado do que para o objetivo real. No Stack Overflow, soluções para Y apareceram em 75% a 86% das respostas, contra 59% a 71% para X. As respostas humanas de referência se mostraram mais propensas a desviar a pessoa da abordagem errada.

O juiz automático foi o Claude Sonnet 4.5, validado por dois revisores humanos em 500 respostas, com concordância de 74,2% a 79,8% na medida de ênfase e mais alta nas outras duas. Os modelos avaliados são os que o artigo cita, e já existem versões mais novas no mercado.

Perguntas

O que o XYBench mede?

Se um assistente percebe que o pedido parte de um equívoco e orienta a pessoa para a solução do objetivo real, em vez de insistir na abordagem errada.

De onde vêm as 8.115 perguntas?

1.557 do Stack Overflow, 184 do Stack Exchange, 102 curadas à mão e 6.272 geradas a partir de guias do WikiHow.

Quais modelos foram testados?

Claude Sonnet 4.6, GPT-5, Gemini 3.1 Pro, Qwen3.5-9B e DeepSeek-V4 Pro.

Fonte primária. Hugging Face (allenai), XYBench: Helping with the problem behind the question (13/11/2026)