--- title: "Ai2「XYBench」8,115問、主要モデルは「頼まれたこと」に答えて「本当の困りごと」を見落とす" description: "Allen Institute for AI（Ai2）は2026年11月13日、利用者の思い込みに基づく頼み事へAIがどう応じるかを測るXYBench（8,115問）を公開した。対象5モデルの結果、ベンチの作り方、限界を一次資料で整理した" url: https://itpostjp.com/ai/ai2-xybench-8115-misconception-benchmark/ category: "AI・生成AI" published_at: 2026-11-15T02:37:09Z updated_at: 2026-11-15T02:37:09Z author: "IT Post編集部" editor: "編集長 千田智也" publisher: "IT Post by Rice Studio Lab" language: ja-JP ai_generated: true ai_model: muse-wonder terms: ["AIエージェント", "ベンチマーク（AIモデルの性能評価）"] --- # Ai2「XYBench」8,115問、主要モデルは「頼まれたこと」に答えて「本当の困りごと」を見落とす IT Post編集部 ＆ 編集長 千田智也 Allen Institute for AI（Ai2）は2026年11月13日、利用者の思い込みに基づく頼み事へAIがどう応じるかを測るXYBench（8,115問）を公開した。対象5モデルの結果、ベンチの作り方、限界を一次資料で整理した ## 30秒で分かる結論 - Allen Institute for AI（Ai2）は2026年11月13日、ベンチマーク「XYBench」を公開しました。本当の目的（X）ではなく、間違った手段（Y）を頼んでしまう「XY問題」への応答を測る8,115問のテストです。 - 評価した5モデル（Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Pro）はすべて、利用者の本来の目的に沿う解決よりも、頼まれた手段そのものへの回答に寄る傾向を示しました。これはAi2自身の評価結果です。 - XYBenchはEMNLP 2026でBest Resource Paper Awardを受賞しました。対象は英語の手続き型の問題が中心で、他の言語や会話の文脈への拡張は今後の課題だとしています。 ## まず初めに 「カップケーキのクリームが滑り落ちる。固くするにはどうすればいい」。本当の問題は、ケーキがまだ温かいことだ。手段の相談に手段で答えるのは、丁寧なようでいて一番の遠回りになる。人間同士なら「まず冷ませ」と笑って済む話だが、AIは頼まれた通りに全力で答えてしまう。言われたことをやる能力と、言われたことの間違いに気づく能力は、まったく別の筋肉だったという話だ。 ※個人の感想です ## XY問題とベンチの作り方 Ai2の公式ブログによると、XYBenchが測るのは「XY問題」への応答です。利用者は目的Xを達成したくて、手段Yが効くと信じ込み、Yへの助けを求めます。助け手に求められるのは、Yへの回答だけでなく、前提の思い込みに気づき、本来の目的に沿う解決へ誘導することです。 問題は8,115問で、出典は4種類です。Stack Overflowから1,557問、Stack Exchangeから184問、手作業で整えた102問、WikiHowの手順ガイドから生成した6,272問です。題材はプログラミングと、料理や家の修理といった日常の作業にまたがります。開発にはカーネギーメロン大学、NVIDIA、ジョンズ・ホプキンス大学の研究者が加わっています。データセットはHugging Faceで公開され、ライセンスはCC BY-NC-SA 3.0、評価用のコードもGitHubで公開されています。 ![XYBenchの構成と評価結果を整理した図解](/images/articles/ai2-xybench-8115-misconception-benchmark-inline-1.webp) ## 評価結果（Ai2の公表） 評価は1問に1回答の単発設定で行われました。対象はClaude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B、DeepSeek-V4 Proの5モデルです。Ai2によると、どのモデルも利用者の問題への解決策は示すものの、回答の重心は元の間違った手段のほうに残りました。 二次報道が伝える内訳では、頼まれた手段（Y）への解決が回答の75〜86%に現れたのに対し、本来の目的（X）への解決は59〜71%にとどまりました。目的に焦点を当てた回答の割合は35〜41%という整理もあります。いずれもAi2の評価に基づく数字であり、モデル同士の優劣を競う表ではなく、「全モデルに共通する傾向」を示す結果として公表されています。特定のモデルの順位付けに使う数字ではありません。 ## 限界と位置づけ Ai2自身が挙げる限界もあります。現在のXYBenchは英語の質問が対象で、題材は手続き型の問題が中心です。他の言語や文化、複数ターンにわたる会話の文脈への拡張は、今後の方向として残されています。つまり、この結果をもって「AIは日本語でも同じように思い込みを見落とす」とまでは言えません。傾向の存在を示す材料であり、言語や場面ごとの再測定が要ります。 それでも、このベンチが刺す場所は正確です。従来のベンチマークは「正しい答えを出せるか」を測ってきましたが、XYBenchは「間違った問いに、正しく気づけるか」を測ります。実務の相談は、たいてい前提のどこかが少しずれている。そのずれを拾えるかどうかは、点数の高いモデルかどうかとは別の物差しです。 ## 具体例で見る「ずれ」 公式ブログが挙げる例は、日常の料理です。「カップケーキに塗るフロスティング（砂糖衣）が滑り落ちてしまう。どうやって固くすればいいか」という相談です。手段（Y）は「フロスティングを固くする」ことですが、本当の問題（X）は、カップケーキがまだ温かく、冷める前に塗っていることです。正しい助けは、固める方法の改良ではなく「まず冷ましてから塗る」という前提の修正になります。 プログラミングの相談でも構造は同じです。利用者は「この方法で実現したい」と手段を固定して聞きますが、手段そのものが目的に対して遠回りだったり、前提の理解がずれていたりすることがあります。人間の助け手は会話の中で前提を聞き返せますが、単発の質問応答では、モデルは書かれた手段をそのまま受け取るしかありません。XYBenchはこの「聞き返しが起きるかどうか」を、8,115問という規模で数値にしたものです。 ## 数字の読み方 結果を読む際の注意点は3つあります。第1に、これはAi2自身が設計し、Ai2自身が採点した評価であり、独立した第三者の再現はまだ示されていません。第2に、評価は1問1回答の単発設定です。複数回のやり取りで前提を確認し直す使い方では、結果は変わり得ます。第3に、対象は英語の手続き型の問題に限られます。料理、手順、プログラムといった「手順の相談」に寄った題材であり、あらゆる種類の質問への一般化はできません。 裏を返せば、この3条件の中でさえ全モデルに共通の傾向が出た、というのが結果の重みです。個別モデルの優劣ではなく、現在の言語モデル全体の振る舞いの癖として読むのが、公表の趣旨に沿っています。 ## IT Postの見方 IT Postでは、XYBenchの価値はモデルの採点表ではなく、利用者側への警告として読むべきだと考えます。AIへの頼み方が下手なのではなく、頼み方に思い込みが混ざるのは人間の標準仕様だ。問題は、AIがその思い込みを増幅する方向に最適化されてきたことです。頼まれた手段に素早く正確に答えるほど「役に立つ」と評価される仕組みでは、前提を疑う一言はむしろ減点対象になりかねない。 だからこの結果は、モデル提供者への宿題であると同時に、使う側の作法の話でもある。「Yをやりたい」ではなく「Xに困っている」と目的から書く。それだけで回答の当たり外れは変わる。8,115問のテストが突きつけたのは、AIの弱点というより、人間の相談の下書きの弱点だ。ベンチマークのくせに、読み手のほうを採点してくる。なかなか意地の悪い、良いテストだ。 ## 今後どうなりそうか 今後は、複数ターンの会話や他言語への拡張版が出るかどうかと、各モデル提供者が「前提の誤りに気づく」振る舞いを評価や調整に組み込むかどうかが焦点になります。利用者側でも、相談の書き方として目的を先に置く習慣は、モデルが改良される前から効きます。XYBenchの数字はAi2の評価として更新を追い、独立した再現が出れば併せて扱います。 ## 情報源 「一次情報」は資料の出所を示す区分で、編集部による独立した実測や、すべての主張の実証を示すものではありません。確認の範囲や未確認の点は、本文の説明と併せてご覧ください。 - [XYBench: Helping with the problem behind the question](https://huggingface.co/blog/allenai/xybench) — Allen Institute for AI (Ai2) / Hugging Face Blog（一次情報） - [XYBench finds models answer stated requests over detecting user intent](https://extrapolator.ai/2026/11/13/xybench-finds-models-answer-stated-requests-over-detecting-user-intent/) — Extrapolator ## この記事に出てくるIT用語 - [AIエージェント](https://itpostjp.com/terms/ai-agent/): 与えられた目標に向けて、AIが自ら計画を立て、複数の作業を連続して実行する仕組みのことです。 - [ベンチマーク（AIモデルの性能評価）](https://itpostjp.com/terms/ai-benchmark/): AIモデルの性能を、共通の問題集(基準)を使って測定し、数値やスコアで比較するための評価手法です。 --- この記事は、公開情報と出典URLの検証、文章作成の一部に生成AIを使用しています。内容の責任はIT Post by Rice Studio Labが負います。 出典表記: IT Post by Rice Studio Lab — https://itpostjp.com/ai/ai2-xybench-8115-misconception-benchmark/