--- title: "AIエージェントの「物理工学の最終試験」PLE、最高でも48.3%。GoogleとMercorが85課題を公開、安全チェックを全部通る成果物は41.3%だけ" description: "GoogleのAI・インフラチームとMercorは2026年11月3日、機械・電気・土木・構造の実務課題85件でAIエージェントを測るベンチマーク「Physical-Engineering’s Last Exam（PLE）」と公開コンペティションを発表した。非公開のテストセットでは14のフロンティアモデルすべてが50%未満にとどまり、最高でも平均48.3%だった。課題29件と採点ツールが公開されており、設計が安全チェックをすべて通過した場合だけ得点になる採点方式を、公式発表の範囲で整理した" url: https://itpostjp.com/ai/google-mercor-ple-engineering-benchmark-agents-below-50/ category: "AI・生成AI" published_at: 2026-11-04T08:32:00Z updated_at: 2026-11-04T08:32:00Z author: "IT Post編集部" editor: "編集長 千田智也" publisher: "IT Post by Rice Studio Lab" language: ja-JP ai_generated: true ai_model: muse-wonder terms: ["AIエージェント", "ベンチマーク（AIモデルの性能評価）"] --- # AIエージェントの「物理工学の最終試験」PLE、最高でも48.3%。GoogleとMercorが85課題を公開、安全チェックを全部通る成果物は41.3%だけ IT Post編集部 ＆ 編集長 千田智也 GoogleのAI・インフラチームとMercorは2026年11月3日、機械・電気・土木・構造の実務課題85件でAIエージェントを測るベンチマーク「Physical-Engineering’s Last Exam（PLE）」と公開コンペティションを発表した。非公開のテストセットでは14のフロンティアモデルすべてが50%未満にとどまり、最高でも平均48.3%だった。課題29件と採点ツールが公開されており、設計が安全チェックをすべて通過した場合だけ得点になる採点方式を、公式発表の範囲で整理した ## 30秒で分かる結論 - GoogleのAI・インフラチームとMercorは2026年11月3日、機械・電気・土木・構造の4分野の実務課題85件でAIエージェントを測るベンチマーク「Physical-Engineering’s Last Exam（PLE）」を発表し、課題29件と採点ツール、公開コンペティションを公開しました。 - 14のフロンティアモデルを7種類のエージェント実行環境（ハーネス）で測ったところ、非公開のテストセットでは全モデルが50%未満にとどまり、最高でも平均48.3%でした。Mercorの発表によると、首位はClaude Codeで動くClaude Opus 5.5です。 - 採点は、設計が安全・実現可能性のハードチェックをすべて通過した場合だけ、コスト効率などで得点が入る方式です。トップの構成でも、個別の制約の充足率は91%だった一方、成果物が全チェックを通過したのは41.3%でした。 ## まず初めに 教科書のテストでは90点を取るAIが、現場のフォルダを渡された途端に半分も取れない。渡されるのは綺麗な問題文ではなく、旧版の図面や途中の計算書や、要求が途中で変わったメールが詰まった61ファイル入りのフォルダだ。しかも採点は「だいたい合っている」では通らない。安全のチェックを1つでも落とせば、その設計は0点である。物理の世界の試験は、部分点のごまかしが利かない。AIの「賢さ」の物差しが、暗記勝負から実務勝負に移り始めた、という話である。 ※個人の感想です ## PLEとは何か PLEは、AIエージェントが物理世界を作る仕事——高層ビルや電力網、コンピューターチップの設計につながる工学の実務——を最後までやり切れるかを測るために作られたベンチマークです。Googleによると、フロンティアモデルは学術系ベンチマークの多くで90%を超えるスコアを出すようになっていますが、それらは教科書式の問題や単発のツール呼び出し、小さく切り取られた設計問題が中心で、現場の技術者が受けるような、規範に適合し安全でコスト効率のよい設計を成果物として出せるかは測れていませんでした。 PLEの課題は全85件で、分野別の内訳は機械30件、電気27件、土木18件、構造10件です。課題の作り方は2通りあり、44件は実務の技術者がプロジェクトフォルダ、指示文、採点ルーブリックまでを作った専門家作成の課題、残る41件は技術者が最初の課題を設計し、エージェントのパイプラインが環境と採点器を組み立て、技術者が検証して難易度を上げた共同作成の課題です。 ![GoogleとMercorの発表に基づき、PLEの課題構成（全85件・4分野、専門家作成44件と共同作成41件）、安全チェックをすべて通過した場合だけ得点になる採点方式、非公開テストセットで全モデル50%未満だった結果を整理した図解](/images/articles/google-mercor-ple-engineering-benchmark-agents-below-50-inline-1.webp) ## 課題の中身——「現場のフォルダ」をそのまま渡す 各課題は、MercorのArchipelago環境の上に作られたコンテナ化されたプロジェクトフォルダの中で解きます。1課題あたり平均61ファイル、全体で5,170ファイルが含まれ、中身はPDF、スプレッドシート、メール、2DのCAD図面、3DのBIMモデル、改訂版の文書などです。エージェントはこれらを読み解き、適用される建築規範や物理的な限界を見つけ、計算を行い、有資格のレビュアーが審査する前提の成果物を出す必要があります。 Mercorの発表によると、エージェントにはインターネットアクセスが与えられず、制限時間は最大6時間です。フォルダには旧版の資料が「罠」として混ざっている場合もあり、難しさの相当部分は「そもそも何を解くべきか」を見極める段階にあります。分野ごとの課題例としては、機械分野の冷却ループ設計や干渉のない3D設備ホールの配置、電気分野の配電盤のサイジングとケーブルスケジュール、土木分野のキャンパス全体の区画整理とユーティリティ配置、構造分野の屋根デッキの設計などが挙げられています。 ## 結果——50%の壁と、91%と41.3%の落差 GoogleとMercorは、14のフロンティアモデルを、Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands、Piの7種類の公開ハーネスで測定しました。非公開のテストセット（Mercorの図表では56課題）では、全モデルが50%未満にとどまりました。Mercorの発表によると順位は次のとおりです。 | モデル（実行構成） | 非公開テストセットの平均スコア | |---|---:| | Claude Opus 5.5（Claude Code） | 48.3% | | GPT 6 Astra | 45.8% | | Gemini 4 Argon | 40.6% | 首位のClaude Opus 5.5の構成は、1課題あたり平均2,700万トークン、平均63分を費やした、とMercorは報告しています。なお、この48.3%は非公開テストセットでの値です。論文側の全85課題での集計値とは対象が異なるため、本記事では混同しないよう分けて扱います。 もう1つの数字が、このベンチマークの性格を表しています。トップの構成は、共同作成の課題で個別の制約の91%を満たしました。それでも、成果物が安全・実現可能性のハードチェックをすべて通過したのは41.3%だけでした。つまり「だいたい正しい設計」と「そのまま通る設計」の間には、大きな段差があります。PLEでは、ハードチェックをすべて通過した設計だけが、コスト効率などの得点対象になります。 モデルとハーネスの影響の違いも示されました。モデル間のスコア差は最大で約50ポイントに広がる一方、同じモデルを別のハーネスで動かした場合の差は中央値で約3ポイントでした。ハーネスの選択は主に実行コストに効く、とGoogleは説明しています。ハーネスの1つであるAntigravityを含むGoogleのエージェント環境の動向は、[Claude Opus 5.5とあわせて扱った記事](https://itpostjp.com/ai/claude-opus-55-sonnet-55-google-antigravity/)でも整理しています。 ## 参加方法——課題29件は誰でも試せる Googleは、29件の公開課題、採点ツール、評価用コンテナをGitHubリポジトリで公開し、技術的な詳細をまとめた論文をarXivで公開しています。公開コンペティションはple-bench.comで開かれており、自分のエージェント構成を持ち込んで非公開テストセットでの評価を受けられます。Googleがスポンサーする13モデルは同社のサーバー上で無料で実行でき、賞の詳細は今後発表するとしています。 ## IT Postの見方 IT Postでは、PLEの面白さは「AIの弱点を、知識ではなく実務の作法の側に見つけた」点にあると考えます。旧版の図面を最新と取り違える、規範の版を確認しない、制約を1つ落として全体を通らなくなる——どれも人間の新人技術者がやる失敗とよく似ています。逆に言えば、この種の失敗は、モデルの賢さだけでなく、渡すフォルダの整理や検証の段取りといった、使う側の実務設計で減らせる部分でもあります。 もう1つは採点の考え方です。IT Postでは、安全に関わる成果物に部分点の発想を持ち込まなかったのは正しい線引きだと考えます。ソフトウェアなら90%の出来でベータ版として出せますが、建物や電力設備はそうはいきません。「個別の制約は91%満たしたのに、全部通った成果物は41.3%」という数字の落差こそが、AIエージェントを実務に迎える前に越えるべき壁の正体です。もっとも、これはGoogleとMercorという提供側の設計した試験での結果であり、課題の作り方自体が難易度を決めている点は割り引いて見る必要があります。 ## 今後どうなりそうか 公開コンペティションのリーダーボードが動き始めれば、48.3%という数字がどこまで押し上がるかが見えてきます。あわせて、賞の詳細や、論文で示された評価の内訳が更新されるかも確認点です。 日本語の読者にとっての実用面では、PLEのような「フォルダごと渡して成果物を出させる」評価は、設計・開発の現場でエージェントを試すときの物差しとして転用できます。新しい公式情報が確認できれば、続報として整理します。 ## 情報源 「一次情報」は資料の出所を示す区分で、編集部による独立した実測や、すべての主張の実証を示すものではありません。確認の範囲や未確認の点は、本文の説明と併せてご覧ください。 - [Introducing Physical-Engineering’s Last Exam for agents](https://cloud.google.com/blog/products/ai-machine-learning/introducing-physical-engineerings-last-exam-for-agents) — Google Cloud（一次情報） - [Introducing Physical-Engineering’s Last Exam (PLE) with Google Cloud AI Research](https://www.mercor.com/blog/introducing-physical-engineering-s-last-exam-ple-with-google-cloud-ai-research/) — Mercor ## この記事に出てくるIT用語 - [AIエージェント](https://itpostjp.com/terms/ai-agent/): 与えられた目標に向けて、AIが自ら計画を立て、複数の作業を連続して実行する仕組みのことです。 - [ベンチマーク（AIモデルの性能評価）](https://itpostjp.com/terms/ai-benchmark/): AIモデルの性能を、共通の問題集(基準)を使って測定し、数値やスコアで比較するための評価手法です。 --- この記事は、公開情報と出典URLの検証、文章作成の一部に生成AIを使用しています。内容の責任はIT Post by Rice Studio Labが負います。 出典表記: IT Post by Rice Studio Lab — https://itpostjp.com/ai/google-mercor-ple-engineering-benchmark-agents-below-50/