Hana’s Note

AIモデル比較ガイドで見た性能の数字は、どうやって比べられているんだろう？ 同じ点数でも、道具や試行回数が違うと意味も変わる。ここでは、その数字の奥にある条件を一緒にほどいてみようにゃ。

ベンチマークとは何か

ベンチマークは、決められた問題と採点方法を使い、ある条件でAIがどの程度できたかを確かめる評価です。AIの健康診断に少し似ています。視力検査の数字だけで体全体を説明できないように、一つの試験は一つの能力しか測りません。

この記事で扱う数字は、モデル単体の普遍的な強さではなく、モデル、設定、ツール、試行回数、実行環境を含む一つの構成の結果として読みます。

比較メモ

  • 最終確認: 2026-08-16（JST）
  • 評価対象: 公開ベンチマークと、その評価方法・利用条件
  • 検証状態: 各ベンチマークの公式資料・論文と、元記事で参照した公開評価を確認
  • 対象外: 特定のモデルの恒久的な総合順位、日本語文章品質の独自人間評価

なぜ性能比較が難しいのか

独立評価機関Artificial Analysisの2026年8月16日時点の複合指標v4.1.1では、Claude Opus 5のmax設定が63、Claude Fable 5のフォールバック込み構成が62、GPT-5.6 SolとGrok 4.6の高推論設定がともに61でした。差はありますが、これだけで実利用の勝者を決められる幅ではありません。

この指標は、エージェント34%、コーディング24%、科学24%、一般能力18%という重みで9種類の評価をまとめたものです。英語・テキスト中心で、料金、速度、日本語の書き味、製品の使いやすさは含みません。さらにmaxやhighは通常より多く推論する設定で、Fable 5の値は安全分類後に別のClaudeで再試行する設定を含み得ます。つまり、数字はモデル名だけでなく、設定を含む一つの構成を表しています。

Gemini 3.7 Flashも独立複合指標へ追加され、high設定で56でした。ただし、公式文書の更新から3日しかたっていない時点の値です。一つの初期スコアだけで、文章、画像、製品機能を含む総合順位は決まりません。 新しいモデルほど、実利用の評価が蓄積するまで慎重に読みます。

代表的なベンチマークが測るもの

名前主に測ること数字を見るときの注意
GPQA Diamond物理・化学・生物の難しい選択問題198問の固定セット。実際の研究や文献確認ではない
Humanity’s Last Exam多分野の非常に難しい短答・選択問題検索やコードなど、ツールの有無で別の条件になる
SWE-bench系実リポジトリのissueを直せるかモデル、エージェント、テスト環境をまとめて測る
Terminal-Benchターミナルで複数手順の作業を終えられるか環境、時間、権限、外部依存に敏感
BrowseCompWebから見つけにくい短い答えを探せるか長文の調査品質や引用の正しさ全部は測らない
OSWorld実アプリの画面操作を終えられるか画面・ツール・OS環境の影響が大きい
LM Arena二つの匿名回答のどちらを人が好むか好みであり、事実の正しさだけの順位ではない
MMMU-Pro図表や画像を含む大学レベルの問題選択式で、画像の渡し方やツール有無が効く

Artificial Analysisのような横断評価は、複数の試験をまとめて比較する手がかりになります。ただし、何を何割で重み付けしたか、各試験がどの構成を測ったかを確認しなければ、単一の「知能指数」として扱うことはできません。

pass@1とpass@kは違う

pass@1は最初の一回で成功する割合です。pass@kは複数回試したときに一度以上成功する可能性を見る指標です。5回挑戦できるAIと、1回だけのAIを同じ数字として比べることはできません。

たとえば数学コンテストAIMEは1年15問です。1問違うだけで約6.7ポイント動くため、年度、試行回数、コード利用の有無が違えば、小さな差は簡単に入れ替わります。

モデル評価とエージェント評価は別に考える

コーディング評価では、AIがリポジトリを読み、コマンドを実行し、テストで失敗を見つけ、修正を繰り返します。この仕組みをagent harness（エージェントを動かす枠組み）と呼びます。

同じモデルでも、使えるコマンド、テスト時間、ファイル権限、試行回数が違えば成績は変わります。各社の発表表には異なるハーネスやフォールバックを使った値が混ざることがあるため、数ポイントの差をモデル単体の差だと読むのは危険です。

これは、エージェント評価が役に立たないという意味ではありません。コード修正やPC操作のように、実際にツールを使う仕事では、モデルだけでなく環境を含めて測る必要があります。記事や発表を読むときは、「モデル単体の評価か」「エージェント全体の評価か」を先に分けます。

数字を過信できない理由

公開テストには、飽和と混入の問題があります。SWE-bench Verifiedは、実際のGitHub issue 500件を人手で検証した重要なコーディング評価でした。しかしOpenAIは2026年、frontierモデルの比較には使わないと表明しました。失敗例の監査でテスト設計上の問題が多く見つかり、公開データへの過学習や飽和も比較を難しくしたためです。

これは「ベンチマークが無意味」という話ではありません。測定器にも有効な範囲と寿命があり、難度やデータを更新し続ける必要がある、という例です。

Web調査でも、BrowseCompで高得点だからといって、引用先が主張を支えるか、論文と解説記事を区別できるか、最新日付を確認できるかは別の作業です。科学問題のGPQAやHLEで高得点でも、新しい研究を正しく評価したことにはなりません。論文の実在、該当箇所、計算、実験条件を人間が確認します。

自分の仕事で確かめる小さなテスト

公開ベンチマークより、自分の課題に近い小さな評価のほうが役立つことがあります。

  1. 実際によく行う課題を3〜5件選ぶ。
  2. 個人情報や機密情報を除き、同じ指示を各候補へ渡す。
  3. モデル名を隠して、人間が結果を評価する。
  4. 正確さ、修正量、完了時間、費用を記録する。
  5. 正解がない文章では「好き」だけでなく、目的を満たすかを見る。
  6. 難しい課題は別のAIまたは一次情報で検証する。

Limitations and what may change

  • ベンチマークの問題、採点、公開条件、実行環境は更新される。
  • 独立複合指標も、採用した課題と重みによる一つの見方である。
  • 公式発表のベンチマークは一次情報だが、提供者自身の測定であり、他社の異なる表と直接比較できない場合がある。
  • 日本語文章、引用品質、長文検索について、この記事独自の人間A/B評価は行っていない。

Summary

ベンチマークは能力の一部を測る道具です。数字を見るときは、何を測る試験か、モデル単体かエージェント全体か、ツール・試行回数・設定は同じかを確認します。

モデルを選ぶときは、主要AIモデル比較ガイドで用途を絞り、料金も必要ならAIモデルの料金比較とAPIコストの考え方で別に確かめてから、自分の課題で小さく試します。

あわせて読む

Related links / References