表示するモデル
ファミリー名で一括、モデル名で1つずつ切り替えます。日付は公開日です。
点にカーソルを合わせる（スマホはタップ）と、詳細が出ます。
Artificial Analysis (2026-10-11更新)
Artificial Analysis は、さまざまなベンチマークなどからLLMの総合的な能力を比べることを目的としています。10本の別々の評価を、重み付き平均にしています。
内訳と更新履歴
課題セットは
- エージェント 30%（AA-Briefcase、GDPval-AA、AutomationBench-AA）、
- 一般 30%（AA-Omniscience、GDP.pdf、AA-LCR）、
- コーディング 20%（Terminal-Bench、SciCode）、
- 科学的推論 20%（Humanity's Last Exam、CritPt）です。
更新履歴：Intelligence Index v4.3.2（スコア指標；2026-09-19 に公開）は、GDPval-AA と AA-Briefcase の当てはめを Crowd-BT とし、GDPval-AA の Elo の基準点を DeepSeek V4.1 Flash（max）の 1600、AA-Briefcase の基準点を GPT-5.5（medium）の 1000 としています（Briefcaseは変更なし）。
点にできなかったモデル（5）
DeepSeek V3.2（推定値）、DeepSeek V3.2 Exp（推定値）、EmbeddingGemma（データなし）、EmbeddingGemma 2（データなし）、Gemma 2 27B（データなし）
DeepSWE (2026-09-22更新)
DeepSWE は Datacurve社による長い開発課題の正解率です。
計算方法
113課題で、検証器を通過した割合を平均したものを、スコア（Pass@1）としています。
CursorBench (2026-10-10更新)
Cursor が、実際の開発セッションから作った課題での正解率です。
更新履歴
現行は CursorBench 4.0（2026-09-10〜）です。
AutomationBench (2026-10-10更新)
AutomationBench は Zapier による複数の業務アプリをまたいで、仕事を最後まで正しく終えたかを測ることを目的にしたベンチマークです。
計算方法
スコアは、すべての自動チェックが通ったときだけ合格、それ以外は不合格で、その平均が合格率（task_completed_correctly）です。
VulcanBench Frontier v4 (2026-10-11更新)
VulcanBench が自分で走らせた23問の総合点です。
計算方法
- 総合点 ＝ 100 ×（機能の正しさ 50% + lint と複雑さ 8.5% + セキュリティ 8.5% + コード品質 33%）。機能の正しさは部分点です。
- コード品質は Muse Spark 1.3 と Grok 4.6 が採点します。Grok 4.7 の採点だけ、Grok 4.6 の代わりに GPT-6.1 Sol が入ります。
- コストは、定価で換算した API 相当額です。実際はサブスクリプション上で動かしているので、請求額ではありません。
VulcanBench SWE v3 (2026-10-02更新)
VulcanBench SWE v3 は、実際にマージされたオープンソースの PR から作った課題を解けたかを測ることを目的としたベンチマークです。※ 2026年8月に引退済み。
計算方法
課題23問について、成功率の平均値がスコア（Pass@1）です。
コストは、その列の定価 API 支出を実行回数で割ったものです。