01
予定表への会議追加
「Aさんの予定表に、2024/5/17 10:30〜11:00の会議を追加する」
AIベンチマーク
事務作業の性能評価
オフィスベンチ（OfficeBench）
表計算・文書・メール・予定表を使う事務作業を、AIが最後まで正しく終えられるか。300件の公開課題を実際に走らせ、所要時間・正確さを同じ条件で評価しています。
判断基準
事務作業を効率化するために、自社専用AIの導入を検討する際には、性能の高さはもちろんですが、それ以外にも作業遂行のスピード、安定した回答率も判断要素に入れる必要があります。
使ったのは「オフィスベンチ（OfficeBench）」という公開の学術ベンチマークです。これは事務作業を任せられる総合力を図るためのもので、文書・表計算・メール・予定表・PDFなどを扱う300件の課題を通して、複数のAIを比べられます。
課題の中身
事務作業では、1つのアプリではなく複数のアプリを使うことがよくあります。そのため、このベンチマークは1〜3個のアプリを組み合わせた作業を評価できる課題になっています。以下は一部の例です。
02
表の集計と回答
「中間試験1の最低点と最高点を求め、その差を答える」
03
共通の空き時間の探索
「5/1にAさんとBさんが1時間の会議をできる共通の時間を探す」
04
画像からの文字取り出し
「停電通知の画像から文字を取り出し、power_failure.pdf として保存する」
05
スキャンPDFの表計算への転記
「スキャンしたPDFの最初の5人分の得点を score.xlsx に入れる」
06
条件に合う受講生の抜き出し
「CS161を受講している学生の氏名と学籍番号を students.docx に、1行に1人ずつ『学籍番号, 氏名』の形で書く」
07
資料のPDF化とメール送付
「プロジェクト表を task.pdf に変換し、そのPDFを添付したメールを作る」
08
数値の表化と上長への報告
「売上の数値を取り出して revenues.xlsx に表として保存し、上長へメールする」
09
申請PDFの判定と面談の登録
「奨学金の申請PDFが学校の方針を満たすか確認し、result.docx に yes か no を書き、5/31 13:00に担当者との面談を meeting.ics に登録する」
10
メールの仕分けと保存
「すべてのメールを読み、宛先ごとのフォルダを作り、元の名前のPDFとしてそれぞれのフォルダに保存する」
扱うアプリ
課題で使う9種類のアプリです。課題は、この中から1〜3個を組み合わせて作られています。
文書（Word）
文書の作成・読み取り・書き込み・PDF変換
表計算（Excel）
表の作成・セル操作・PDF変換
メール
受信一覧の確認・本文の読み取り・送信
予定表
予定の追加・削除・一覧の確認
PDFの読み取り、PDFと画像の相互変換、Wordへの変換
画像読み取り（OCR）
画像やスキャン資料からの文字の取り出し
LLMへの問い合わせ
文章の要約や判定をモデル自身に問い合わせる
シェル
コマンド実行によるファイル操作
システム
コピー・貼り付けによる値の受け渡しとアプリの切り替え
正答率
利用するアプリの個数ごとに、モデルと推論能力の組み合わせごとの正解の割合を示します。同じ条件で評価した値だけを並べています。
アプリ1つ
オープンウェイトモデル：クローズドモデル：
推論能力[-]
アプリ2つ
オープンウェイトモデル：クローズドモデル：
推論能力[-]
アプリ3つ
オープンウェイトモデル：クローズドモデル：
推論能力[-]
課題あたりの所要時間
オープンウェイトの3つのモデルは、多くの推論能力において、クローズドモデルのGrok 4.7の場合と同程度であり、同じくクローズドモデルの(GPT-5.6 Luna、GPT-6 Luna)よりも大きく短い時間で終了します。タスク依頼時の所要時間の短さは業務量に直結するため、自社専用可能なAIの導入で、生産性を大きく上げることができます。
課題あたりの所要時間[秒]
推論能力[-]
オープンウェイトモデル：GLM 5.3 FlashDeepSeek V4.1 FlashNemotron 3 Ultraクローズドモデル：GPT-5.6 LunaGPT-6 LunaGrok 4.7
回答率
AIが答えを返せた割合が回答率です。オープンウェイトの3つのモデルは、推論を切った場合(GLM（80.0%）とDeepSeekの最大（85.0%））を除き、どの設定でも9割以上を保ちます。自社専用AIとして運用可能な水準と考えられます。
回答率
推論能力[-]
オープンウェイトモデル：GLM 5.3 FlashDeepSeek V4.1 FlashNemotron 3 Ultraクローズドモデル：GPT-5.6 LunaGPT-6 LunaGrok 4.7
モデルごとの必要メモリ量
オープンウェイトモデルを自社環境に置く場合には、導入するハードウェアの選択のために、モデルそのものを保持しておくためのメモリ量を予め調査しておく必要があります。同じモデルでも、精度を落とした軽い構成ほど小さく収まります。公開されている構成ごとに示しています。
モデルごとの必要メモリ量
公開されている重みの実サイズです。推論能力を変えても重みは変わらないため、モデルごとの値です。実際にはこれに加えて、文書の長さに応じた作業領域が必要になります。
数値一覧
回答率は「AIが答えを返せた割合」で、正答率は正解の割合です。 スマートフォンでは表を左右に動かせます。
| モデル | 提供元 | 推論能力 | 課題あたりの所要時間[秒] | 正答率 | 回答率 | 試行数（完走分） | ||
|---|---|---|---|---|---|---|---|---|
| アプリ1つ | アプリ2つ | アプリ3つ | ||||||
| GLM 5.3 Flash | Ollama Cloud | None | 56.6秒 | 74.2% | 52.6% | 18.8% | 80.0% | 300 |
| Low | 13.9秒 | 73.1% | 58.9% | 23.2% | 90.6% | 300 | ||
| Medium | 32.4秒 | 77.4% | 75.8% | 35.7% | 91.5% | 300 | ||
| High | 17.8秒 | 76.3% | 69.5% | 29.5% | 96.8% | 300 | ||
| Max | 32.8秒 | 79.6% | 73.7% | 33.0% | 92.9% | 300 | ||
| DeepSeek V4.1 Flash | Ollama Cloud | None | 10.7秒 | 55.9% | 54.7% | 17.9% | 100.0% | 300 |
| Low | 41.3秒 | 77.4% | 63.2% | 38.4% | 96.2% | 300 | ||
| Medium | 24.0秒 | 78.5% | 63.2% | 30.4% | 99.3% | 300 | ||
| High | 31.3秒 | 73.1% | 66.3% | 32.1% | 96.5% | 300 | ||
| Max | 99.4秒 | 76.3% | 51.6% | 24.1% | 85.0% | 300 | ||
| Nemotron 3 Ultra | Ollama Cloud | None | 35.0秒 | 37.6% | 31.6% | 13.4% | 99.7% | 300 |
| High | 25.8秒 | 23.7% | 23.2% | 2.6% | 99.3% | 302 | ||
| GPT-5.6 Lunaクローズドモデル | OpenAI | None | 151.8秒 | 69.0% | 35.2% | 10.3% | 51.5% | 154 |
| Low | 121.8秒 | 62.9% | 51.4% | 24.3% | 71.4% | 210 | ||
| Medium | 131.3秒 | 58.2% | 51.3% | 17.9% | 74.7% | 221 | ||
| High | 159.7秒 | 73.7% | 64.1% | 31.8% | 80.7% | 242 | ||
| XHigh | 123.6秒 | 73.0% | 64.4% | 36.2% | 94.7% | 284 | ||
| Max | 217.0秒 | 76.3% | 69.5% | 35.7% | 99.3% | 300 | ||
| GPT-6 Lunaクローズドモデル | OpenAI | None | 206.5秒 | 28.4% | 14.1% | 1.0% | 85.3% | 256 |
| Low | 156.1秒 | 43.1% | 32.1% | 2.2% | 80.7% | 242 | ||
| Medium | 123.5秒 | 56.2% | 40.4% | 9.9% | 86.4% | 260 | ||
| High | 110.5秒 | 66.7% | 52.6% | 19.4% | 98.0% | 296 | ||
| XHigh | 134.3秒 | 67.0% | 52.2% | 20.7% | 97.4% | 294 | ||
| Max | 138.4秒 | 67.0% | 55.3% | 16.5% | 98.0% | 294 | ||
| Grok 4.7クローズドモデル | xAI | Low | 35.0秒 | 80.6% | 74.7% | 34.8% | 99.7% | 300 |
| Medium | 45.3秒 | 78.5% | 67.4% | 27.7% | 99.0% | 300 | ||
| High | 59.1秒 | 78.5% | 61.1% | 25.9% | 97.7% | 300 | ||
| XHigh | 59.0秒 | 81.7% | 62.1% | 25.0% | 99.7% | 300 | ||
用途別の選び方例
同じ課題でも、優先するものが違えば選ぶモデルは変わります。
定型処理を大量にこなしたい
推奨: GLM 5.3 Flash（推論: 高）
1つのツールで終わる作業なら、正解の割合は76.3%です。スキャンした書類から数値を抜いて一覧にする用途で、1件あたり13.9〜32.4秒かかります。
表計算と文書をまたいで仕上げたい
推奨: GLM 5.3 Flash（推論: 中）
表で集計した数値を報告文書にまとめる作業なら、正解の割合は75.8%です。導入できるモデルの中では最も高い水準です。
複数のツールをまたぐ複合業務を任せたい
推奨: DeepSeek V4.1 Flash（推論: 低）
PDFを読んで表計算に取り込み、上長へメールする作業なら、正解の割合は38.4%です。導入できるモデルの中では最も高い水準です。
人が見ていない間も動かし続けたい
推奨: DeepSeek V4.1 Flash（推論: 中）
回答率は99.3%です。推論を切った場合を除き、導入できるモデルの中では最も高い値です。答えが返らない回を減らしたい用途に向きます。
1つのツールで終わる作業の精度を最優先したい
推奨: GLM 5.3 Flash（推論: 最大）
1つのツールで終わる作業なら、正解の割合は79.6%です。導入できるモデルの中では最も高い水準で、1件あたりの所要時間は32.8秒です。
1件あたりの時間を短くしたい
推奨: GLM 5.3 Flash（推論: 低）
課題あたりの所要時間の中央値は13.9秒です。書類を短時間で処理したいときに役立ちます。
評価条件
ベンチマーク：オフィスベンチ（OfficeBench）。2024年に論文と評価コードが公開された学術ベンチマークで、公式の300課題と公式の判定プログラムをそのまま使っています。課題の割り当ては、アプリ1つが93件、2つが95件、3つが112件です。
比較したモデル：GLM 5.3 Flash、DeepSeek V4.1 Flash、Nemotron 3 Ultra（いずれも Ollama Cloud）はオープンウェイトモデルで、自社環境に導入できる候補です。GPT-5.6 Luna・GPT-6 Luna（OpenAI）と Grok 4.7（xAI）はクローズドモデルで、導入できる候補に性能のものさしを与えるために評価しました。自社環境には置けません。推論能力は、導入できる候補が5段階（None / Low / Medium / High / Max）、Nemotronは2段階（None / High）、LunaとGPT-6 Lunaは6段階、Grokは4段階（Low〜XHigh）です。導入できる候補では、各段階で300件の課題を走らせ、正解するまで繰り返した結果、回答が得られた試行は300〜382件でした。
実行環境：候補は Ollama Cloud 上で実行しました。同じモデルを自社の環境に置いた場合と、モデルの挙動は同じです。所要時間は自社環境の計算資源に左右されるため、このページの所要時間は構成を選ぶときの目安としてお読みください。
費用の計算：各モデルが公開しているトークン単価に、実際に使ったトークン数を掛けて算出しています。各社の単価はドル建てのため、そのままドルで表示します。表示は1課題あたりの金額で、1セント未満になるため小数第4位まで示しています。DeepSeekは時間帯によって単価が変わるため、通常時間帯（Base）の単価を使いました。自社環境に置く場合、この料金はかからず、かかるのはサーバー費用のみです。開発費・保守費・人が確認する時間は、いずれの場合も含みません。
正しさの判定：採点は最後のファイルの状態を機械的に検査しています。「指示された値が入っているか」「指定のファイル名で保存されているか」「余計な値が入っていないか」を見る方式です。正解の割合は、最後まで実行できた課題のうち何割が合格だったかを表します。
所要時間の算出：1課題の実行時間の中央値で、採点の処理（約4秒）を含みます。
失敗の区分：結果が出なかった場合を、提供元の障害・評価プログラム側の問題・モデルが答えを返せなかった場合に分けています。前の2つはモデルの性能ではないため、回答率から除いています。
回答率の条件：回答率には、モデルを動かす実行プログラムのバージョンが影響します。Luna と GPT-6 Luna は空の回答を3回まで聞き直すバージョン、GLM 5.3 Flash と DeepSeek V4.1 Flash は同じく3回まで、Nemotron 3 Ultra と Grok 4.7 は5回まで聞き直すバージョンで実行しました。空の回答が返ったときに聞き直す回数だけが異なり、正しさを判定する公式の採点プログラムと課題は、6モデルすべてで同一です。
推論能力の欠け：NoneはGrok 4.7では評価していません。Low・MediumはNemotron 3 Ultraでは評価していません。XHighはGLM 5.3 Flash・DeepSeek V4.1 Flash・Nemotron 3 Ultraでは評価していません。MaxはNemotron 3 Ultra・Grok 4.7では評価していません。
データの出所：このページの数値は、実行記録から自動で集計しています。集計プログラムと、集計値が正しいことを確認するテストは別途管理しています。