INARY、AI自動選択機能の比較テスト結果を公表――440問で正答率85.00%、回答生成原価0.53ドル

ARMERIA合同会社（福岡県福岡市、代表：中野国弘）は、企業AIビジネスチャット「INARY（イナリー）」のAI自動選択機能「AI Adaptive Orchestrator」について、知識を問う440問を用いた比較テストの結果を公表します。

2026年10月7日時点の計測で、INARYの自動選択は正答率85.00%、440問の回答生成原価0.53米ドルとなりました。同じ問題・出題文を用い、主要6モデルを各社APIの既定設定で利用した結果と比較しています。

■質問に応じて、AIモデルと思考の深さを自動選択
AI Adaptive Orchestratorは、入力欄で「自動」を選ぶと、質問ごとにAIモデルと思考の深さを選択する機能です。今回のテストでは、この自動選択による正答率と回答生成原価を計測しました。

■主な比較結果
・Claude Fable 5.1（高）：正答率84.09%、回答生成原価6.82ドル。INARYの正答率との差に統計的有意差は確認されず、INARYの回答生成原価は92%少ない結果でした。
・GPT-6.1 Sol（中）：正答率85.91%、回答生成原価0.72ドル。INARYの正答率との差に統計的有意差は確認されず、INARYの回答生成原価は27%少ない結果でした。
・GPT-6 Astra（中）：正答率87.05%、回答生成原価3.77ドル。INARYの正答率は2.05ポイント低く、回答生成原価は86%少ない結果でした。

統計的有意差が確認されなかったことは、性能が同等であることの証明を意味しません。今回の結果は、対象とした知識問題と計測条件における、正答率と回答生成原価の比較です。

■計測方法と原価の範囲
対象はSimpleQA 100問、MMLU-Pro 100問、GPQA Diamond 100問、MMMLU 140問（14言語各10問）の計440問です。すべての比較設定で同じ問題・出題文を使用し、Web検索、ツール、INARYのシステムプロンプトは使用していません。

択一問題は回答記号の一致で採点し、SimpleQAはすべての比較設定を同じAI採点役で採点しました。正答率の差は同じ問題どうしで計算し、MMMLUは同じ問題の14言語を一つのまとまりとして95%信頼区間を算出しています。

回答生成原価は、回答生成に使用した入力・出力トークン数に、2026年10月7日時点の各社APIの標準単価を掛けて算出したものです。INARYの自動選択に必要な判定費用（440問で約0.03ドル）は、0.53ドルおよび上記の原価削減率に含みません。これらの数値は利用者向けのサービス料金ではありません。

指定モデルが応答しなかった問題は不正解として数え、その問題の原価は含めていません。比較対象の一部では1～5問の未応答がありました。

■結果の適用範囲
今回の計測は知識問題を対象とした自社テストです。文書作成・読解などの業務全般の性能や、実際の利用料金の削減率を示すものではありません。また、公開問題集を使用しているため、問題が各モデルの学習データに含まれている可能性があります。性能と価格は変わるため、本結果は2026年10月7日時点のものです。

■INARYについて
INARYは、組織の会話・知識・業務ツールをつなぎ、人とAIが同じ仕事の文脈で協働するための企業AIビジネスチャットです。
公式サイト：https://inary.ai/ja/
比較結果・計測条件：https://inary.ai/ja/features/models/

■運営会社・お問い合わせ
会社名：ARMERIA合同会社
代表者：中野 国弘
所在地：福岡県福岡市中央区天神4-6-28 天神ファーストビル7階
お問い合わせ：support@inary.ai