英国の省、内製LLMツール「Redbox@DBT」の試験評価を公表。時短は文献レビューの平均2.5時間が最大、データ分析は時間増

当初200アカウントを4つの部局グループに割り当て

DBTは当初、4つの部局グループの職員に200アカウントを割り当てました。試験は2024年12月から2025年3月まで行われました。

アカウントの約48%は、無作為に選んだ職員に割り当てました。残りは、所属する部局グループのDeputy Directorが選んだ職員が約16%、志願者が約36%です。

日記調査は、2025年2月の1週間、全アカウント保有者にRedbox@DBTを使った作業の記録を求めたものです。回答は61件で、回答率は28%でした。

利用データの集計では、新しいチャットを始めた人をアクティブ利用者と定義しています。集計期間は試験期間と異なり、2025年2月から5月末までです。この期間の週間アクティブ利用者は平均101人で、最も多かったのは5月の173人でした。

時短は文献レビューの1件あたり平均2.5時間が最大

時短は、Redbox@DBTを使った所要時間と、使わなかった場合の見込み時間の差です。報告書は、出力を使わなかった作業と、Redbox@DBTがあったから行った新しい作業について、時短を調整した値で報告するよう勧めています。この調整で、Redbox@DBTを使えることで生じた追加の作業を考慮できるとしています。

参加者が日記で申告した作業別の時短は、この調整後の値で、文献レビューの1件あたり平均2.5時間が最大でした。文献レビューの記録は2件です。

報告書の要約は、大部分の作業で控えめ（Modest）な時短が見られたとしています。記録の多い作業では、文書の要約（30件）が0.8時間でした。文書の起案（24件）は1.2時間です。

一方、データ分析は記録が1件で、調整前と、出力を使わなかった分の調整後では2.5時間の時短でした。新しい作業の調整を加えるとマイナス0.5時間になり、Redbox@DBTを使った方が時間がかかった値になります。報告書は、データ分析で新しい作業とされたものは、試験初期にRedbox@DBTを試していた参加者によるものだった可能性が高いとしています。

調整後の値がマイナスだった作業は、ほかに「その他」（マイナス0.3時間）と文書の編集（マイナス0.1時間）があります。報告書は、時間が増えた主な原因として、十分な品質の出力が得られなかったことと、Redbox@DBTがあったから行った新しい作業だったことを挙げています。

日記の報告例では、文献レビューとデータ分析はすべて、Redbox@DBTを使ったときの品質確認に、使わずに作業したときより時間がかかりました。

役割を果たす力が高まったとの評価は、利用前の期待を下回る

利用前後の調査では、Redbox@DBTが役割を果たす力を高めるという利用前の期待と、高めたという利用後の評価について、同意の度合いを比べました。同省は、両方に答えた60人の回答を照合して変化を検定しました。

「同意する」は、事前調査の23.3%から事後調査の21.7%に減りました。「ある程度同意する」も、46.7%から30.0%に減っています。

期待と評価の回答の差は、分布と平均のいずれでも統計的に有意でした（Mann-Whitney U検定でP=0.03782、並べ替え検定でP=0.0206）。

同じ前後調査の検定では、AIツールの利用経験の増加も有意でした。LLMへの信頼度の変化は、統計的に有意と判定されませんでした。

ただし試験の間、省内では参加者が使える他のLLMの試験も行われていました。参加者が私生活で他のLLMを使うことも制限されていませんでした。このため同省は、変化をRedbox@DBTの利用だけによるものとはみなせないとしています。

日記調査で満足と答えた割合は59%、推奨度のNPSは0

日記調査の回答のうち、満足またはとても満足は59%でした。不満は約8%、とても不満は2%未満です。26%はこの設問に答えていません。

同僚に勧めたいかを0〜10で尋ねるNet Promoter Score（NPS）は0でした。9〜10をつけた推奨者と、0〜6をつけた批判者が、ともに30.4%だったためです。報告書の付録では、NPSは無回答を除いて計算します。

英国公務員の等級（Civil Service grade）別では、上級公務員（Senior Civil Servants）とGrade 6をまとめた区分の満足度が、ほかの区分より低い結果でした。

日記調査の回答者の約2割がハルシネーションを確認

試験期間を振り返る日記の設問では、19.7%がハルシネーション（事実として示された誤った情報や誤解を招く情報）を確認したと答えました。確認しなかったのは29.5%、分からないは11.5%でした。39%はこの設問に答えていません。

聞き取りでは、ハルシネーションは概して大きな懸念として挙げられず、満足度への影響もわずかでした。ただし、初めて使ったときにハルシネーションに遭った人は再び使おうとしにくくなる、という逸話的な指摘がありました。

出力の確認については、事後調査で約67%が品質確認を「いつも」か「ときどき」行うと答えました。「頻繁に」は24.4%、「行わない」は0.8%です。

費用対効果や環境影響は今後の調査で扱う予定

費用対効果と環境影響は、今回の評価の範囲外です。

報告書によると、同省はAIツールの環境影響を測る方法を開発中で、確定後にRedbox@DBTの環境影響を推計する予定です。

費用対効果は、同省の評価チームが今回の結果とほかのデータを使って測るとしています。評価結果は、Redbox@DBTの利用と開発に関する省内の提言と次の手順に反映される予定です。