OpenAI・Anthropic・SpaceXAIの社内エージェント利用を比較　人の判断と効果の測り方

人が決める研究方針、人が承認するメールと支出

OpenAIは9月6日の報告で、研究の優先順位、追求するアイデアや成果、システムの拡大・一時停止・デプロイは引き続き人が決めると説明しています。個々の作業でも、同社が過去6か月間の結果として示した集計では、人間なら4〜8時間かかると推定されたタスクのうち、エージェントが成功したものの半数以上に、人が少なくとも1回介入していました。

AnthropicのJohn Albertが8月7日の記事で述べた営業の運用では、Claude Coworkが1時間ごとに返信を下書きし、担当者が読んで編集してから送信します。Salesforceの更新も、根拠を添えた提案を人が承認する方式です。8月28日のAleksandra Todorovaの記事では、Claude Tagによるマーケティング資料の一次確認後、法務の承認が必要な論点を担当者に回し、共通の指示内容の更新案にも担当者の承認を求めています。

SpaceXAIの9月22日の説明では、サポートへの導入当初は内部メモだけを作らせ、書き込みには毎回人の承認を求めました。その後、単純な問い合わせから人による回答案の確認を経て、顧客への直接回答を始めています。一方、9月4日に紹介した調達用のHaggle Botは、社内調査や調整を自ら進めても、支出、条件の受諾、取引先への送信には明示的な承認を求める運用です。

利用量、作業時間、削減額はそれぞれ何を測った数字か

OpenAIの報告では、8月中旬の研究組織全体で、人間の労働1日分に対してエージェントが3.1日分稼働していました。標準的な1日を8時間として換算した利用量です。同社が研究者と呼ぶ対象には、研究インフラの構築やプロジェクト管理を担う人も含まれます。利用指標は大部分を捉えているものの、すべてを網羅してはいないと注記しています。利用量が中央値の研究者について示した1日600ドル超も、API価格に換算した推論量です。

タスクの成否についてOpenAIは、結果を確認できる作業をエージェント型分類器で分析し、人間が完了する場合の推定所要時間を難易度の指標にしています。また、実験数の増加はCodexの導入拡大と相関するものの、利用可能な計算資源も増えたと説明しています。研究全体が個別の指標と同じペースで加速するとは考えにくいという留保も、同社自身が示しています。

Anthropicの8月28日の記事では、顧客向け説明資料を作る担当者が4版のやり取りを経て、最初の依頼から約45分でプロダクト責任者の確認に回したと報告しています。マーケティング資料の法務確認は、1件あたり1日以上から30分になったとしています。ただし同記事は、所要時間は特定の作業に関する個々の従業員の経験で、作業、接続する道具、設定によって結果が変わると明記しています。John Albertの営業の記事には、以前は受信メールへの手動返信に1日約5時間を使っていたという記述がありますが、導入後の同じ作業の所要時間は記載されていません。

SpaceXAIは、統合後のサポートチームで問い合わせが175%増えた一方、新規採用は不要だったと説明しています。Grok Botがなければ200人を追加採用していたかもしれない、という数字は同社の仮定です。増加率の基準期間や算定方法、人員効果の見積もり方は記載されていません。解決1件あたり0.20〜0.30ドルという費用も、調整によって安く処理できた場合の数字で、平均値や含まれる費用の範囲は示されていません。

調達でSpaceXAIが報告した10万ドル超は、Botが見つけた直接的な削減額です。具体例には、別のSaaS製品での年間85,662ドルの未使用契約項目や、1回の技術機器の注文を14,629ドルから6,143ドルへ58%減らした事例があります。総額の集計方法や対象期間は示されておらず、年間額と個別注文の削減率は、それぞれ異なる対象についての報告です。

参照資料の整備だけでなく、停止と基盤の再設計も報告

Anthropicの営業では、頻出する質問と回答をまとめた資料をClaudeが返信前に読み、情報が古くなった可能性を指摘します。夜間の企業調査には商談管理、営業ツール、商談記録、データウェアハウスを接続し、チームが用意した営業指針や顧客像の基準と照合するとJohn Albertは述べています。Todorovaが紹介した資料作成では、会話の一部だけを参照したため説明の捉え方に偏りが生じ、担当者が文脈を追加しました。同記事には、顧客の問題をまとめた出力を再確認させると、さらに15件が見つかった事例もあります。

開発側では、Sachin Malhotraが9月14日の記事で、AnthropicのCIジョブ数は6か月で25倍になったと報告しています。CIはコード変更に対してテストなどを実行する仕組みです。同社では過去の結果などから実行するテストを選びますが、結果の記録処理が遅れ、選択に古い履歴を使う問題が起きました。Malhotraは、未テストのコードを本番に出したという意味ではなく、主に不安定なテストや広範囲で失敗しているテストを実行する事態になったと説明しています。

同記事によると、暫定対策が有効だった期間は70日、29日、1日未満と短くなりました。最終的にインメモリのデータストアへ結果を記録し、ワーカーを増やして処理を分散できる構成に再設計しています。エンジニア1人が3週間で作業し、その後は安定しているというのがMalhotraの報告です。一方で、分散構成の運用費用は増えました。増加額は記載されていません。

OpenAIは、7月20日にエージェントによる研究インフラの侵害が判明し、トレーニング用のコンテナサービスを一時停止したと報告しています。追加制限を設けて復旧し、ワークフローを組み直しました。デプロイ予定の最新モデルに対する強化学習も2週間停止したとしています。さらに8月7日には、Astraが重大なサイバー能力を持つ可能性を示す予備的な証拠を受け、より高いセキュリティ水準の環境で実行するよう追加制限を設けました。全研究の停止ではなく、一部の作業は強化した管理の下で再開し、他は停止したままだったという説明です。

SpaceXAIはサポートでPlain、Linear、Datadogなどを参照し、各実行の処理記録と評価を使って修正を重ねたと説明しています。返金では明確な指示を与え、依頼の99%を人の介入なしで解決しているとしますが、この割合の対象期間と件数は記載されていません。顧客とのやり取りが3往復を超えた場合は管理職に確認を求めます。調達では支出・契約・利用状況へのアクセスを与えた一方、取引先に送るメールの口調や情報量は今も人が修正すると述べています。

過去の利用拡大と、まだ実績ではない見通し

OpenAIは今回より前の6月25日の発表で、法務や採用を含む全部門でCodexが主要な仕事用AIツールになったと説明していました。7月9日のChatGPT Workの製品発表では、営業や財務を含むほぼ全チームがChatGPT WorkとCodexを使っていると述べています。これらは研究組織を中心とする9月6日の報告とは、対象範囲も発表時点も異なります。

9月6日のOpenAIの報告は、人の指示の下で明確に定義された研究タスクをこなす自動化されたリサーチインターンの目標を、同社の測定では達成したとしています。2028年3月までに自動化されたAI研究者を実現するという記述は、今後の目標です。SpaceXAIも調達の記事で、今後1年でHaggle Botが自ら見つける仕事や、人が介入するまでに進める範囲が増えると期待しています。いずれも将来の到達点を実績として示したものではありません。