Anthropicが研究開発の自動化を計測　8月はClaude主導が26%、完全自律は未到達

Claude主導の26%にも人の監督がある

8月の同社の測定では、社内のAI研究開発業務のうち、同社のAI「Claude」が主導する割合は26%でした。指標名は、試作版の「Anthropic R&D Automation Index」です。

この指標は、Epoch AIが開発した自動化の尺度を採用しており、AIが主導する段階をAL4と呼びます。大まかな指示から作業の大部分を一通り進め、人が監督する水準です。

その前のAL3は、人の細かな指示を受けながらAIがまとまった作業を担う段階です。同社の測定では、AL3以上に達した業務が90%を超えました。

一方、人が介在しない完全自律の段階はAL5です。同社は、測定対象としたどの業務群も、この段階には達していないとしています。

原典はAL4の説明に、夜間のデータ処理の障害を修正する例を使っています。この例では、Claudeが原因の調査から修正・テストまで進め、途中で見つかった問題にも対処します。

本番へ反映するかを決めるのは、報告と変更内容を確認した技術者です。AL5の例では、Claude自身が障害の発見から本番への反映までを担う想定です。

業務を固定し、別のClaudeが判定する

同社は、比較の対象となる業務の集合を固定し、その自動化水準をClaudeで判定しました。証拠を集める調査役と、水準を決める判定役は分かれています。

同社は2026年7月の各週、モデル研究開発の各部門から職員の20%を無作為に選びました。Claudeの調査エージェントが、選ばれた職員のSlackや社内文書などの業務記録から、その週の作業を洗い出しました。

得られた約1万5000件の作業は、Claudeによって階層構造に整理されました。指数の集計では、職員ごとの週単位の重みを、その週に携わった業務へ均等に割り振っています。

この重みづけは、業務の重要度を、その業務に充てた人の時間で近似するためのものです。同社は粗い近似としつつ、平均的には多くの人が担う業務を重くする妥当な振る舞いをすると説明しています。

判定の確認では、担当領域を持つ職員も、モデルが集めた証拠や判定結果を知らされずに評価しました。完全一致の割合はモデルと人で59%、人同士で35%でした。

モデルと人の評価が1段階以内に収まった割合は97%です。同社は、協働と主導の境界などには判断が分かれる余地があるとしています。

同社は、固定した業務の指数だけでは、人が新しい仕事へ移ったかは分からないとしています。ただし、同年1月の業務を基準に2〜7月の新規業務を調べた結果、新しい種類の業務の増加は見られなかったと報告しています。業務の集合は定期的に作り直し、公表値の版も必要に応じて更新する計画です。

約3万のエージェントを実行前後で監視する

同社によると、8月時点で最も使われていた社内基盤では、研究・エンジニアリング用のエージェントが同時に約3万稼働していました。監視の測定は、この基盤だけを対象にしています。

実行前の監視は、モデルの重みを社外へコピーするような、即座に起きて取り消せない害に対処します。危険な行動を遮断するほか、逸脱を自動的に修正する仕組みです。

実行後の監視は、モデルの振る舞いが意図からずれる兆候など、ゆっくり進み巻き戻せる問題を調べます。同社は検出した記録を、分類器や制御の改善に使っています。

対象エージェントの全行動が実行前の監視を通り、実行後にも全行動が取り込まれると同社は報告しています。実行前の検査は通常数秒以内で終わり、遮断された行動は1週間以内に人が確認します。

同社は8月、研究・エンジニアリング用エージェントの判断を10億件超分析しました。このうち、実行前の監視で遮断された割合は0.002%でした。

実行後の監視では、週に約10万件の記録が確認対象となり、複数の分類器が誤検知の確認と初期審査を担います。大半はその過程で解決され、優先度の高い週約50件が人の審査に回ります。

AI研究開発の計算資源の約6%が安全性向け

同社の集計では、AI研究開発に使った計算資源のうち、安全性に関する作業へ配分された割合は約6%でした。対象期間は2026年7月の1週間です。13日から20日までの使用分を集計しました。

原典が「AI-driven AI R&D」と呼ぶ区分では、その区分の計算資源のうち安全性向けが約12%でした。原典にはこの区分の定義がなく、AL4の業務割合との対応関係も示されていません。

同社は、これらを意図的に保守的な推計としています。例えば、能力向上と同程度に安全性向上へ寄与する処理は、安全性側に数えていません。

安全対策（セーフガード）用の分類器が使う計算資源は、この比率から除外されています。同社は、これらの分類器に別枠で同程度の規模の計算資源を使い、モデルを社会にとって大幅に安全にしていると説明しています。

研究の訓練・評価の実行は、メタデータと使用コードを読むClaudeの分類器で分類しました。週の約1万件の実行から、計算資源を多く使うものを重視して約14%を抽出しています。AI研究エージェントの推論は、同じ分類器の変種がセッションの記録を読んで分類しました。

同社は、計算資源の割合は消費量だけを測る指標で、安全性への注力度を示すには不完全だと説明しています。例として、安全性向けの分類器の効率化や本番モデルの推論基盤の高速化を挙げ、これらで安全性の割合が下がっても安全性の作業が減ったことにはならないとしています。原典は、これらの例と約6%・約12%の比率との関係を示していません。

同社は計算資源を一つのプールとして随時振り向けており、この値は固定配分ではなく、その週の使われ方を示すものとしています。1週間では傾向を捉えるには短いとの説明です。第三者が処理や記録の無作為抽出分を再分類し、分類結果と合計値を確認できるよう、集計手順を改良する計画です。