正直に言うと、このニュースを見た瞬間の自分の感想は「ああ、シンギュラリティが着々と近づいてきているな」でした。AIが自分自身の開発の4分の1以上を担うようになった、と聞けばそう思うのも無理はありません。ただ、一次資料まで遡って中身を見てみると、「いや待て待て」と言いたくなる話でした。今回はAnthropicが2026年9月17日に発表した「Claudeが自社の研究開発(R&D)業務の26%を主導している」という指標を、実際に読み解いてみます。
何が発表されたか
Anthropicは自社の研究所内で、AI(Claude)が自社の次期モデル開発業務のうちどれだけを担っているかを継続測定する「R&D Automation Index」という指標を公開しています。2026年8月時点のデータとして、「Claudeが研究開発タスクの26%を”主導(leads)”している」という結果が報告されました。推移を見ると、2月時点は1%未満、5月に12%、7月に22%、そして8月に26%と、段階的に伸びてきています。
「主導」の定義がわりと限定的
ここで重要なのが、「主導」の定義です。Anthropicは自動化の度合いを6段階のスケールで評価しており、今回の「主導(leads)」はそのうちの1段階を指します。
- 1段階下(collaborates): 人間の緊密な監督のもと、AIが作業の大きな部分を担う
- 主導(leads): 高レベルの指示だけで、AIがタスクの大部分をエンドツーエンドで完了する。ただし人間は結果を監督する
つまり「主導」とはいえ、完全な自動運転ではなく「人間が最終チェックする体制は残したまま」というのが実態です。全自動化とは似て非なる話、というのは押さえておきたいポイントです。
この数字、どこまで信用できるか
記事化するにあたって一次資料を確認したところ、二次報道ではあまり触れられていない、この指標そのものの限界についての記述がありました。
測定は、社員の一部をサンプリングし、Claude自身が抽出した約15,000件のタスクを、これまたClaudeベースの判定モデルが評価する、という仕組みです。ここでAnthropic自身が明かしている数字が興味深く、AIによる判定と人間による判定の一致率は59%、人間同士の判定の一致率にいたっては35%しかありません。つまりそもそも「これは”主導”と言えるか」という判断自体が、人間が見てもかなり割れる、あいまいな線引きだということです。
Anthropicも「この指標が測っているのは”モデルに何ができるか”ではなく”モデルがどう作られているか”」と、限定的な位置づけであることを明言しています。さらに、この指標自体まだ外部の第三者評価者による検証は行われておらず、Anthropicは今後追加していく方針だとしています。自社の物差しで自社を測っている段階、という点も割り引いて見ておく必要がありそうです。
インフラ現場にとっての意味
華々しい数字が一人歩きしがちなニュースですが、実態は「人間の監督は残る」「判定基準自体があいまい」という、意外と地に足のついた話でした。AIエージェントの導入効果を社内で報告する際も、同じ罠にはまりがちです。「AIが◯%のタスクを自動化した」という数字を出すときは、その判定基準がどれだけ客観的か、他の人が同じ作業を評価しても同じ結果になるか、を一度疑ってみる価値があります。
次のアクション
派手な数字を見たときほど、まず「その数字は何をどう測ったものか」を確認する習慣が効きます。AIエージェントの導入判断でも、効果測定の指標を作る側になったときほど、この視点を忘れないようにしたいところです。
コメント