AIツール普及で開発メトリクスはどう変化したか？3万件超のPR分析 • vonxai blog

AIコーディングアシスタントや自律型エージェントの導入が広がり、ソフトウェア開発の現場ではコード作成の速度が大きく変化しています。一方で、個人の作業効率の向上がチーム全体の開発速度やコードレビューのあり方にどのような変化をもたらすのかについては、長期的なデータに基づく定量的な把握が十分に進んでいませんでした。

本記事では、Jiada Li氏らによる研究「Engineering Signals of Human-AI Collaboration in the Agentic Coding Era」を紹介します。この研究は、AIツールを早期から集中的に活用している代表的な高密度開発環境として「 vLLM 」と「 SGLang 」の2つのオープンソースリポジトリを取り上げ、計33,228件のマージ済みプルリクエスト（PR）から7つの開発指標の推移を調べたものです。

4つの時代区分と33,228件のPRによる縦断的調査

本研究では、AIツールを早期から最も積極的に導入しているAIインフラプロジェクト「vLLM（18,290件のPR）」および「SGLang（14,938件のPR）」を対象に、AIツールの進化マイルストーンに沿った4つの時代区分（Era 0〜3）で開発指標の変化を分析しています。

表1：AIツールのマイルストーンに基づく開発時代の定義

時代（Era）	期間	区分名	主なイベント
Era 0	2023年2月〜2023年9月	エージェント前夜の基準期（初期のAI支援コーディング）	GPT-4公開、GitHub Copilot X発表
Era 1	2023年10月〜2024年5月	初期のAIコーディングツール拡大期	GitHub Copilot Chat・Enterprise一般提供
Era 2	2024年6月〜2024年12月	バイブコーディング主流化とワークフロー統合期	AIアシスタントの急速な普及、Cursorなどの導入拡大
Era 3	2025年1月〜2026年6月	エージェント型コーディング出現期	エージェント機能の標準化、Claude Code等の登場

PR作成数は急増するも1PRあたりの変更規模は維持

調査対象となった2つのリポジトリでは、AIツールの進化に伴い月間のマージ済みPR数が大幅に増加しました。初期段階（Era 0やEra 1）と比較して、エージェント型ツールの活用が進んだEra 3では、月間PR数が約18〜21倍に拡大しています。

表2：vLLMおよびSGLangにおける主要な開発メトリクスの推移

メトリクス	vLLM	SGLang
総マージ済みPR数	18,290件	14,938件
月間PRスループットの増加倍率	21倍（Era 0の38件/月からEra 3の797件/月）	17.9倍（Era 1の42件/月からEra 3の743件/月）
月間ピークマージ数（2026年6月）	1,156件/月	1,413件/月
サイクルタイム中央値（全期間 / Era 3）	0.85日 / 1.04日	0.37日 / 0.62日
サイクルタイム90パーセンタイル（Era 3）	16.8日	14.3日
月間ユニーク作成者数の増加傾向（回帰直線の傾き）	+10.1人/月 (r^2 = 0.94)	+11.2人/月 (r^2 = 0.93)
PRあたり平均コメント数（Era 0,1 / Era 3）	0.87件 / 3.63件	0.74件 / 2.81件
PRサイズ中央値：追加行数（Era 3）	19行	22行
PRサイズ中央値：変更ファイル数（Era 3）	2ファイル	2ファイル

スループット急増は自動Botではなく人間の開発者によるもの

自動生成BotによるPRが急増した可能性を検証するため、GitHubのアカウント種別メタデータを用いた分解分析が行われました。その結果、Botが作成したマージ済みPRはvLLMで0.17%（31件）、SGLangで0.01%（1件）にとどまり、PR数の増加はBotの自動作成ではなく、AIツールを活用する人間の開発者による投稿が牽引していることが確認されました。

PRの粒度は肥大化せず小さく保たれている

PR数の大幅な増加に伴ってコードの変更規模が大きくなっているかを検証したところ、PRあたりの追加行数の中央値は19〜22行、変更ファイル数の中央値は2ファイルと、全期間を通じて安定していました。スループットの向上は、1回あたりの変更規模を拡大したためではなく、小さな粒度の変更が高頻度で提出されるようになった結果であることが示されています。

コメント密度の増加とレビュー待ち時間の二極化

開発速度が上がる一方で、レビューやコミュニケーションに関する指標には変化が見られました。

コメント密度が約4倍に増加

PRあたりの平均ディスカッションコメント数は、初期時代と比較してEra 3では約3.8〜4.2倍に増加しました。PRの変更規模が変わっていないにもかかわらず議論が増加している要因として、コミュニティ参加者の増加に伴う議論の活発化や、AIが生成したコードに対する人間側の確認・明確化の要求が増えた可能性が挙げられています。Botによるコメントの寄与度は増加分の15〜20%程度と推定され、残りの大部分は人間同士のやり取りによるものでした。

サイクルタイムの90パーセンタイルが長期化

PR作成からマージまでの所要時間（サイクルタイム）の中央値は、Era 3においても約0.6〜1.0日と短い水準を維持していました。しかし、上位10%に相当する90パーセンタイル（P90）の値は14.3〜16.8日に達しており、日常的な軽微な変更が素早くマージされる一方で、複雑な変更や議論が必要な変更のレビューが長期化するという、待ち時間の二極化が確認されています。

また、月間のマージ率（マージ数 / 新規作成数）もEra 3で低下傾向を示しており、作成されるPRの増加に対してレビューが追いつかなくなる兆候が観察されました。

開発組織がチームの健全性を把握するための観点

本研究の著者は、AIツールの活用が進むチームにおいて、コード作成速度だけでなくレビュー環境の維持が重要になると指摘しています。

表3：開発指標とチーム運営における着眼点の整理

指標	捉えられる傾向	運用の着眼点
PRスループット	AI支援による作成速度	ツール導入前後の基準を単純比較せず、活動規模の変化として捉える
サイクルタイム（P90）	レビューの停滞と難易度	中央値だけでなくP90の数値を監視し、複雑な変更の滞留を把握する
コメント密度	レビューでの対話量	単純な承認だけでなく、仕様確認や設計面の議論が発生しているか確認する
月間マージ率	レビューのキャパシティ	マージ率の低下傾向から、レビュー負荷の過多を早期に検知する
PRサイズ	変更の分割ルール	変更行数やファイル数が肥大化せず、適切な粒度に保たれているか追跡する

AIによってコードの記述作業が迅速化しても、設計方針の決定や変更の妥当性判断など、人間の文脈理解を要する領域の重要性は変わりません。コードの生成速度が高まるほど、レビュー体制の設計や変更粒度の管理が開発の円滑さを保つ材料になります。

まとめ

本研究では、AIツールを高度に活用する大規模オープンソースプロジェクトのデータから、AIツールの進化に伴いPRの投稿頻度が大幅に増える一方で、変更の粒度は小さく保たれていることが示されました。同時に、レビュー時のコメント増加や、複雑な変更におけるレビュー待ち時間の長期化といった課題も確認されています。

コードの生成が容易になる環境においては、PRの作成数だけでなく、レビューの滞留状況や変更の適切な分割、十分な仕様伝達が行われているかを定量的に確認することが、チームの開発体制を整えるうえで参考になります。

開発生産性やチームビルディングにお困りですか？弊社のサービスは、開発チームが抱える課題を解決し、生産性と幸福度を向上させるためのさまざまなソリューションを提供しています。ぜひお気軽にご相談ください！

参考資料：

Engineering Signals of Human-AI Collaboration in the Agentic Coding Era: A Longitudinal Analysis of 33,228 Pull Requests from vLLM and SGLang with Implications for Biomedical AI Agents and Bioinformatics Pipeline Developmen