公開日
会話型AIはソフトウェアエンジニアの生産性を本当に向上させるのか？Google による実験で分かった意外な結果
ChatGPTをはじめとする会話型AIは、ソフトウェア開発の現場に革命をもたらす可能性を秘めています。コーディング支援、バグ修正、さらには創造的なタスクのサポートまで、その応用範囲は想像を超えるほど広範です。しかし、実際の効果については未知数な部分も多く、本当に開発者の生産性向上に繋がるのか、疑問の声も上がっています。
実験結果と考察
Google Researchは、この疑問に科学的に答えるため、Googleが開発した会話型AIサービス「Bard」を用いて、76人のソフトウェアエンジニアを対象とした実験を行いました。具体的には、Javaプログラミング試験を「Bardあり」（Bardに加えて、従来のドキュメントや検索エンジンも利用可能）と「Bardなし」の2つの条件で実施し、パフォーマンス、効率性、満足度、信頼度を測定。さらに、社内統計データと自己申告アンケートから参加者の専門知識レベルも評価しました。Bardは開発者の生産性を高める救世主となるのでしょうか？それとも、新たな課題を生み出すのでしょうか？
生産性への影響：期待と現実のギャップ
AIの利用は必ずしも生産性向上に直結するわけではないという、複雑な結果が得られました。
図1：専門知識の尺度と生産性指標の相関を示す構造方程式モデル
図1は、客観的な専門知識と試験の最終スコアに正の相関があることを示しています。つまり、専門知識が高いエンジニアほど高いスコアを出す傾向があります。しかし、Bard利用が試験スコアに与える影響は、専門知識レベルと問題の種類によって大きく異なりました。
図2：専門知識レベルと問題の種類によるBard利用の影響
図2から、「解決型」の問題では初心者のパフォーマンス向上にBardが貢献した一方、「検索型」の問題ではBardの効果は限定的だったことが読み取れます。これは、初心者がBardを活用することでコーディング知識の不足を補える可能性を示唆する一方、専門家は既に十分な知識を有しているため、Bardの恩恵を受けにくいことを示しています。
Bard利用による回答時間への影響：必ずしも速くならない？
Bardの利用は、必ずしもタスク完了までの時間を短縮するとは限りませんでした。
| 対象 | Bard利用時(分) | 従来のリソース利用時(分) |
|---|---|---|
| 全ての問題 | 15.11 | 12.92 |
| 解決型問題 | 7.30 | 6.03 |
| 検索型問題 | 7.64 | 7.06 |
表1：Bardと従来のリソース利用時の平均時間比較 (単位:分)
表1の通り、Bard利用は全てのケースで回答時間を増加させています。これは、Bardへの質問入力、回答の吟味、そして必要に応じたコードの修正などに時間を要するためだと考えられます。
AI利用に関する自己評価：高評価の裏に潜むリスク
参加者はBard利用によって多くの時間を費やしているにも関わらず、生産性と効率性が向上したと認識していました。
| ステートメント | Bard利用時 |
|---|---|
| 生産性が高まる | 0.24 |
| タスクを早く完了できる | 0.04 |
| 精神的な努力が少ない | 0.46 |
| 情報や例を探す時間が少ない | 0.51 |
表2：Bard利用に関する満足度調査結果
表2が示すように、参加者はBard利用による生産性と効率性の向上を実感しています。これは、Bardが情報収集や問題解決をスムーズにし、認知負荷を軽減したと感じているためだと考えられます。しかし、この自己評価の高さと、実際の回答時間の増加との間には、見過ごせないギャップが存在します。
AI利用時間の増加とAI依存性：利便性とリスクの表裏一体
Bardの利用時間は、試験を通して増加傾向にありました。これはBardの利便性の高さを示す一方、AI依存性というリスクも同時に示唆しています。
特筆すべきは、Bardの回答が不正確だと認識した場合でも、Bardの利用を継続する参加者が複数観察された点です。例えば、参加者P13は「Bardで正解したのに、次は間違えてしまった。Bardを信用しない方がいいのかも」と発言し、Bardの回答に疑念を抱きつつも利用を続けています。また、参加者P35は「Bardの言っていることは正しくないと思う。たぶんBardを使うのはやめる。だって間違っているから」と述べ、Bardの不正確さを認識しつつも、すぐに利用を停止するのではなく使い続けています。これらの発言は、AIへの過信、自動化への現状満足、そしてAI依存性の可能性を示唆しており、早急な対策が必要です。
| 測定項目 | Bardのみ | 従来のリソースのみ | Bardを追加 | 従来のリソースを追加 |
|---|---|---|---|---|
| 全ての問題 | 15.11 (4.54) | 12.92 (4.78) | 6.66 (3.58) | 4.93 (3.43) |
| 解決型問題 | 7.30 (3.44) | 6.03 (3.16) | 3.45 (2.56) | 2.30 (1.74) |
| 検索型問題 | 7.64 (3.58) | 7.06 (4.02) | 3.31 (2.41) | 2.53 (2.33) |
表3：Bardと従来のリソース利用時の平均時間比較 (単位:分、括弧内は標準偏差)
表3を見ると、Bardを利用した再検討の方が、従来のリソースを利用した場合よりも時間がかかっていることが明らかです。
Bard利用時間の増加は、AI依存性以外にも、以下のような要因が考えられます。
- Bardの利便性: 情報収集や問題解決の効率化。
- Bardの操作への不慣れ: 特に実験初期には、操作に不慣れなため時間がかかる。
- Bardの回答の検証: 回答の正確性を慎重に確認するために、時間を費やす。
- 複雑な質問への対応: 質問内容の整理やBardへの適切な指示に時間を要する。
AI依存性については、回答の正確性やBardの回答の採用率に加えて、インタビュー内容の詳細な分析が必要です。
まとめ：会話型AIは開発者の味方か？
この研究は、会話型AIであるBardがソフトウェア開発にもたらす影響が、単純なものではないことを示しています。Bardは特に初心者にとって有益なツールとなり得る可能性を秘めている一方で、AI依存性や過信といった新たな課題も提示しています。AI技術を最大限に活用し、その潜在能力を引き出すためには、これらのリスクを正しく理解し、適切な対策を講じることが不可欠です。AI依存性対策やAIリテラシー教育の強化は、今後のAIツール開発および開発者育成にとって、最優先事項と言えるでしょう。
開発生産性やAI対応にお困りですか？ 弊社のサービス は、開発チームが抱える課題を解決し、生産性と幸福度を向上させるための様々なソリューションを提供しています。ぜひお気軽にご相談ください！
参考資料: