本文へスキップ

LLM利用における開発者の「依存」と「過信」の実態:119名へのアンケート調査

公開日

開発生産性
LLM利用における開発者の「依存」と「過信」の実態:119名へのアンケート調査
•••

ChatGPTやGitHub Copilotをはじめとする大規模言語モデル(LLM)は、ソースコードの生成やデバッグ、ドキュメント作成など、Web開発の現場に深く浸透しています。開発効率が高まる一方で、エンジニアがAIに過度に頼ることで思考力や自主性が低下するのではないかという懸念も示されています。

本記事では、カルガリー大学のRonnie de Souza Santos氏らによる研究論文「Exploring Dependence, Overreliance, and Addiction Related Behaviors Associated with Large Language Model Use Among Software Engineers」をもとに、現役のソフトウェアエンジニア119名を対象に行われた調査結果を解説します。LLMに対する「依存」「過信」「依存症関連行動」の実態と、開発チームが配慮すべきポイントを紹介します。

調査の概要:119名のエンジニアを対象としたアンケート調査

本研究は、エンジニアのLLM利用における行動変化を解明する目的で実施されました。17カ国・119名の現役エンジニア(経験年数1〜10年以上、フルスタックやデータサイエンティストなど多岐にわたる職種)を対象に、定量設問と自由記述を組み合わせたアンケート調査を行い、記述統計とテーマ分析を用いて解析しています。

論文では、分析にあたって技術利用に伴う行動パターンを以下の3概念に分類して整理しています。

概念定義の要点主な動機主な行動への影響
依存業務効率化のための習慣的利用利便性、ルーチン化批判的思考や自主性の変化
過剰依存能力を超える過度な信頼精度への信頼、意思決定コスト削減検証の省略、誤った判断
依存症悪影響が生じても制御できない利用衝動、感情調整機能障害、不快感、制御不全

表1:人間と技術の相互作用における3概念の定義

業務効率化に伴う「機能的依存」:作業時間増加への懸念が中心

調査の結果、最も顕著に見られたのは「機能的依存」のパターンでした。回答者の過半数が、日々の開発タスクでLLMの利用を頻繁に検討し、業務ルーチンの中に計画的に組み込んでいると回答しました。

定性テキストの分析において、LLMが一時的に利用不能になった場合の影響について質問したところ、45名の参加者が「作業速度の低下」「手間の増加」「効率の低下」を挙げました。例えば、ある回答者は「生産性が下がり、いくつかのタスクを完了するのにより多くの時間がかかるようになる」とコメントしています。

この結果は、エンジニアがLLMを使えなくなったからといって業務を遂行できなくなるわけではなく、手動での検索やドキュメント確認に戻ることで「作業が遅くなる」ことを示しています。つまり、ここでの依存は病的なものではなく、業務を円滑に進めるための実用的な適応結果として機能していると解釈されます。

また、感情的な側面として、作業中に行き詰まった際や不確実性を減らしたい場面でLLMを活用するエンジニアが多く見られました。特に中堅(ミドルレベル)のエンジニアにおいて、思考や計画、不確実性の緩和目的でLLMを利用する傾向が強く現れています。

コードのデプロイは回避しつつも「情報探索の過信」が進行

「過剰依存」に関して、論文では「生成されたコードの扱い」と「情報探索での優先度」の2つの側面から分析を行っています。

コードの扱いに関する質問では、人間によるレビューなしでLLMが生成したコードを本番環境へ反映することに対して、大半のエンジニアが慎重な姿勢を示しました。「非クリティカルなタスクのみ認める」あるいは「一切認めない」とする回答が主流であり、生成物を無検証でそのまま受け入れるような極端な過信は限定的でした。

しかし、情報探索のプロセスにおいては異なる挙動が確認されました。公式ドキュメントの参照や同僚への相談、会議(Q7, Q8)よりも先に、まずLLMに質問して解決策を探す行動パターンが高頻度で報告されています。

図1:過剰依存に関する設問の回答分布 図1:過剰依存に関する設問の回答分布

さらに、回答者をキャリアステージ別(エントリーレベル、ミドルレベル、シニア)に分類して集計したデータ(図2)によると、行動パターンに明確な違いが現れています。

図2:経験年数別の過剰依存に関する回答分布 図2:経験年数別の過剰依存に関する回答分布

経験年数別の分析によると、公式ドキュメントやピアレビューよりLLMを優先する傾向は、エントリーレベルやミドルレベルで高く、シニア層では相対的に低い数値を示しました。一方、同僚への相談や会議を省略してLLMに頼る傾向については、ミドルレベルで最も高く現れています。

この結果は、生成されたコードの最終検証においては独立した判断力を維持しているものの、日常の課題解決や知識獲得のスタート地点としてLLMへ頼る姿勢が若手から中堅層を中心に定着しつつあることを示しています。

「依存症関連行動」は限定的:強迫性ではなく目標指向の使用

近年、AIツールへの「中毒」や「依存症」に関する議論が一般的になされていますが、本調査におけるエンジニアの記述からは、病的な強迫行動や深刻な機能障害を示す証拠はほとんど確認されませんでした。

アンケートの選択式設問では、「予定より長い時間使ってしまう」や「LLMを使えないと落ち着かない」といった項目に高めの頻度を選択する回答が見られました。しかし、オープンエンド(自由記述)の回答を詳細に分析すると、その実態は強迫観念によるものではないことが判明しました。

LLMが使えない場合の対応として、35名の回答者が「仕事への影響はほとんどない」「Google検索やStack Overflowなどの従来手段に切り替えるだけである」と回答しています。感情的な不快感や苛立ちを表現した回答者はごく一部に限られていました。

行動の原動力は不必要な執着ではなく、「タスクを効率的に達成したい」という実用的・目標指向の動機に基づいています。したがって、定量的な設問で高い頻度が記録された項目についても、臨床的な依存症として解釈するのではなく、高い生産性を追求する活動に伴う副次的な行動として理解することが妥当であると論文では結論付けられています。

開発チームが意識したい3つのポイント

本研究の結果は、Web開発を行うエンジニアやマネージャーにとって、AIツールとの付き合い方を再検討するための手がかりとなります。

1. 機能的依存を前提としたスキル維持の設計

エンジニアが生産性向上のためにLLMを活用するのは自然な流れです。チームとしてLLMの利用を一律に制限するのではなく、ツールが利用できない環境や特殊なトラブルシューティングの場面でも対応できるよう、基礎的なデバッグ能力やドキュメント読解力を維持する機会(コードレビューやアーキテクチャ議論など)を確保することが推奨されます。

2. 信頼のキャリブレーションの推進

コードを無検証で本番反映しない意識は共有されているものの、一歩手前の情報収集段階でLLM以外の一次情報(公式ドキュメント、ライブラリのソースコード、同僚の知見など)を参照しなくなる傾向が見られます。チーム内で「どのようなケースで公式ドキュメントを確認すべきか」「どの段階で同僚へ相談すべきか」といったガイドラインを共有し、バランスの良い情報探索を促すことが有効です。

3. キャリアステージに応じたサポートの調整

調査結果が示す通り、ジュニア・ミドル層とシニア層ではLLMに対する依存や情報の優先度に違いが存在します。若手エンジニアに対しては、AIの回答を鵜呑みにせず背景の仕組みを学習するよう指導する一方で、シニアエンジニアに対してはルーチン作業の自動化を促すなど、熟練度に合わせた利用ガイドラインの設定が求められます。

なお、本調査は119名の自己申告型アンケートに基づく定性研究であり、統計的な一般化を目的としたものではありません。また、実際のコード品質や操作ログを直接測定したデータではない点に留意する必要があります。

まとめ

本論文の調査から、ソフトウェアエンジニアによるLLMの利用実態について以下の点が明らかになりました。

  • エンジニアのLLM利用は「機能的依存」が主流であり、作業効率を高めるための合理的な適応として機能している。
  • 本番コードの無検証反映といった極端な過信は避けられているが、公式ドキュメントや同僚よりもLLMを優先して参照する「情報探索の偏り」が見られる。
  • メディアなどで懸念される病的な「AI依存症」の兆候は限定的であり、多くは目標達成のための実用的な利用にとどまっている。

AIツールを活用して開発スピードを維持しつつも、エンジニア自身の判断力やチーム内のコミュニケーションを損なわない設計を行うことが、これからの開発組織に求められます。


開発生産性やチームビルディングにお困りですか? 弊社のサービス は、開発チームが抱える課題を解決し、生産性と幸福度を向上させるためのさまざまなソリューションを提供しています。ぜひお気軽にご相談ください!

参考資料:

執筆・編集: vonxai編集部

Google Scholarで開発生産性やチーム開発に関する論文を読むことが趣味の中の人が、面白かった論文やレポートを記事として紹介しています。