公開日
AI開発の信頼性への取り組みはわずか35%：信頼性問題に対する研究調査
AI技術の急速な発展に伴い、AIシステムの責任ある倫理的な運用、つまり「信頼できるAI(TAI)」への関心が高まっています。TAIを実現するためのフレームワークやガイドラインは数多く登場していますが、現場での活用状況や課題については十分に調査されていませんでした。本記事では、Baldassarre氏らによる2024年の研究「Trustworthy AI in practice: an analysis of practitioners’ needs and challenges」に基づき、AI実務家のTAI原則に対するビジョン、実践における課題、そして必要としているツールや知識を探ります。この研究では、アンケート調査と半構造化面接を通じて、34名のAI実務家からデータを収集し、TAIシステム開発における現状と課題を分析しています。
TAI原則の普及と課題
国連教育科学文化機関（UNESCO）や欧州委員会などの国家および国際機関は、AI開発に伴うリスクに対処するため、AI倫理に関する専門委員会を設立し、ポリシー文書の作成に取り組んでいます。 ソニーのAI倫理ガイドライン や Metaの責任あるAIの5つの柱 のような企業も、AIポリシーや原則を公開しています。これらの活動は、TAI原則の策定に向けた多大な努力を反映しています。
しかし、各組織が提案する原則の内容には相違点があり、「原則の乱立」と呼ばれる課題が生じています。この乱立により、どの原則を優先すべきか、原則間の矛盾をどう解決するか、誰がAIの倫理的監督を実施するのか、そして研究者や機関はどのようにガイドラインを遵守するのかといった疑問が生じます。
調査方法と結果
前述のBaldassarre氏らの研究では、TAIシステム開発における実務家の課題とニーズを深く理解するため、アンケート調査と半構造化面接を実施しました。ソフトウェア開発ライフサイクル(SDLC)全体を通してTAIがどのように扱われているかを調査しました。SDLCとは、ソフトウェアの計画、作成、テスト、デプロイ、そして保守までの全工程を指す言葉です。この研究では、34名のAI実務家からデータを収集し、定量的および定性的データ分析を行いました。
TAI原則に関する知識と意識
調査の結果、実務家がプロジェクトで最もよく遭遇するTAI原則はプライバシー(回答数20)で、次いで透明性(18)、セキュリティ(17)でした。公平性(13)は最も経験が少ない原則という結果になりました。これは、公平性に関する問題を認識していない、あるいは対処の必要性に気づいていない可能性を示唆しており、さらなる調査が必要です。
またTAI原則への取り組みは、設計・開発フェーズに集中しており、要件定義やデプロイフェーズでは低い傾向が見られました。
SDLCフェーズごとのTAI原則への取り組み状況
TAI問題への予防策
調査では、説明可能なAIアルゴリズムの利用が最も多く報告されました。悪意のあるデータポイントの注入は、最も少ない予防策でした。
TAIにおける信頼性を確保するために採用された戦略
TAI問題の発見
TAI問題の発見には、メトリクス/KPI、ユーザーフィードバック、AI/MLモデルの入力特徴の検証が主要な戦略として使用されていました。
TAIにおける信頼性の問題を発見するために採用された戦略
TAI問題への対処
TAI問題を発見したチームのうち、実際に問題に対処したのは35%のみでした。15%は第三者に委託し、残りの50%は問題に対処していませんでした。その理由として、時間や費用、パフォーマンスへの影響などが挙げられています。
考察と提言
これらの結果から、実務家はプライバシーと透明性を重視する一方、公平性への取り組みは不足していることがわかります。また、TAI問題への対処はビジネス上の制約に阻まれるケースが多く、SDLC全体を通したTAI実装を支援するツールや知識のニーズが高いことが明らかになりました。特に、モデルのトレーニング後に説明を生成するツール、SDLC全体をガイドするベストプラクティス集、TAIに関する知識を集約したナレッジブックといったリソースへのニーズが高いことが示されました。加えて、デプロイ後のモデル監視ツールも重要視されています。
IT業界と研究コミュニティへの提言:
- SDLC全体でのTAI原則の考慮: 設計・開発だけでなく、要件定義やデプロイを含むSDLC全体でTAI原則を考慮する必要があります。
- TAI問題への積極的な対処: ビジネス上の制約を克服し、発見されたTAI問題に積極的に対処するための戦略が必要です。
- 実務家向けのガイドライン、ナレッジベース、ツールの提供: SDLC全体をサポートする実用的なガイドライン、ナレッジベース、そして前述のようなツールを開発し、提供する必要があります。既存のツールも認知度が低いため、周知徹底も重要です。
結論
本研究は、TAIシステム開発における実務家の課題とニーズを明らかにしました。プライバシーと透明性の重視、公平性への取り組み不足、ビジネス上の制約によるTAI問題への対処の遅れ、そしてSDLC全体をサポートするツールや知識への強いニーズが明らかになりました。これらの知見は、TAIの実装を促進し、責任ある倫理的なAIシステムの開発に貢献するでしょう。
開発生産性やAI対応にお困りですか？ 弊社のサービス は、開発チームが抱える課題を解決し、生産性と幸福度を向上させるための様々なソリューションを提供しています。ぜひお気軽にご相談ください！
参考資料: