AIベース・ツールのアルゴリズムが原因となる不当利得返還リスクを理解する

ニール・ホッジ[*]

　企業は、AI技術がもたらすと約束されているさまざまなビジネス上のメリットを活用するために、人工知能に多額の投資を行っているが、専門家は、消費者データの潜在的な悪用をめぐって、規制当局からそのような投資が深刻なリスクにさらされる可能性があると警告している。重大な罰則が課される可能性があるだけでなく、規制当局は、企業に対して手間をかけもAIモデルの訓練に使用された特定のデータセットをマイニングして削除するよう強制したり、主要サービスの基盤となるアルゴリズムを完全に廃止するよう要求したりすることもできる。このプロセスは「アルゴリズムが原因となる不当利得の返還」と呼ばれ、AI開発に直接関与していない企業も含め、幅広いビジネスに混乱をもたらす可能性がある。

「適切な同意なしに収集されたデータで訓練されたAI搭載のチャットボットに顧客サービス インフラストラクチャ全体が依存している企業を想像してみてください」と、技術コンサルタント会社USTのチーフAIアーキテクト、アドナン・マスードは述べている。「規制当局が不当利得の返還を要求すれば、企業はコアとなるAIモデルを一夜にして失い、顧客サービス業務が機能不全に陥り、ゼロからやり直さなければならなくなる可能性があります。」

　これまでのところ、この規制ツールが使用されるのは稀で、通常は被害の度合いが高い場合にのみ使用されてきた。しかし、AIの採用が拡大するにつれて、特に自社が使用している最先端のテクノロジーがどのように機能するか、またはどのようなデータで訓練されているかを知っている組織があまりにも少ないため、この状況は変化する可能性があると、アナリティクス研究所教育担当取締役クレア・ウォルシュ博士は述べている。両方の質問に対する答えがなければ、「企業は欲張りすぎている可能性があります」と彼女は付け加えた。

規制の監視が強化される

　アルゴリズムによる不当利得の非常に現実的なビジネスへの影響は、すでにいくつかの事例で実証されている。2019年の注目すべき事例では、米国連邦取引委員会(FTC)が英国を拠点とする政治コンサルティング会社ケンブリッジ・アナリティカに対し、Facebookユーザーの何百万ものデータを本人の承諾なしに収集して開発したアルゴリズムとモデルをすべて削除するよう命じた。

　実際、FTCは近年この分野でかなり積極的に活動している。2021年、エバーアルバムが、ユーザーがアップロードした写真を使用して顔認識技術を構築していたことが判明した後、FTCは同社にモデルと基礎データを削除するよう命じた。同社が適切な同意なしに画像を集めていたためである。翌年、FTCはWWインターナショナル（旧ウエイト・ウォッチャーズ）に対し、適切な親の同意なしに情報を入手していたため、子供向けの減量アプリ・カーボを通じて収集されたデータで訓練されたすべてのアルゴリズムを削除するよう命じた。

　さらに事態を複雑にしているのは、不当利得返還命令の遵守期限が通常短く、時には90日以下であることである。これにより、業務の中断が現実となる見通しがでてくる。

　医療、金融サービス、法執行機関などの分野は、保有する機密データの量と、特に顔認識と差別的な偏見の点で引き起こされる可能性のある危害のレベルにより、明らかに最も危険にさらされている。しかし、AIモデルを構築するために消費者データに大きく依存している他の業界も精査されている。よくある誤解は、企業ユーザーはサードパーティのAIソリューションに対して責任を負わない、または偏見、エラー、幻覚のリスクを軽減するためにそれらのソリューションの導入を監視する責任を負わないというものである。しかし、AIを導入する者は誰でも、そのテクノロジーの使用方法、そのテクノロジーが活用するデータ、そしてそれが生成する出力に対して責任を負う。

リスクマネジメント行動

　多くの組織がAIベースのツールをサードパーティベンダーに大きく依存することになるため、企業はテクノロジーを開発する際にデータ倫理とプライバシーの懸念が適切に対処されていることを確認するために質問する必要があると専門家は警告している。

　最初のステップは、データの出所、データの収集方法、AIモデルの訓練方法を追跡する機能、つまりデータの出所を確認することである。「企業はベンダーからAIモデルやデータセットを購入することがよくありますが、データの出所が明確にわからないと、そのデータが不適切に取得されたことが判明した場合、大きなリスクにさらされることになります」とマスードは述べている。

 マスードは、AIガバナンス戦略の一環として、企業はAIツール、特に自社開発ではないツールのリスク評価を定期的に実施すべきだとアドバイスした。こうした評価では、AIの技術的健全性だけでなく、特に偏見、プライバシー、潜在的な規制に対するリスクに関して、倫理的コンプライアンスも評価する必要がある。

　さらに、企業はコンプライアンスの金銭的および技術的負担に備える必要がある。「モデルの再訓練にかかるコストは、サービスや製品の潜在的な遅延は言うまでもなく、莫大なものになる可能性があります」とマスードは述べた。「代替データソースやバックアップモデルなどの緊急時対応計画を用意しておくことが重要です。」

　ソフトウェアプロバイダーのワン・トラストでプライバシーおよびデータガバナンス担当上級副部長兼総支配人を務めるオジャス・レゲによると、AIの最大の課題の1つは、モデルが不適切または非準拠のデータで訓練された場合、モデル自体を最初に戻さない限り、このデータを「学習解除」できないという事実である。これは、組織がこれらのモデルの訓練に使用しているデータの完全な整合性を「事前に、そして設計上」確保する必要があることを意味する。そうしないと、プライバシー、セキュリティ、倫理上の問題に関する苦情に直面する可能性がある。これはまた、企業がAIの仕組みについて、事後に解明するよりも実装前に保証を求める方が簡単であるという事実を強調している。レゲは、アルゴリズムによる不正使用の排除が「今後数か月でより頻繁に発生するようになると予想しています。特に、同意なしに取得されたデータがモデルの訓練に使用される場合はそうです。」

　専門家は、執行が強化される可能性を考えると、企業はAIリスクマネジメントに積極的に取り組む必要があると警告している。生成AIは偏見、エラー、幻覚を起こしやすいことは広く認められているため、「損害は予見可能です」と、法律事務所カーステンス・アレン・グーリーの顧問ロバート・W. テイラーは述べている。つまり、企業は効果的なコンプライアンスおよびリスクマネジメントプログラムを導入していること、およびベストプラクティスに従っていることを示し、これらの予見可能な損害を軽減するために合理的にできることはすべて行っていることを示す必要がある。

　効果的なコンプライアンスプログラムを確立する際には、AIベースのツールの使用事例について、包括的かつ総合的な法的リスク評価を実施することも重要である。この評価の一環として、企業は、損害を防止するためのガバナンス/監視計画が、企業がAIを使用する方法と理由に適しているかどうかを自問する必要がある。

「必要な監視は使用事例によって異なります」とテイラーは言う。「同じサードパーティ ソリューションでも、使用方法によってリスクプロファイルが大きく異なる可能性があるため、ソリューション自体ではなく、使用事例、つまりサードパーティ ソリューションの使用方法に焦点を当てる必要があります。」

脆弱性の重要な領域

　コンサルティング会社アルバレス&マーサルの紛争および調査業務担当最高責任者ジェレミー・ティルスナーによると、企業が警戒する必要がある重要な領域は3つある。1)AI専門家ではない者の使用、2)ベンダーがアルゴリズムを原因とした不当利得を返還せざるを得なくなるリスク、3)未熟な内部監査業務である。

　AI開発ツールがますますユーザーフレンドリーになるにつれ、組織全体でより多くの非専門家ユーザーが「法的および倫理的影響を十分に理解せずに」AIモデルを作成または変更するようになるだろう、と彼は述べた。「これにより、企業が不適切に源泉としたデータを知らないうちにシステムに組み込む可能性が高まり」、さらにアルゴリズムを原因とした不当利得返還のリスクにさらされることになる。

　一方、ベンダーが訓練データの誤用によりアルゴリズムによる不当利得を返還せざるを得なくなった場合、そのベンダーに依存している企業は「連鎖的な混乱」に直面する可能性がある。特にAIが顧客分析、リスク評価、自動化などの重要なプロスを支えている場合はそうなりうる。多くの企業がAIモデルの標準化された効果的な監査手法をまだ開発していないため、AIサービスの構築方法やデータのソース化方法に関する可視性が限られており、不当利得返還のリスクにさらされていると彼は述べた。

 　ただし、アルゴリズムによる不当利得返還は簡単な解決策ではない。データセットからデータを削除するだけでは不十分な場合が多くある。削除後もモデルは訓練に使用したデータを「記憶」し続けるためである。この効果は「アルゴリズムの影」と呼ばれる。プライバシーの侵害に対処するため、規制当局は企業にモデル全体の削除を義務付ける場合がある。これにより、データの誤用から得られた利得がすべて消去され、不正使用による利得の回収が重大な運用リスクとなる。

　欧州の規制当局は、GDPRとAI法によってデータプライバシーとAIの使用に関する法律の制定を主導してきたが、一部の専門家は、米国当局は「執行による規制」に傾きやすいため、アルゴリズムによる不当利得の返還を要求する可能性が高いと考えている。ティルスナーによると、これには2つの理由があると考えられる。第1に、欧州や他の地域よりも米国を拠点とするAIモデルが多いため、米国の規制当局はより積極的な姿勢を取り、必要に応じてアルゴリズムによる不当利得の返還を強制しなければならなかった。第2に、GDPRはコンプライアンスと予防に重点を置いているため、「そもそも機密データがAIモデル構築希望者の手に渡る可能性が低くなります。」

　AIには簡単な「学習解除」オプションがないため、モデルを根本から再構築することなくデータを削除することはほぼ不可能である。その結果、規制当局がモデルの削除を要求すると、「何年もの作業が台無しになり、ビジネス戦略全体が混乱し、利害関係者の信頼が揺らぐ可能性があります」とレゲは述べている。「AIシステムを構築する場合でも購入する場合でも、メッセージは明確です。AIガバナンス、リスク評価、人間による監視に真剣に取り組む必要があります。」

トピック
人工知能、事業中断、コンプライアンス、新興リスク、知的財産、規制、テクノロジー

注意事項：本翻訳は“Understanding Algorithmic Disgorgement Risks of AI-Based Tools ”, Risk Management Site (https://www.rmmagazine.com/articles/article/2025/01/14/understanding-algorithmic-disgorgement-risks-of-ai-based-tools ) January 2025,をRIMS日本支部が翻訳したものです。原文と和訳に相違があるときには、原文を優先します。本文中は敬称略です。
ニール・ホッジは英国を拠点とするフリーランス ジャーナリスト。