AIの幻覚：その理由とコスト、そして軽減策
2024年5月20日、Tony Burgess
あらゆる業界のあらゆる種類の組織が、競うようにして AI の流行に乗ろうとしています。大規模言語モデル（LLM）を搭載したチャットボット、検索エンジン、顧客やユーザーなどと対話するためのツールなどが猛烈なスピードで導入されていますが、多くの場合、この非常に新しいテクノロジーに伴うさまざまなリスクにはあまり注意が払われていません。
バラクーダのソフトウェアエンジニアであるガブリエル・モスは、最近のブログ投稿で、攻撃者がどのようにしてデータポイズニングおよび操作テクニックを用いてLLMを破損し、その結果LLMの所有者に大きな損害を与える可能性があるかを詳細に説明しました。
この記事でガブリエルは、AIの「幻覚（ハルシネーション）」の問題にも簡単に触れています。幻覚もまた、コストを伴う結果をもたらす可能性がありますが、それは人間の攻撃者による意図的な行動の結果ではありません。
ChatGPTは本当にウソをつく？
これは哲学的な問題になってきます。ウソをついていることを知らずにウソをつくことは可能なのか、そもそもウソと真実の違いを理解することはできるのか。いずれにせよ、ChatGPTを含む LLM は、でっち上げることができるのは確かです。
すでにご存じだと思いますが、LLM がクエリーに対して回答をねつ造することを「ハルシネーション」と言います。ケンブリッジ辞書は2023年のワード・オブ・ザ・イヤーに hallucinate を選んでいます。
残念ながら、AI の幻覚は、LLM チャットボットを展開する組織にとっても、エンドユーザーにとっても、本当に有害な結果をもたらす可能性があります。しかし、幻覚を最小限に抑え、それらが引き起こす害を軽減する方法はあります。
私が LLM を利用しない理由
私はかつて、 AI チャットボットにブログ記事の初稿を作成してもらったことがあります。この AI は2016年以前に発表された情報に基づいて訓練されていたため、私はインターネットを使って最新の情報源を探すように指示しました。そして特に、使用した情報源への引用とリンクを含めるように指示したのです。
出来上がってきたのは、それなりに良い小論文でした。文体は淡々としていましたが悪くはなかったですし、指示通り、いくつかのニュース記事や学術雑誌を引用していました。
しかし、引用はすべてでっち上げであることがわかりました。サイトも引用された特定の記事も、実在していたのは１件のみ、しかもその１件からチャットボットが引用した箇所は、記事の中にはない内容だったのです。
その時は驚きましたが、考えてみれば驚くことではありませんでした。こうした LLM は、主に回答を必ず出すという命令によって動いており、それが事実に基づいたものであるべきだということを理解していません。そのため、引用が実際にどのように機能するのか、つまり本当に存在する情報源を正確に引用しなければならないことを知らないまま、形式が整っていてもっともらしい引用を作り出すことができるのです。
以来、私は LLM のチャットボットを「もっともらしいエンジン」と呼ぶようになりました。この呼び名が広まるといいなと思い続けているのですが、今のところその兆候はありません。いずれにせよ、あの事件の後、私はこの歳になっても昔ながらの方法で書き続けることにしました。しかし、適切なファクトチェックとリライトを行えば、 LLM に多くの価値を見出すライターがいることも理解できます。
高いコストのかかった実例
LLM が作成したテキストの引用を、誰もがわざわざチェックしているわけではないため、チェックの不備が時に大きな損失を招きます。たとえば、昨年、米国で2人の弁護士が航空事故による損害賠償請求の裁判書類を提出したところ、事務所とともに罰金を科されました。
提出書類の作成に ChatGPT を使用したことで、存在しない判例を引用していたためです。この訴訟の裁判官は、LLM を調査のサポート的ツールとして使用することについては何ら不適切な点はないと判断しましたが、弁護士は提出書類が正確であることを確認しなければならない、とあえて言う必要のないはずのことを述べました。
似たようなケースでは、ある大学教授が図書館員に、自分が渡したリストから学術誌用の原稿を作成するよう依頼しました。しかし、彼はそのリストを ChatGPT から入手しており、そこに掲載されていた論文は存在しませんでした。このケースでは、教授が恥をかいただけで済みました。
もっと大きな問題になりかねないケースもあります。
- アマゾンは AI が書いたキノコ採集ガイドを販売しているようです。最悪の事態を招きかねません。
- ビングは初公開のデモで、ザ・ギャップとルルレモンに関する不正確な財務データを配信しました。投資家の皆さんはご注意を！(グーグルのバードの最初のデモも同様に恥ずかしいものでした)。
- ニューヨーク市の AI 搭載の MyCity チャットボットは、市の法令や政策をでっち上げていました。たとえばあるユーザーには、家賃未払いでは退去命令は出ないと伝えていました。
- 少なくとも２つのケースで、ChatGPT は実在の人物（セクハラで告発されたとされる教授、贈収賄で有罪判決を受けたとされる市長）を巻き込んだスキャンダルをねつ造し、その人物に実害を及ぼしかねませんでした。
問題を軽減する方法
AIのハルシネーションを察知し排除するためには、ファクトチェックと人間の監視が不可欠であることは明らかです。残念なことに、それはつまりボットが人間の労働者を置き換えることで実現するはずのコスト削減が相殺されることを意味します。
もう１つの重要な戦略は、LLM を訓練するための情報を厳重に管理・統制することです。LLM に指示するタスクに関連した情報を、正確な情報源に限定して与え続けることです。そうすることで、LLM が時に不正確な言葉を並べることを完全に防ぐことはできないにしても、無関係で信頼性の低いコンテンツを使用することによって生じるハルシネーションを減らすことはできます。
ひらたく言えば、 LLM の限界を理解し、過度な期待をしないことが重要です。これらのシステムにはそれなりの役割があり、時間の経過とともに改善されていく可能性もなくはないでしょう（ただし、続きを必ず読んでください）。
悪化するであろう理由
残念ながら、ハルシネーションの問題がなぜ時間とともに悪化する可能性が高いと思われるのか、その大きな理由が１つあります。LLM がより多くの悪質なアウトプットを作成すればするほど、そのアウトプットが LLM の次のトレーニングセットの一部となり、すぐに手に負えなくなるエラーの自己強化ループを生み出すことになるからです。
冒頭で紹介したガブリエルのブログ記事の最後の段落を今一度ここで掲載します。
LLM アプリケーションは、自分自身から学び、互いに学び合います。そして、使われるだけで自分自身や互いのトレーニングセットを不注意に汚染し始めるかもしれない自己フィードバックループの危機に常に直面しています。皮肉なことに、AI が生成したコンテンツの人気と利用が高まるにつれて、モデル自体が崩壊する可能性も高まっているのです。生成 AI の未来は、まだ不確かなことばかりです。
e-Book：「サイバーセキュリティにおける AI の役割に関する CISO の手引き」を入手しましょう
原文はこちら
AI hallucinations: Reasons, costs, and mitigation
May. 20, 2024 Tony Burgess
https://blog.barracuda.com/2024/05/20/AI-hallucinations-reasons-costs-and-mitigation
