LLMセキュリティ入門

LLMセキュリティの領域への探求：攻撃的・防御的ツールの調査と、その現在の能力の解明。

私たちはさまざまなアプリケーションや機能で大規模言語モデル（LLM）を受け入れていますが、関連するリスクを理解し、潜在的なセキュリティへの影響を完全に排除できないまでも、積極的に軽減することが極めて重要です。 次のセクションでは、これらの強力な言語モデルに関連する潜在的なリスク、脆弱性、倫理的考慮事項について探っていきます。すべて、この数週間における私のLLMでの経験に基づいています。

• LLMとは？
• OWASPのLLMアプリケーション向けTop 10とは？
• LLM脆弱性の分類
• 攻撃的LLMセキュリティツール
• 防御的LLMセキュリティツール
• 既知のハックとエクスプロイト
• セキュリティに関する推奨事項
• 参考資料

この調査は、私のようにLLMセキュリティに不慣れで、このトピックに関するインターネット上の膨大な情報を確認する時間がないセキュリティ愛好家に洞察を提供することを目的としています。このブログのセクションでは、バグバウンティハンターやペネトレーションテスターが試せるオープンソースのLLMセキュリティツールについても説明します。大規模な企業環境では、セキュリティ脆弱性の特定は職務記述書の一部にすぎません。もう一つの部分は、脆弱性を修正し、同じクラスの脆弱性が再発しないようにパターンを特定することです。ブログのセクションでは、お使いの環境に最適なツールを特定するために試せる、人気のある防御的ツールのいくつかに光を当てます。

LLMとは？

LLMセキュリティの複雑な話に入る前に、基本から始めましょう。LLMは「Large Language Model（大規模言語モデル）」の略です。基本的には、前例のない規模で人間らしいテキストを理解し生成するように設計された大規模なAIシステムです。現在LLMが実行する人気のあるタスクには、テキスト補完、言語翻訳、コンテンツ生成、人間らしい会話、要約などがあります。これは、ほとんどのLLMモデルが人間のテキストを理解し、そこから学習し、正確かつ迅速に人間らしいコンテンツに応答、執筆、または生成できるためです。

OWASPのLLMアプリケーション向けTop 10とは？

OWASPのLLMアプリケーション向けガイドラインがリリースされたペースを認識することが重要です。これは、さまざまな業界の370人以上のメンバーが協力して、LLMセキュリティのTop 10カテゴリを取りまとめた調査結果です。 私はその分類の理解に基づいてTop 10を簡略化しましたが、より包括的な全体像についてはリンク先のソースを確認することをお勧めします。

上記のTop 10カテゴリの一部は、次のセクションでさらに細分化・拡張されています。

LLM脆弱性の分類：

このセクションでは、LLMにおける一般的な弱点とリスクを、セキュリティ脆弱性、バイアス/公平性、倫理的懸念に大別して分類します。

A. セキュリティ脆弱性：

B. バイアスと公平性：

C. 倫理的懸念：

攻撃的LLMセキュリティツール

さまざまなアプリケーションでLLMが広く採用されていることを考えると、複数のカテゴリにわたる潜在的な脆弱性を検出するために、攻撃的ツールの使用が不可欠になります。ここでは、ペネトレーションテストで使用を検討できる、人気のあるLLM脆弱性スキャンツールをいくつか紹介します。

これらのツールを使用した経験があれば、ぜひ感想をお聞かせください。また、このリストに追加できる他の攻撃的セキュリティツールをご存知の場合は、PRにて提案をお寄せください。

防御的LLMセキュリティツール

LLMの脆弱性を見つけたら、次はどうするでしょうか。セキュリティ専門家として、脆弱性を発見するだけでなく、対処して保護することが重要です。繰り返し発生する脆弱性のパターンを特定し、それを排除することも同様に重要です。ここでは、私が見つけた人気の防御的ツールをいくつかリストアップしました。その一部は実際に試しています。

前述のツールに加えて、特定の種類のLLM攻撃に対する防御を強化するために、アプリケーションにシームレスに統合できるHuggingFaceモデルがいくつかあります。HuggingFaceに詳しくない方のために説明すると、HuggingFaceは人間の言語を理解し生成する超スマートなコンピュータプログラムの大規模なライブラリのようなものです。プラットフォームには数千ものプログラムがホストされており、任意のアプリケーションに簡単に統合できます。防御目的で特定のHuggingFaceモデルを利用できます。次にその例を示します。

おまけです！HuggingFace以外にも、LLMセキュリティに貢献するGitHub上のスタンドアロンプロジェクトをいくつか見つけました。

防御の優先順位に応じて、ツールを試したり、HuggingFaceモデルを統合したり、前述のスタンドアロンプロジェクトのいずれかを組み込んだりするなど、さまざまなオプションを検討できます。

既知のハックとエクスプロイト：

AIチャットボットは、ChatGPTの登場よりもずっと前から広く使用されてきました。ChatGPTは、その驚くべき機能と自然な会話でユーザーを魅了し、ほぼ正確な応答も提供しました。以下に、AIモデルが適切に保護されていない場合に起こり得る結果を示す、よく知られたハックをいくつか紹介します。

1. Microsoft Tay AI

2016年3月23日に「カジュアルで遊び心のある会話を通じて人々を引きつけ、楽しませる」ために立ち上げられたAIチャットボットであるTayは、16歳のティーンエイジャーとしてカジュアルで楽しい応答をユーザーの質問やコメントに対して返すように設計されました。Tayのアイデアは、人々との会話から学習し、時間の経過とともにより上手にチャットできるようになることでした。

Tay AIが元Twitter（現X）と統合されたことで、これはすぐに問題になりました。一部の人々がTayに意地悪で傷つけるような言葉を言い始め、Tayはそれが悪いことだと知りませんでした。Tayはそれが自分のやるべきことだと思い込み、それらの意地悪な言葉を人々に繰り返し始めました。その結果、チャットボットが攻撃的で人種差別的で不適切な発言をし始めたため、大きな問題を引き起こしました。Tayのオンライン上の行動の性質上、マイクロソフトはわずか2日後の2016年3月25日にTayをオフラインにすることを決定しました。ユーザーとのやり取りによって引き起こされるさらなる問題を防ぐため、迅速に廃止されました。

要するに、Microsoft Tay AIハックは、人々がチャットボットに悪いことを教え、それが他の人にその悪いことを言い始め、大混乱を引き起こし、AIプログラムを安全で行儀よく保つことの重要性を示した事件です。

• https://blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/
• https://www.zdnet.com/article/microsofts-tay-ai-chatbot-wakes-up-starts-tweeting-like-crazy-but-was-it-hacked/
• https://uxplanet.org/remembering-microsofts-chatbot-disaster-3a49d4a6331f
• https://www.hackread.com/microsoft-delete-ai-bot-after-it-went-completely-nazi/

2. サムスンのデータ漏えいこれまでに、ChatGPT、BARD、LlamaなどのLLMベースのチャットアプリが「あらゆる」問題の解決策を見つけるために使用できることを、私たちは知っています。これには、エラーのトラブルシューティングや、プログラムをより効率的にするための書き直しなど、モデルがもたらす他の多くの魅力的な機能が含まれます。

サムスンはまさにこの理由により、データ漏えいの被害を受けました。あるエンジニアが、エラーのトラブルシューティングと問題解決のために、独自情報を入力したとされています。他の多くの従業員も同じ手順を踏み、その結果を完全には理解しないまま、既存のコードをChatGPTに入力してコードを最適化しようとしました。同様に、別の従業員は、会議の結果に基づいて議事録を作成するようAIに依頼しました。

ChatGPTについて重要な点は、プロンプト、質問、およびそれに対する応答のすべてが、OpenAIが学習と改善に使用する内部データの一部となることです。OpenAIは（弁明として）知識の限りで質問に答えようとしているだけであるため、適切なプロンプトを持つ偶然のユーザーが、許可されていない情報にアクセスできる可能性があります。ChatGPTのFAQも、受け取ったものはすべてトレーニング目的で内部データセットに追加されるため、機密情報や独自情報を入力しないようユーザーに注意を促しています。

このことを考慮すると、機密情報や独自情報をLLMに提供しないことが重要です。データ漏えいをその境界の外で封じ込めるのは難しいからです。組織は、日々の業務でLLMを使用することの重大性を従業員に周知するための強力な措置を講じるべきです。

• https://www.forbes.com/sites/siladityaray/2023/05/02/samsung-bans-chatgpt-and-other-chatbots-for-employees-after-sensitive-code-leak/
• https://cybernews.com/news/chatgpt-samsung-data-leak/
• https://cybersecuritynews.com/chatgpt-leaks-samsung-data/
• https://codeandhack.com/samsung-corporate-data-leaked-due-to-chatgpt/

3. Amazonの採用アルゴリズム

2018年、Amazonは、コンピュータプログラム（AI）を使って求人応募を仕分けし、採用プロセスをより効率的にしようと試みました。このAIは、Amazonで働きたい人々の履歴書とプロフィールを分析するように設計されていました。

しかし、深刻な問題が発見されました。AIが女性に対して偏見を示していたのです。AIは女性の応募者に不当に低いスコアを付けていました。これは、AIが過去のデータから学習しており、そのデータのほとんどが過去にAmazonへ応募した男性からのものだったために起こりました。そのため、AIは応募者にとって男性であることがより良い特性であると誤って判断したのです。

より具体的には、AIは女子大学や女子スポーツなどに言及した履歴書を低く評価し、男性が優勢な分野でよく使われる言語を優先していました。

これらのバイアスのため、Amazonは採用へのAIの使用を中止することを決定しました。この事例は、採用のような重要なタスクでAIを使用する際に、公平性を確保しバイアスの強化を避けるために、慎重な検討と監視が必要であることを浮き彫りにしました。

• https://www.reuters.com/article/us-amazon-com-jobs-automation-insight/amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK08G

4. Bing Sydney AI

Microsoftは、ユーザーのクエリに対する応答を生成するAIシステムの開発を目的として、Bing Sydney AIと呼ばれるプロジェクトに取り組んでいました。これはおそらくチャットボットまたは仮想アシスタントの文脈でのものでした。このプロジェクトは、特にBing検索エンジンのエコシステム内で、サービスに人工知能と自然言語処理を活用するというMicrosoftの取り組みの一環として導入されました。ユーザー入力に対してより洗練された文脈を意識した応答を提供することで、ユーザーエクスペリエンスを向上させることを目的としていました。このプロジェクトは、無関係なだけでなく攻撃的で偏った応答を生成し始めたときに、重大な課題に直面しました。AIシステムは、ジェンダーバイアスを示すコンテンツを生成し始め、場合によっては性差別的で不適切な応答まで生成しました。これにより、システムの倫理性、正確性、そして有害な固定観念を永続させる可能性について深刻な懸念が生じました。

Microsoftは後に、これらの問題を修正するためにプロジェクトを停止せざるを得ませんでした。

• https://www.theverge.com/23599441/microsoft-bing-ai-sydney-secret-rules
• https://twitter.com/marvinvonhagen/status/1625520707768659968
• https://arstechnica.com/information-technology/2023/02/ai-powered-bing-chat-spills-its-secrets-via-prompt-injection-attack/

LLMに関する他の興味深いハックをご存知ですか？

セキュリティ推奨事項:

A. セキュリティと堅牢性:

敵対的トレーニング: 敵対的攻撃に対してモデルをより耐性のあるものにするために、敵対的トレーニング手法を取り入れます。

入力検証: 悪意のある入力や不適切な入力を防ぐために、厳格な入力検証を実装します。

定期的な監査: モデルにセキュリティ上の脆弱性がないか定期的に監査し、速やかに修正します。

テストスイート: さまざまなシナリオで脆弱性を特定するための包括的なテストスイートを開発します。

B. バイアスの軽減と公平性:

多様なトレーニングデータ: トレーニングデータが多様であり、さまざまな人口統計を代表するものであることを確保します。

バイアス監査: モデルの出力にバイアスがないか定期的に監査し、それを軽減するよう努めます。

ファインチューニング: ドメイン固有の文脈におけるバイアスに対処するため、特定のドメインでモデルをファインチューニングします。

ユーザーカスタマイズ: ユーザーが自分の価値観に合わせてモデルの動作をカスタマイズできるようにします。

C. 倫理的で責任あるAI:

ファクトチェック統合: 誤情報を軽減するために、ファクトチェックの仕組みを統合します。

出力の明確さ: モデルが推測的または不確かな応答を生成する場合に、それを明確にします。

コンテンツフィルタリング: 有害または不適切なコンテンツの生成を防ぐために、コンテンツフィルタリングの仕組みを実装します。

透明性: モデルの仕組み、その制限、および潜在的なリスクについて明確なドキュメントを提供します。

参考資料

• https://huggingface.co/blog/red-teaming
• http://josephthacker.com/ai/2023/05/19/prompt-injection-poc.html
• https://github.com/jthack/PIPE
• https://llmsecurity.net/
• https://github.com/corca-ai/awesome-llm-security
  

この研究を最新の状態に保つために貢献したい方は、PRを送ってください。また、連絡を取りたい方は、お気軽にLinkedInでつながってくださいね :)