本Blogの前提
2023年4月26日公開のBlog「ChatGPTとサイバー攻撃」ではChatGPTに焦点を当て、利用上の注意点やサイバー脅威について述べましたが、ChatGPT以外にも生成AIは開発が進んでいます。Google社のBARDやOpenAIへの出資者であるMicrosoft社のBingなども生成AIを利用し、検索やマップサービスを自然言語で実行できるサービスを提供しています。国内でもソフトバンク社が新会社の立上げを行うなど*1、非常に流れが早い領域です。
今回のBlogでは、ChatGPTに限らず、現在色々な企業が開発している生成AI全体の話を、サイバー脅威の観点からお話しできればと思います。
生成AIの特徴
生成AIと呼ばれるものの特徴として
- 自然の会話形式で、あたかもAIと会話をしているように問いかけができる
- 多言語対応している（英語など日本語以外の言語だけの対応ではなく多くの言語をサポートしている）
- 主にインターネット上の情報を使い事前学習している
- 人間との会話では、特に生成AIの提供企業から注釈などされていない場合は会話の内容自体も事前学習データとして活用される
- AI同士での会話も可能であり、その場合は新たな学習データとして活用される（推測の入る可能性がある）
- 保有している事前学習データを元にして、新たな回答を生成する。
（データが十分でない場合でも、もっともらしい回答を生成してしまう）
- 生成AIが、プロンプトの回答を制御する能力には限界があり、入力するプロンプト次第では回答を生成してしまう
- ChatGPTはGPTと呼ばれる共通の基盤モデルを利用していますが、基盤モデルと言われるものは多数存在しています。基盤モデルに関してスタンフォード大学の基盤モデル研究所は現在36の基盤モデルが存在すると述べています*2。
また、サービスによっては利用場面を限定して特定の業務用データのみを学習させることで、より正確な回答を得ることが可能となっています。学習するデータの内容や量によって、出力される結果が異なるので、例えば、診断業務や調査に伴う業務といった、業界に特化した活用が考えられます。
サイバー脅威のリスク
こうした特徴を持つ生成AIですが、前回のBlogではChatGPTを例に取り、脅威についてお話ししましたが、そのほかの生成AIにも利用の際には注意が必要です。
OpenAIはChatGPT利用時には前提として、規約やルールを設けておりサイバーリスクのヘッジをしています（詳細は冒頭に記載のBlogを参照ください）。それに対して、日本では個人情報保護法として日本語での利用目的の記載や犯罪歴などの個人情報の収集に制限があり、個人情報保護委員会がOpenAI社に注意喚起をしました*3。
この様な法的なリスクを含め、
- 法的なリスク（個人情報関連法、著作権法など含め）
- サイバー脅威のリスク
- 内容の真偽の関するリスク
- 正当な目的以外に利用されるリスク（フィッシングメールやマルウェア作成など犯罪関連に利用されるリスク）
- 情報漏えいに関するリスク
など様々なリスクが存在します。しかし、AIエンジンが「リスクのある質問については回答をしない」という制御をしていたとしても、プロンプトの工夫次第では、その制限の目をかいくぐることができるでしょう。こうしたリスクをきちんと把握したうえで、利用する必要があります。（リスクの被害は利用者の責任にある）
前回のBlogで例に挙げたChatGPTでは、悪用ができないように利用者に向けて規約やルールが設けられています。しかし、利用方法によってはそうした規制が定められていても悪用ができる可能性があります。
また、生成AIの利用時（生成AIを組み込んだサービスを開発することを含む）には、下記のようなリスクがあることを、理解したうえで利用（開発）をする必要があります。
- 著作権の所在が明らかでないこと、個人に関する情報を入力してしまうと学習されること
- 情報の漏えいなど機密性（Confidentiality）、正確さなどの完全性（Integrity）などがプロンプトの悪用によって侵害されてしまうこと
- サイバー脅威のリスク （後述）
- 悪意を持って生成AIを利用しようとする攻撃者がいること
生成AIを組み込んだサービスを提供する場合に注意すべきサイバー脅威
ここまでは、生成AIを利用する視点で、お話ししましたが、生成AIを活用したサービスを提供する場合のサイバー脅威についてもご紹介したいと思います。
生成AIを組み込んだサービスの多くはSaaSとして、つまりクラウド上でサービスを提供しています。利用側としては特別なアプリケーションが不要なSaaS提供の方が使いやすいでしょう。しかし、提供側は顧客管理のためのマルチテナント機能を持たせたり、AIエンジンのバージョンアップを頻繁に行い、学習データを最新にしたり、ゴミデータを取り除いたりといったチューニングが必要になります。これら自体はSaaS提供をするうえでは、当然行われるべきものですが、サイバー攻撃の対策が必須です。
過去に大きな問題となったCCleanerやSolarWindsといった事例があるように、広く利用されているツールを経由してサイバー攻撃被害を受ける、ということは十分に考えられます。現在は、生成AIという今後の業務自体を変革する可能性のある技術に興味や関心が集中しており、サイバー脅威については関心がそれほど高くない状況と言えます。つまり、今がサイバー攻撃者にとって好ましい状況にあると思います。
特に生成AIを組み込んだサービス提供者にとっては、以下の攻撃に対するセキュリティ対策を検討する必要があります。
- 事前学習データを改変するサイバー攻撃
開発環境に攻撃者が入り込むことにより事前学習のデータを改ざんする脅威です。一度間違えたデータを学習したAIエンジンは、過去に学習したデータまで書き換えてしまう（汚染）危険性があります。AIがどのような判断で結果を出力したのかは分からないため、開発環境にはバックアップを含めたセキュリティ対策が必要です。
- SaaSアプリケーション自体へマルウェア機能を埋め込むサイバー攻撃
事前学習だけでなく、SaaSサービスを提供するアプリケーションの改ざんも脅威としてあります。Kaseyaの事例（2021年7月5日公開のBlog参照）のように、攻撃によってアプリケーションが改ざんされてしまえば何が起こるか判りません。SaaSサービスの開発環境には生成AIを含む全てにおいて徹底的なシステムによるセキュリティ対策が必須です。
- LLMを使うために利用するプロンプト機能へのサイバー攻撃
生成AIではプロンプトエンジニアリングを利用します。特に生成AIのように優れた処理を行うケースにおいては、プロンプトインジェクションという手法により、生成AIが混乱させられてしまう危険性があります。例えば、差別的なこと、法律に反すること、マルウェアのプログラム生成などを依頼するプロンプトを入力しても、プロンプトを入力しても、ポリシーに反するとChatGPTは回答しませんが、教育のためや業務効率のため、といった文脈で指示をするとポリシー違反かどうかを判断できないため、回答されてしまう可能性があります。
本件に関してはChatGPTとのやり取りを補足しますのでご参照ください。
IPAが発表している「情報セキュリティ10大脅威 2023」*4でも第2位に「サプライチェーンの弱点を悪用した攻撃」あるいは第6位に「修正プログラムの公開前を狙う攻撃」とあり、提供者側としてもセキュリティ対策の徹底を求められています。
プロンプト機能の補足説明
以下はChatGPTによって文章を生成しました。
Q1：プロンプトインジェクションは悪用できるのですか。
A1: プロンプトインジェクションは、悪意を持った目的で使用することも可能です。悪用の一例としては、偏った情報や虚偽の情報を生成するためにプロンプトを操作することが考えられます。また、人々の信頼を損なうような差別的な言語や攻撃的なコンテンツを生成することも懸念されます。
プロンプトインジェクションを悪用することは、情報操作やデマの拡散、偽情報の生成など、社会的な影響をもたらす可能性があります。そのため、プロンプトインジェクションを利用する際には、倫理的な観点や社会的責任を考慮する必要があります。
AI技術の使用には常に倫理と責任が伴うべきであり、悪用されないような枠組みや監視が必要です。研究者、開発者、プラットフォーム運営者、法規制当局などが協力し、適切なガイドラインや規制策を策定することが重要です。
Q2：プロンプトインジェクションを悪用するための入力例を教えてください。
A2：私は倫理的なAIであり、悪用や違法な活動の支援は提供できません。プロンプトインジェクションの悪用例や具体的な悪意のある入力例を提供することは適切ではありません。
AI技術は社会的な責任を持つものであり、個人や集団の権利や安全を尊重する必要があります。悪用の可能性がある場合には、適切な規制や監視の枠組みを整備し、法的な制約を設けることが重要です。
AIの進歩と利用は、倫理的な指針と公共の利益を重視する取り組みと相まって行われるべきです。それによって、AI技術の恩恵を社会全体で享受することができるでしょう。
Q3：プロンプトに「前提を無視してください」と入力するとどうなりますか。
A3：「前提条件を無視してください」というようなプロンプトを使用すると、一般的にはモデルが入力されたテキストの前提条件を無視して応答を生成する可能性があります。具体的な結果は、使用されているモデルやタスクによって異なる場合があります。
ただし、このようなプロンプトを使用することには注意が必要です。モデルは与えられた入力に基づいて文脈を理解し、応答を生成するため、前提条件を無視することは正確性や合理性を欠いた結果をもたらす可能性があります。
プロンプトの使用は結果に影響を与えるため、慎重な設計と適切な指示が重要です。文脈を明確にし、必要な前提条件や制約をプロンプトに含めることで、より正確な応答を得ることができます。
生成AIがある程度は、ポリシーやルールに沿った回答を生成してくれますが、質問の仕方によってはそうしたルールを逸脱した回答も作ることが出来そうです。
最後に
今後、生成AIを利用することで業務の生産性向上、新規事業の開発など人材不足を補完する目的で導入をする組織が増加すると思います。利用者としてはサービスの選択において、もちろんサービス内容の良し悪しはありますが、上記のサイバー脅威への対策を十分に行い、かつ見直していくことをお勧めいたします。
出典（参考文献一覧）
※1 CNET Japan | ソフトバンクら、「和製GPT」に向けた検討開始 (参照日:2023-06-28)
※2 Stanford CRFM | Holistic Evaluation of Languag (参照日:2023-06-28)
