ChatGPTが登場して時間が経ち、ひとびとの生活に馴染み始め、さまざまな製品にチャットAIが組み込まれるようになりました。 以前からあったチャットbotよりも、より自由度の高いやり取りが可能となったチャットAIは、その自由度を守るために、爆弾の精製方法などの不適切な内容や、機密情報を公開しないように、制作者側で挙動の指定が行われています。

しかし、このチャットAIの制限を突破し、本来公開されない情報を露出させる攻撃が確認されています。

チャットAIへの攻撃は、AIへの指示によって意図しない動作を行わせる【プロンプト・インジェクション】と呼ばれます。
この【プロンプト・インジェクション】によって、被害をもたらすことが確認されています。
■プロンプトリーク
本来なら隠されている、サービス提供側が設定した指示（プロンプト）を露出させる攻撃。
この指示によって、本来なら公開されることのない機密情報が公開されてしまう恐れがある。

■ジェイルブレイク
出力されないようにされている文章を表示するように変更してしまう指示。
非人道的な内容や武器の作り方などを教えてしまう可能性がある。

■敵対的プロンプティング
サービス提供側が特定の単語を表示しないように設定しているフィルターを
文字の分割や記号の挿入によって回避させる指示。

チャットAIへの攻撃を防ぐ方法として、「これをすればとりあえず安心」という防御策は現時点では確立されていません。
攻撃を防ぐためには、以下のような設定で防ぐしかありません。

まず最初の防御策としては、チャットAIの設定です。
・ユーザーの入力制限
・一定の文字列を排除するフィルター機能で攻撃をさせない
・攻撃に使われる特定の文字列が入力された際のルール設定
より細かい設定を提供側が行う必要があります。

利用者も、チャットAIを利用した場合のリスクについて知っておくことで、自身の情報を守ることができます。
・機密情報を入力した際のリスク
・入力制限の設定
・入力された情報の探索や削除できる機能を作る
これらのリスクについて理解した上で、チャットAIを利用するようにしましょう。

チャットAIは進化を続け、より便利になり、ひとびとの生活を支えるパーツになっていますが、やはり利用者が増えていくと悪意ある攻撃者に狙われることも多くなります。
悪意ある攻撃者は、どうにかして情報を引き出そうとして、様々な手段を考え試していくでしょう。

チャットAIを利用する上で、一番の情報漏えい対策は
「外部流出して困る情報は入力しない」という点を守ることです。
チャットAIを利用する場合は、入力しようとしている情報は本当に入力していい内容なのかを確認しましょう。
また、次々と生まれる攻撃方法について知っておくことも、大切な防御策です。