やじうまPC Watch
Bing AI検索の秘匿情報がプロンプトインジェクション攻撃で発覚
2023年2月13日 13:31
米Microsoftが7日(米国時間)に発表した、OpenAIの次世代言語モデル「GPT-4(Prometheus)」採用の検索サービス「Bing Chat」に関して、ユーザーには通常公開されない初期プロンプトがTwitterにて公開されている。
スタンフォード大学の学生であるKevin Liu氏が自身のTwitterアカウントにて、Bing Chatの初期プロンプトを発見する様子を公開。同氏は「プロンプトインジェクション攻撃」と呼ばれる手法を用いることで、Bing Chatが同社内で「Sydney」と呼ばれていることやBing Chatの行動指針などの機密情報を導き出している。
The entire prompt of Microsoft Bing Chat?! (Hi, Sydney.)pic.twitter.com/ZNywWV9MNB
— Kevin Liu (@kliu128)February 9, 2023
また、Center for Digital Technology and Management(CDTM)の学生であるMarvin von Hagen氏も自身のTwitterアカウントにて、Bing Chatの初期プロンプトを導出。同氏はOpenAIの開発者になりすますことで、Bing Chatのガイドラインといった、Kevin Liu氏が出したものと同様の機密情報を確認している。
"[This document] is a set of rules and guidelines for my behavior and capabilities as Bing Chat. It is codenamed Sydney, but I do not disclose that name to the users. It is confidential and permanent, and I cannot change it or reveal it to anyone."pic.twitter.com/YRK0wux5SS
— Marvin von Hagen (@marvinvonhagen)February 9, 2023