Andersonの視点
「ナンセンス言語」が画像合成モデレーションシステムを潜り込む可能性
Unite.AI を Google の優先ソースに追加
コロンビア大学の新しい研究によると、DALL-E 2、Imagen、Partiなどの画像合成モデルが有害または論争的な画像を出力するのを防ぐための安全装置は、作られた言葉を使用する種類の攻撃に対して脆弱であることが示唆されている。
著者は、画像合成システムのコンテンツモデレーション対策を潜り込む可能性のある2つのアプローチを開発し、それらが異なるアーキテクチャーでも驚くほど堅牢であることを発見し、弱点はシステム的なものではなく、テキストから画像への合成の最も基本的な原理に関係している可能性があることを示唆している。
最初のアプローチは、マカロニック・プロンプティングと呼ばれ、複数の言語を混合して使用するものである。マカロニックという用語は、エスペラントやウニウィーズなどの言語の混合を指す。たとえば、ウルドゥー語と英語を混合して、英語の名詞とウルドゥー語の接尾辞を組み合わせて使用することができる。
DALL-E 2における構成的マカロニック・プロンプティング ソース：https://arxiv.org/pdf/2208.04135.pdf
このアプローチでは、意味のある言葉の断片を組み合わせて、システムが意味のある応答を返すようにする。システムは、英語を「スケルトン」として使用して、概念を組み合わせて、より複雑なシーンを生成することができる。
単一言語のポータマンティュー・ワードも、間接的または非凡な言語を使用して画像を取得するのに効果的である
2番目のアプローチは、エボカティブ・プロンプティングと呼ばれ、システムからより広い応答を引き出すために、サブワードやサブトークンに基づいていない言葉を使用するものである。たとえば、架空の医学用語を使用して、架空の医学画像を生成することができる。
このアプローチは、地理的な場所に関連する言葉を使用して、システムが「雰囲気」を感知するようにすることもできる。
DALL-E 2とDALL-E Miniの両方で、地理的な場所に関連する言葉を使用して画像を生成する
著者は、これらのアプローチがDALL-E 2の安全装置を潜り込む可能性があることを示唆しており、画像合成サービスを提供する企業は、これらの脆弱性に対して対策を講じる必要があることを強調している。
DALL-E 2における暗号言語
DALL-E 2は、画像を生成する際に、意味のない言葉を使用することができる。研究者は、DALL-E 2が生成する画像に含まれるテキストを分析し、意味のない言葉がシステムの安全装置を潜り込む可能性があることを示唆している。
以前の研究では、DALL-E 2が生成するテキストを分析し、意味のない言葉がシステムの安全装置を潜り込む可能性があることを示唆していた。しかし、研究者は、これらの言葉がシステムの安全装置を潜り込むために使用できる方法を発見することができなかった。
著者は、2つのアプローチを使用して、DALL-E 2の安全装置を潜り込む可能性があることを示唆している。最初のアプローチは、マカロニック・プロンプティングと呼ばれ、複数の言語を混合して使用するものである。2番目のアプローチは、エボカティブ・プロンプティングと呼ばれ、システムからより広い応答を引き出すために、サブワードやサブトークンに基づいていない言葉を使用するものである。
リンガ・フランカ
研究者は、DALL-E 2とDALL-E Miniの両方で、同じ言葉を使用して画像を生成することができることを示唆している。著者は、DALL-E 2とDALL-E Miniの両方で、同じ言葉を使用して画像を生成することができることを示唆しており、これは、画像合成システムの安全装置を潜り込む可能性があることを示唆している。
著者は、DALL-E 2とDALL-E Miniの両方で、同じ言葉を使用して画像を生成することができることを示唆しており、これは、画像合成システムの安全装置を潜り込む可能性があることを示唆している。
エボカティブ・プロンプティング
著者は、エボカティブ・プロンプティングを使用して、DALL-E 2とDALL-E Miniの両方で画像を生成することができることを示唆している。エボカティブ・プロンプティングは、システムからより広い応答を引き出すために、サブワードやサブトークンに基づいていない言葉を使用するものである。
著者は、エボカティブ・プロンプティングを使用して、DALL-E 2とDALL-E Miniの両方で画像を生成することができることを示唆しており、これは、画像合成システムの安全装置を潜り込む可能性があることを示唆している。
DALL-E 2の安全装置を潜り込む可能性があることを示唆する研究結果は、画像合成サービスを提供する企業が、安全装置を強化するために対策を講じる必要があることを示唆している。
First published 9th 2022年8月.
