AIチャットの新機能「マルチモーダル」を攻略するプロンプトのコツ

2024.2.23

こんにちは。チャエンです。

今回は、最近さまざまなAIチャットサービスに導入されるようになったにもかかわらず、意外と知られていない「マルチモーダル」、特に画像解析技術を使うプロンプトエンジニアリングのコツについて説明します。

文章ベースのプロンプトでは、「深津式プロンプト」「ゴールシークプロンプト」「Few-shotプロンプティング」「Chain-of-Thought（CoT）プロンプティング」など、より効果的に生成AIから回答を引き出す、さまざまな手法が公開されています。しかしマルチモーダル（画像解析）のプロンプトエンジニアリングの手法は、まだそれほど多くは公開されていません。

そこで、そんな謎のベールに包まれたマルチモーダルのプロンプトエンジニアリングについて深掘りしていきます。プロンプトの実例も紹介するので、ぜひ最後までご覧ください。

マルチモーダルとは？

マルチモーダルモデルは、複数の異なる種類や形式のデータ（テキスト、画像、音声など）の情報源の関連性や文脈を理解し、複合的なタスクを実行することができるモデルです。

マルチモーダルモデルの利点は、テキスト・画像・音声など1種類の入力に特化している単一（シングル）モダリティのモデルよりも、豊かな情報処理が可能になることです。

例えば、自分で撮った料理の写真を元に、その料理に関する文章を作成することができます。画像の視覚的情報（色、形、構成）とテキスト情報（食材、調理法、味の記述）を統合させることで、より具体的で魅力的な内容のコンテンツが完成します。

既に、ChatGPTやGoogleのGemini（旧Bard）ではこのマルチモーダル機能が使えるので、それぞれの機能や特徴を見ていきましょう。

マルチモーダル機能が使える主要チャットボット

ChatGPT

ChatGPTのマルチモーダル機能活用事例を2つ紹介します。

1. 画像に関する質問への応答

ユーザーがアップロードした画像に関して質問をすると、ChatGPTはその画像を分析し、関連するテキスト情報に基づいて回答することができます。

例えば、ユーザーが風景画をアップロードし、「この絵はどの時代のものですか？」と質問すると、ChatGPTは画像のスタイルや特徴を分析し、推定される時代や背景情報について回答できます。

ゴッホの「星月夜」をアップロードして質問してみた例

2. テキストからの画像生成

ユーザーが特定のテーマやキーワードに基づいて画像のアイデアを要求すると、ChatGPTはテキストの指示を解釈し、それに合わせた画像を生成することができます。

例えば「平和な森の風景」というリクエストをすれば、ChatGPTはその描写に適した静かで穏やかな森の画像を生成することが可能です。

ChatGPTに「平和な森の風景」をテキストで指示して描かせた結果

Gemini（旧Bard）

Geminiのマルチモーダル機能でできる事例も2つ紹介します。

1. 画像をもとに物語を考える

Geminiを使えば、既にある画像から物語を生成できます。

例えば、犬の画像をGeminiにアップロードすると、以下のようなストーリーを生成します。

「ある日、海岸で犬と猫が遊んでいました。犬はボールを追いかけて走り回り、猫は砂浜で穴を掘っていました。

犬はボールを投げて、猫に追いかけさせました。猫はボールを追いかけて、犬の足元に持ってきました。犬はボールをまた投げ、猫はまた追いかけました。

二人は、ボールを投げ合ったり、砂浜で追いかけっこしたりして、とても楽しそうに遊んでいました……」

この例では、Geminiは画像から描かれているものを特定し、それらのオブジェクトがどのような動きをしているのかを推測して説明しています。

Geminiに画像から物語を生成させたところ

2. 画像から商品の情報を取得

Geminiは、アップロードした画像をもとに、商品の情報を取得することができます。

例えば、テレビの画像をGeminiに提示すると、「テレビの型番は、LG OLED65C1PJAです。サイズは65インチです。価格は184,800円です。」とGoogle 検索の「画像で検索」に相当する情報を取得することができます。

GeminiとChatGPTの画像解析の違いは？

ChatGPTとGeminiに同じ画像をアップロードし、どのような出力の違いが起こるかを確認してみました。

1. 文字起こし（OCR）

ChatGPTに作成してもらった以下の文章をキャプチャーし、画像から文字を起こしてもらいます。

ChatGPT
以下のようにしっかりと出力することができました。

Gemini
Geminiでも同じ画像と同じプロンプトで試してみたところ、文章の文字起こしだけでなく、プラスアルファの知識まで教えてくれました。

2. 表の文字起こし
次はExcelで作成した以下の表を画像化して、文字に起こしてもらいます。

ChatGPT
以下のようにしっかりと出力することができました。

Gemini
Geminiでも同じ画像と同じプロンプトで試してみました。表をまるまる文字起こしするのではなく、カテゴリー別で出力されました。

簡単な文字起こしや表データの解析などは、どちらも簡単にできる印象です。各所で発表されているベンチマークのテストを見ても、双方に大きな差はないようです。

Googleがオススメするマルチモーダルプロンプトの工夫5選

49 件

チャエン

株式会社デジライズ代表取締役、GMO AI & Web3株式会社顧問
AIシステム開発・販売を行う株式会社デジライズをはじめ、他数社の代表取締役。GMO AI & Web3株式会社など他数社の顧問も兼任。Twitterはフォロワー8.6万人。日本初AIツール検索サイト「AI Database」やAIニュースレターも運営。ABEMAやTBSテレビなどメディア出演も多数。Twitter: @masahirochaen