Blockが全二重音声モデル「Dessa」を発表
米Blockは、音声を入力して音声を出力するモデル「Dessa」を研究プレビューとして発表しました。テキストや事前学習済みモデルを使わず、人間の会話音声だけでゼロから学習した点が大きな特徴です。
Dessaは、相手の話を聞きながら同時に発話できる全二重方式を採用しています。Blockは、従来の音声AIで一般的な音声からテキストへの変換を挟まないことで、声に含まれる情報を直接扱えると説明しています。
Dessaの主な特徴
会話のタイミングを音声から学習
実際の会話音声から、発話へ割り込むタイミングや「うん」「なるほど」といった相づちを学習したとされています。推論速度はリアルタイムを上回り、応答待ちが発生しないとBlockは説明しています。
感情や非言語情報を直接処理
Dessaは、感情、皮肉、笑い、いら立ちを示すため息、悲しみに震える声などを直接聞き取り、音声として表現できるとされています。Blockは、声に含まれる感情をAIが十分に理解できないことを安全上の課題と捉えています。
テキストを使わない学習方式
学習に使われたのは人間の会話音声だけで、テキストや事前学習済みモデルは利用していません。Blockは、人間の音声だけで学習し、現実的な会話ができる世界初のAIだと主張しています。
学習にはNVIDIAのGB200 NVL72を1台使用しました。また、LLMと比較して数百分の1の単語量で言語を習得したとされています。
実行環境とデモで示された動作
Dessaは、M4 Max以上を搭載したMacBook Proでローカル実行できます。
公開された英語のデモでは、次の動作が紹介されています。
- 相手が話している途中でも、面白い内容に反応して笑う
- 「もっと大きな声で」という依頼に応じて声量を上げる
- 相手が思い出せない映画のタイトルを補い、会話を続ける
対応言語は明らかにされておらず、記事で確認できるデモは英語のみです。
他モデルとの構成上の違い
記事では、OpenAIの全二重音声モデル「GPT-Live-1」とDessaが会話するデモにも触れています。GPT-Liveは、Web検索や深い推論が必要な処理を別モデルへ委ねる仕組みを採用する一方、Dessaは全ての知識を音声だけから獲得したとBlockは説明しています。
なお、OpenAIはDessaをレビューまたは支持していないとの注記があります。
利用方法と提供状況
現時点では研究プレビューであり、一般提供の時期は未定です。利用開始用のリンクは近日中に公開予定とされています。
Blockは一般提供に先立ち、少数のAI安全性研究者へ早期アクセスを提供し、想定外のリスクを調べる方針です。そのため、記事の情報だけでは一般ユーザー向けの具体的な導入手順はまだ確認できません。
開発組織
Dessaを開発したのは、カナダの深層学習スタートアップDessaの元メンバーが設立したBlock社内の小規模なAI研究ラボです。同組織は2012年から深層学習モデルに取り組み、8年以上にわたり生成音声モデルを開発してきたとされています。
