AIツール基礎

AI音声詐欺は説得力が鍵、4100人調査で見えたリスクと対策の焦点

AI音声詐欺は説得力が鍵、4100人調査で見えたリスクと対策の焦点のアイキャッチ画像

AI音声による詐欺電話を4100人で検証

米ハーバード大学やMetaなどの研究者は、AI音声を使った詐欺電話に人がどの程度応じる可能性があるかを調査した。対象は米国の成人4100人で、詐欺電話の録音または文字起こしを聞かせ、反応を比較している。

検証にはLlama Full-Duplex、OpenAI AVM、Gemini、Sesame、Play.AI、ElevenLabsの6つのAI音声モデルと、本物の人間の声が使われた。シナリオごとに使用モデルは異なる。

検証された5つの詐欺シナリオ

研究では、事務的なサポート詐欺から、感情や人間関係に訴える手口までを扱った。

  • MasterCardのカード会社を装う
  • Gmailのサポートを装う
  • 寄付を勧誘する
  • 警察を名乗り、親族の保釈金を要求する
  • クローン音声で危機に陥った姉妹を装い、緊急送金を求める

平均16.5%が要求に応じる可能性

全シナリオの平均では、AIによる詐欺電話の要求に「応じる」または「分からない」と答えた参加者は16.5%だった。

特に、個人の感情や人間関係を利用する手口は、事務的なサポート詐欺と比べて、要求に応じるオッズが3倍から5倍以上高かった。

クローン音声のシナリオでは36.1%

ElevenLabsのクローン音声を使い、危機に陥った姉妹を装ったシナリオでは、参加者の36.1%が要求に応じる可能性を示した。ただし、複製されたのは参加者と面識のない人物の声だった。

音声のリアルさより「話の説得力」が影響

研究で、人が要求に応じる要因として示されたのは、声の人間らしさそのものではなく話の説得力だった。緊急性を強調する、同情を引くといったシナリオの内容と伝え方が重要だったという。

これは研究結果として報告された傾向であり、すべての詐欺電話や受け手に同じ割合で当てはまることを意味するものではない。

AI音声モデル別の結果

Sesame

モデル別の比較ではSesameの性能が高く、本物の人間の声と統計的に区別できない水準だった。

ElevenLabs

ElevenLabsは、クローン音声を使った姉妹のシナリオで高い反応率を示した。また研究の収益試算では、成功率が高いモデルとして扱われている。

Gemini

Geminiは、Sesameとともに推論コストが安いモデルとして、詐欺電話の収益性に関する試算で取り上げられた。

AI音声を聞き分けるのは難しい

参加者がAIの声を正しくAIだと判断できた割合は約7割だった。一方、本物の人間の声を聞いた参加者の約67%は、それをAI音声だと誤判定した。

また、ChatGPTなどの生成AIや音声アシスタントを頻繁に使う人と、全く使わない人の間で、AI音声を見抜く精度に差は確認されなかった。

低コスト化が大量実行のリスクを高める

記事によると、ボイスクローン技術は数秒の音声から他人の声を複製でき、LLMと組み合わせることで多数の詐欺電話を同時にかけられる。

米国で人間を雇った場合は1時間当たり約27ドルの赤字になる一方、Gemini、Sesame、ElevenLabsを使う場合は1時間当たり1〜3ドルの黒字になるとの試算が示された。

編集部の整理

以下は研究結果を踏まえた整理であり、元記事に記載された対策ではない。AI音声詐欺のリスクを考える際は、音声が自然かどうかだけでなく、緊急送金や親族の危機といった説得シナリオにも注目する必要がある。声だけで真偽を判断することの難しさが、今回の結果から読み取れる。

出典:ITmedia NEWS「AI音声の詐欺電話、6人に1人が応じる可能性」