コールセンターの会話に対するAIベースの嘘検出器

ドイツの研究者は、機械学習を使用して、コールセンターとサポートスタッフとのオーディオコミュニケーションにおける顧客のためのAIベースの嘘検出器として機能することを目的としたオーディオ分析システムを作成しました。

このシステムは、40人の学生と教師が論争の多いテーマ、たとえば死刑の道徳性や授業料についての討論を行ったオーディオレコーディングの特別に作成されたデータセットを使用しています。モデルは、Convolutional Neural Networks (CNNs) とLong Short-Term Memory (LSTM) を使用するアーキテクチャで訓練され、98%の精度率を達成しました。

研究者は、顧客コミュニケーションが主な目的であることを述べていますが、このシステムは実際には一般的な嘘検出器として機能することを認めています:

‘この研究の結果は、電話での顧客とのやり取りに特に役立つ、幅広いサービスプロセスに適用できます。提案されたアルゴリズムは、エージェントが顧客の信念を知る必要がある状況で使用できます。

‘これにより、保険の不正請求や面接での不正な発言が減少する可能性があり、サービス企業の運用損失を減らし、顧客がより真実を語るよう促すことができます。’

データセットの生成

ドイツ語の適切な公開データセットが存在しなかったため、研究者たちはNeu-Ulm University of Applied Sciences (HNU)から独自のソースマテリアルを作成しました。大学と地元の学校にフライヤーを掲示し、16歳以上の40人のボランティアを選出し、10ユーロのAmazonギフト券を支払いました。

セッションは、強い反応を引き起こし、電話での顧客との会話で発生する可能性のあるストレスを模倣するために、デバイトクラブモデルで行われました。

ボランティアが3分間で自由に話すテーマは以下のとおりでした:

– ドイツで死刑と公開処刑を再導入するべきか？
– ドイツで授業料を徴収するべきか？
– ドイツでヘロインやクリスタルメスなどの強力な麻薬の使用を合法化するべきか？
– ドイツでマクドナルドやバーガーキングのような不健康なファストフードを提供するレストランチェーンを禁止するべきか？

前処理

このプロジェクトでは、オーディオスピーチの特徴を分析する自動スピーチ認識（ASR）アプローチを採用し、言語の「温度」を直接推測するNLPアプローチよりも優先しました。

前処理された抽出サンプルは、Mel-frequency Cepstral Coefficients (MFCCs) という信頼性の高い古典的な方法で初期分析されました。MFCCsは、1980年に最初に提案されて以来、音声分析で広く使用されており、音声の再帰的なパターンを認識するために計算資源を節約し、さまざまなレベルの音声キャプチャ品質に対して堅牢です。セッションは2020年12月のロックダウン中にVOIPプラットフォームで行われたため、音質が悪い場合でもレコーディングフレームワークが必要でした。

VOIP接続のネットワーク状況の制約と、1980年代初頭のCPUリソースの限界という2つの技術的な制約がここで組み合わさって、効果的に「技術的にスパース」なモデルを作成し、高度なリソースや理想的な作業条件が存在しない状況でも驚くほど堅牢性を実現しています。

その後、Fast Fourier Transform（FFT）アルゴリズムを音声セグメントに適用して、各「オーディオフレーム」のスペクトルプロファイルを提供し、最終的にメルスケールにマッピングしました。

トレーニング、結果、限界

トレーニング中、抽出された特徴ベクトルは、時間分散型の畳み込みニューラルネットワーク層に渡され、平坦化された後、LSTM層に渡されました。

AI真実検出器のトレーニングプロセスのアーキテクチャ。 ソース：https://arxiv.org/ftp/arxiv/papers/2107/2107.11175.pdf

最後に、すべてのニューロンが接続されて、話者が信じていることを話しているかどうかを二値で予測します。

トレーニング後のテストでは、システムは意図の認識において最大98.91%の精度レベルを達成しました。研究者は、この研究が実証的に声のパターンに基づく信念の識別を示し、NLPスタイルの言語の分析なしに達成できることを示唆しています。

限界について、研究者はテストサンプルが小さく、過剰適合のリスクがあることを認めています。論文では明示的に述べられていませんが、低容量のテストデータは、将来の適用性を制限する可能性があります。論文では、プロジェクト中に構築された8つのモデルのうち6つが、学習プロセスでどこかの段階で過剰適合していたことを指摘し、モデルのパラメータの汎用性を高めるためのさらなる研究が必要であることを示しています。

さらに、このような研究は、国民的特性を考慮する必要があり、ドイツ人被験者がデータ生成に参加したため、文化を超えて直接再現できないコミュニケーションパターンを持っている可能性があることを論文は指摘しています。これは、どの国でもこのような研究が行われる可能性があります。