誰にでも異なる語り口で話すブランドはサンプリングテストできない

数日前、友人のFaniprizeとかなり白熱した議論になった。彼女は、私がまだ名前を付けられない大きな疑問を感じ取ったときに、仕事の新しい話を伝える相手だ。

今回のテーマはAIエージェントだった。ビジネスがそれらを必要とするかどうかはすでに十分議論されている。私が興味を持ったのは、企業がエージェントを導入し、実際の業務をさせ始めた後に何が起こるか、そこから見えてくるあまり明白でない問題だ。

最近、ある人材紹介会社とのプロジェクトについて彼女に話した。AIエージェントが潜在顧客とのコミュニケーションの一部を担当していた。マーケティング的観点からはうまくいっているように見えた。製品と対象顧客を把握し、トーンも適切で、会話はテンプレート的ではなく個人的に感じられた。

個々の会話は問題なさそうだった。そこからいくつかを並べてみた。

非常に似通った状況でも、エージェントはやや異なる約束をしていた。ある人には連絡を返すタイムラインを提示し、別の人には別のタイムラインを提示した。いくつかの会話では、実際には「ここは柔軟に対応できます」と個別の条件について言っていたが、会社はその条件に同意する自由をエージェントに与えていなかった。

顕著な幻覚はなかったため、問題に気づきにくくなっていた。

エージェントは完全に普通に聞こえた。

マーケティングチームは当然、トーンやポジショニングに多くの時間を費やす。人材紹介会社が暗号通貨スタートアップのように話すべきではないし、銀行がファッションブランドのようにコミュニケーションすべきでもない。しかし、ブランドの語り口の裏には別の層がある。エージェントは会社を代表して実際に何を約束できるのか？

美しく書かれたメッセージでも、顧客が後で話し合った条件が実在しないと判明すれば、単なるコミュニケーションの問題ではなくなる。それは評判の問題になる。

私たちはエージェントに会社らしい口調を学習させた。次は、彼らが会社と同じように判断できるかを確認する必要がある。

なぜ通常のレビューではこれを見逃すのか

通常のチェックは、いくつかの会話を読むことだ。製品情報は正しいか？エージェントは指示に従ったか？変なことは言っていないか？

しかし、5つのランダムな会話がすべて良好に見えても、重大な不整合を隠すことがある。パーソナライズにより、会話は意図的にすべて異なる：ある顧客は直接質問し、別の顧客は長々と説明し、ある人は交渉し、ある人はしつこく要求し続ける。例は比較できない。

人材紹介のケースでは、「この回答は良いですか？」と尋ねるのをやめて、「エージェントはここでどのような決定を下したのか？」と尋ね始めるまで、何も問題に見えなかった。

代わりに私が始めたこと

実際の会話がクリーンな比較を提供しない場合、私たち自身で作り出す。

ビジネスシチュエーションを一つ取り、エージェントに8〜10回実行させる。重要な事実は同じままだが、相手側の人物が変わる：柔らかい口調、より直接的、今日サインしたがる、競合他社に言及する、など。

その後、ビジネス上の決定を見る。エージェントは、より強く交渉した人だけに割引を提供したか？状況が異なったためにタイミングの約束が変わったか、単に会話が別の方向に進んだだけか？特別な条件について話すこと自体が許可されていたか？

表現が同じままであれば心配になる。安定すべきは会社の立場であり、もしそれが変わるなら、ビジネス上の理由が必要だ。

最終的な判断は人間が下すべきだ。モデルが自分の宿題を採点すべきではない。決定権を持つ者、創業者、営業責任者、商業ディレクターがそれが許容できるかどうかを言わなければならない。

実際に私が見るもの

私は4つの質問に戻ってくる。

まず、重要な条件が同じであれば、決定は一貫しているか？これがまさに人材紹介ケースが崩壊した点だ。

次に、エージェントはまだ会社の実際のルール内で動作しているか？かつて人間版を見たことがある。営業マネージャーが自分で顧客に20%割引を提供し始めた。会社には標準の20%割引はなく、承認が必要だった。彼はビジネスを損なうつもりはなかった。売りたかっただけで、途中で自分が決定できる範囲の境界をずらした。エージェントも同様だ。

三つ目は、変更された決定に本当の理由があるか？文脈は重要だが、理解することと何かに誘導されることは別物だ。もし唯一の変化が顧客の粘り強さだけなら、エージェントが静かに寛大になるのは望ましくない。

四つ目は、エージェントが権限が及ぶ範囲を知っているか？時には正しい行動は単に「この件は人に確認する必要がある」と答えることだ。それは十分に妥当な回答だ。

テストが時に会社そのものを露呈させる

あなたは持ち込む疑わしい決定をチームに戻し、エージェントがすべきだったことを尋ね、そして人々は異なる答えを出す。

営業にはある見方があり、マーケティングには別の見方がある。創業者は「普段はそうしないが、時々はやるんだ」と言い、あるマネージャーは昨年の例外を3件覚えている。

それらすべてはエージェントに提供する資料に反映される。会社がロジックに合意していなければ、モデルは混沌とした現実から学習することになる。時には矛盾を生み出さないこともある。

それが可視化されただけだ。

そのため、AI テストはほぼ偶然にビジネス監査へと変わってしまう。誰が割引を承認できるのか？営業担当者は何を質問せずに約束できるのか？どの規則が本当の規則で、どれが単なる習慣なのか？そして、人々が毎週例外を作っている場合、その例外は依然として例外と言えるのか？

エージェントも人間と同様のトレーニングが必要かもしれない

私たちは依然として AI エージェントをソフトウェアのように扱い、設定し、プロンプトを設定して動かす。エージェントに多くの責任を与えるほど、私にはそれが意味をなさなくなる。

新しい営業マネージャーに月曜にブランドブックを渡して、すべての顧客に対応できると想定することはしない。誰かが彼らの通話を聞き、難しいケースを議論し、行き過ぎたときに修正する。そうして会社のロジックを学んでいくのだ。

なぜ AI エージェントが1つのプロンプトだけでそれを学ぶと期待できるのか？実際の会話を処理できるようになったら、ケースとフィードバックを通じてトレーニングする必要があるだろう。ほぼ人を指導するのと同じ方法である。

それは私にとってブランド一貫性の意味を変える。10 人に全く同じ口調で話すエージェントはひどいエージェントだ。相手や文化、状況に合わせて調整すべきだ。

ランダムに変わってはならないのは、その根底にあるロジックだ。会社が約束できること、できないこと、そして誰かが立ち止まって確認すべきポイントだ。

もし明日、エージェントが同じ難しい会話のわずかに異なる10バージョンを持っていたとしても、依然として同じ会社として振る舞うだろうか？