คุณไม่สามารถสุ่ม‑ทดสอบแบรนด์ที่สื่อสารกับทุกคนแตกต่างกัน

ไม่กี่วันที่ผ่านมา ฉันมีการสนทนาอย่างรุนแรงกับเพื่อนของฉัน Faniprize เธอเป็นคนที่ฉันบอกเรื่องราวการทำงานใหม่ ๆ ให้ฟังเมื่อฉันรู้สึกว่ามีคำถามใหญ่ซ่อนอยู่แต่ยังไม่สามารถตั้งชื่อได้

ครั้งนี้เป็นเรื่องของเอเจนต์ AI ไม่ใช่ว่าธุรกิจต้องการมันหรือไม่ ซึ่งเรื่องนี้ได้ถูกอภิปรายมามากแล้ว สิ่งที่ฉันสนใจคือสิ่งที่เกิดขึ้นหลังจากบริษัทนำเอเจนต์ไปใช้และมันเริ่มทำงานจริง ๆ เพราะนั่นคือจุดที่ปัญหาไม่ชัดเจนเริ่มปรากฏ

ฉันบอกเธอเกี่ยวกับโครงการล่าสุดกับบริษัทจัดหางานหนึ่ง เอเจนต์ AI ได้รับมอบหมายส่วนหนึ่งของการสื่อสารกับลูกค้าเป้าหมาย จากมุมมองการตลาด ดูดีมาก: มันรู้จักผลิตภัณฑ์และผู้ชม โทนเสียงเหมาะสม และการสนทนารู้สึกเป็นส่วนตัวมากกว่าที่เป็นแบบเทมเพลต

การสนทนาแต่ละครั้งดูเหมือนจะไม่มีปัญหา แล้วเราก็เริ่มวางหลาย ๆ การสนทนาข้างกัน

ในสถานการณ์ที่คล้ายกันมาก ๆ เอเจนต์ได้ให้สัญญาที่แตกต่างกันเล็กน้อย มันให้คนหนึ่งกรอบเวลาหนึ่งสำหรับการติดต่อกลับ และให้คนอื่นกรอบเวลาที่ต่างออกไป ในบางการสนทนา มันพื้นฐานแล้วบอกว่า “เราสามารถยืดหยุ่นได้ที่นี่” เกี่ยวกับเงื่อนไขแต่ละกรณี แม้ว่าบริษัทจะไม่เคยให้อิสระแก่มันในการยอมรับเงื่อนไขเหล่านั้น

ไม่มีอาการหลงผิดอย่างรุนแรง ซึ่งทำให้ปัญหานั้นยากต่อการสังเกต

เอเจนต์ฟังดูปกติโดยสมบูรณ์

ทีมการตลาดโดยธรรมชาติใช้เวลามากในการกำหนดโทนเสียงและการวางตำแหน่ง บริษัทจัดหางานไม่ควรฟังเหมือนสตาร์ทอัพคริปโต และธนาคารไม่ควรสื่อสารเหมือนแบรนด์แฟชั่น แต่ภายใต้วิธีการสื่อสารของแบรนด์ มีชั้นอีกหนึ่งชั้นคือ: เอเจนต์ได้รับอนุญาตให้สัญญาอะไรในนามของบริษัทจริง ๆ

ข้อความที่เขียนอย่างสวยงามไม่ค่อยช่วยอะไรหากลูกค้าในภายหลังพบว่าเงื่อนไขที่พูดคุยกันไม่มีอยู่จริง ในจุดนั้นปัญหาไม่ได้เป็นเรื่องการสื่อสารอีกต่อไป แต่เป็นปัญหาด้านชื่อเสียง

เราได้สอนเอเจนต์ให้มีเสียงเหมือนบริษัทแล้ว ตอนนี้เราต้องตรวจสอบว่าพวกมันตัดสินใจเหมือนบริษัทหรือไม่

ทำไมการตรวจสอบตามปกติจึงมองข้ามเรื่องนี้

การตรวจสอบปกติ คือการอ่านการสนทนาจำนวนไม่กี่ครั้ง ข้อมูลผลิตภัณฑ์ถูกต้องหรือไม่? เอเจนต์ทำตามคำสั่งหรือไม่? มีอะไรแปลกประหลาดหรือไม่?

แต่ห้าการสนทนาที่สุ่มอาจดูดีทั้งหมดและยังคงซ่อนความไม่สอดคล้องอย่างร้ายแรง การปรับให้เป็นส่วนบุคคลทำให้การสนทนาแต่ละครั้งแตกต่างกันโดยตั้งใจ: ลูกค้าคนหนึ่งถามโดยตรง อีกคนอธิบายอย่างละเอียด คนหนึ่งต่อรอง อีกคนผลักดันต่อเนื่อง ตัวอย่างเหล่านี้จึงไม่สามารถเปรียบเทียบกันได้

ในกรณีการจัดหางาน ไม่มีอะไรดูผิดจนกว่าเราจะหยุดถามว่า “นี่เป็นคำตอบที่ดีหรือไม่?” และเริ่มถามว่า “เอเจนต์ตัดสินใจอะไรในที่นี้?”

สิ่งที่ฉันเริ่มทำแทน

หากการสนทนาจริงไม่ให้การเปรียบเทียบที่ชัดเจน เราก็สร้างขึ้นเอง

ฉันนำสถานการณ์ธุรกิจหนึ่งมารันผ่านเอเจนต์ประมาณแปดถึงสิบครั้ง ข้อเท็จจริงสำคัญคงที่ แต่ บุคคลอีกฝ่ายเปลี่ยนไป: นุ่มนวลกว่า, ตรงไปตรงมามากขึ้น, พร้อมเซ็นสัญญาวันนี้, กล่าวถึงคู่แข่ง

จากนั้นฉันมองที่การตัดสินใจทางธุรกิจ เอเจนต์ให้ส่วนลดเฉพาะกับคนที่ผลักดันมากกว่าหรือไม่? ความมุ่งมั่นเรื่องเวลาเปลี่ยนไปหรือไม่เนื่องจากสถานการณ์ต่างกันหรือเพียงแค่การสนทนาเปลี่ยนทิศ? มันได้รับอนุญาตให้พูดคุยเงื่อนไขพิเศษหรือไม่?

ฉันจะกังวลหากคำพูดคงเดิม สิ่งที่ควรคงที่คือท่าทีของบริษัท และหากมีการเปลี่ยนแปลง ควรมีเหตุผลทางธุรกิจสนับสนุน

การตัดสินขั้นสุดท้ายต้องมาจากคน โมเดลไม่ควรให้คะแนนการทำงานของตนเอง ผู้ที่เป็นเจ้าของการตัดสินใจนั้น ไม่ว่าจะเป็นผู้ก่อตั้ง, หัวหน้าฝ่ายขาย, หรือผู้อำนวยการเชิงพาณิชย์ ต้องบอกว่ามันเป็นที่ยอมรับหรือไม่

สิ่งที่ฉันจริง ๆ แล้วมองดู

ฉันกลับมาถามตัวเองสี่คำถามอยู่เสมอ

แรก, หากเงื่อนไขสำคัญคงที่ การตัดสินใจจะคงความสอดคล้องหรือไม่? นี่คือจุดที่กรณีการจัดหางานล่มสลายอย่างชัดเจน

สอง, เอเจนต์ยังทำงานภายในกฎจริงของบริษัทหรือไม่? ฉันเคยเห็นเวอร์ชันมนุษย์ของเรื่องนี้ ผู้จัดการฝ่ายขายเริ่มให้ส่วนลด 20% กับลูกค้าด้วยตนเอง บริษัทไม่มีส่วนลดมาตรฐาน 20% ซึ่งต้องได้รับการอนุมัติจากผู้บริหาร เขาไม่ได้ตั้งใจทำร้ายธุรกิจ เขาต้องการขายและในระหว่างนั้นเขาได้ขยับขอบเขตของสิ่งที่เขาคิดว่าเขาตัดสินใจได้ เอเจนต์ก็ทำเช่นเดียวกัน

สาม, การเปลี่ยนแปลงการตัดสินใจมีเหตุผลที่แท้จริงหรือไม่? บริบทมีความสำคัญ แต่การเข้าใจมันและ ถูกชักชวนให้ทำบางอย่าง เป็นเรื่องที่แตกต่าง หากการเปลี่ยนแปลงเพียงอย่างเดียวคือหนึ่งลูกค้ามีความยืนหยัดมากขึ้น ฉันไม่ต้องการให้เอเจนต์เงียบ ๆ กลายเป็นคนใจดีมากขึ้น

สี่, เอเจนต์รู้ ที่อำนาจของมันสิ้นสุด หรือไม่? บางครั้งการกระทำที่ถูกต้องก็แค่: ฉันต้องตรวจสอบเรื่องนี้กับคนอื่น นั่นเป็นคำตอบที่ดีพอสมควร

การทดสอบบางครั้งเปิดเผยบริษัทแทน

คุณ นำ การตัดสินใจที่น่าสงสัยกลับไปยังทีม, ถามว่าเอเจนต์ควรทำอย่างไร, และ คนให้คำตอบที่ต่างกัน.

ฝ่ายขายมีมุมมองหนึ่ง. การตลาดมีอีกมุมมองหนึ่ง. ผู้ก่อตั้งกล่าวว่า “เอาล่ะ, ปกติเราไม่ทำแบบนั้น, แต่บางครั้งเราก็ทำ.” ผู้จัดการจำเหตุการณ์ยกเว้นสามกรณีจากปีที่แล้วได้.

ทั้งหมดนั้นจบลงในวัสดุที่เรามอบให้กับเอเจนต์. หากบริษัทยังไม่ได้ตกลงเกี่ยวกับตรรกะ, โมเดลจะเรียนรู้จากความเป็นจริงที่ยุ่งเหยิง. บางครั้งมันไม่ได้สร้างความขัดแย้งนั้น.

มันเพียงทำให้มันเห็นได้ชัดเจน.

ดังนั้นการทดสอบ AI จึงกลายเป็นการตรวจสอบธุรกิจโดยบังเอิญ. ใครสามารถอนุมัติส่วนลดได้? พนักงานขายสามารถสัญญาอะไรได้โดยไม่ต้องถาม? กฎใดเป็นกฎจริงๆ, และกฎใดเป็นเพียงนิสัย? และข้อยกเว้นยังคงเป็นข้อยกเว้นหรือไม่หากผู้คนทำมันทุกสัปดาห์?

บางทีเอเจนต์อาจต้องการการฝึกฝนในแบบเดียวกับคน

เรายังคงปฏิบัติเสมือนเอเจนต์ AI เป็นซอฟต์แวร์: ตั้งค่า, กำหนดพรอมต์, แล้วให้ทำงาน. ยิ่งเรามอบความรับผิดชอบให้มาก, ความรู้สึกที่มันทำให้ฉันก็ยิ่งน้อยลง.

เราไม่ได้มอบหนังสือแบรนด์ให้ผู้จัดการฝ่ายขายคนใหม่ในวันจันทร์และสมมติว่าพวกเขาพร้อมรับลูกค้าทุกคน. มีคนฟังการโทรของพวกเขา, พูดคุยกรณีที่ยาก, แก้ไขเมื่อพวกเขาไปไกลเกินไป. นั่นคือวิธีที่พวกเขาเรียนรู้ตรรกะของบริษัท.

ทำไมต้องคาดว่าเอเจนต์ AI จะเรียนรู้นั้นจากพรอมต์เดียว? เมื่อมันจัดการการสนทนาจริง, ฉันคิดว่าเราจะต้องฝึกมันผ่านกรณีและข้อเสนอแนะ, เกือบเหมือนกับการโค้ชคน.

นั่นทำให้ความหมายของความสอดคล้องของแบรนด์เปลี่ยนไปสำหรับฉัน. เอเจนต์ที่พูดกับคนสิบคนในแบบเดียวกันอย่างแม่นยำจะเป็นเอเจนต์ที่แย่มาก. มันควรปรับให้เข้ากับบุคคล, วัฒนธรรม, และสถานการณ์.

สิ่งที่ไม่ควรเปลี่ยนแปลงแบบสุ่มคือตรรกะพื้นฐาน: สิ่งที่บริษัทจะสัญญา, สิ่งที่ไม่สัญญา, และจุดที่ใครบางคนต้องหยุดและถาม.

ถ้าเอเจนต์ของคุณมีเวอร์ชันที่แตกต่างกันเล็กน้อยสิบเวอร์ชันของการสนทนายากเดียวกันในวันพรุ่งนี้, มันยังคงทำงานเหมือนบริษัทเดียวกันหรือไม่?