الأربعة أخطر فشل في اختبار الذكاء الاصطناعي

عندما تقوم الشركات بنشر الذكاء الاصطناعي بدون إشراف بشري صارم ، فإنهم يطلبون من نظام آلي غير محدد التحديد أن يثبت نفسه.

المشكلة ليست بالضرورة أن الذكاء الاصطناعي سيئ في الاختبار. الذكاء الاصطناعي ممتاز في القيام بأشياء تم القيام بها من قبل ، وخاصة اتباع القواعد التي حددتها بشكل صريح. لكن الفشل الذي يضر بالفعل بماركتك؟ تلك تعيش في المساحات حيث يهم الحكم البشري أكثر. هلوسة حول سياسة الإرجاع. رد غير مناسب على شكوى حساسة. حارس أمان لا يحتوي على ضغط.

مع 70٪ من العملاء على استعداد للتبديل بعد تفاعل سيء واحد مع الذكاء الاصطناعي ، فإن الرهانات عالية. ومع ذلك ، فإن معظم الشركات تشحن الذكاء الاصطناعي المعتمد من أدوات قديمة أو أوتوماتيكية فقط مصممة للبرامج الحتمية. هذا الحزمة لم يتم تصميمه أبداً ليلتقط الفشل الذي ي驱ي الناس بعيداً.

عبر المشاركات التي قام بها Teslio لفريق الشركات ، أربعة أنماط فشل تسبب في معظم الضرر المرئي للعملاء. لا يتم اكتشاف أي منهم بواسطة الاختبار الأوتوماتيكي فقط.

1. حارس أمان وأمان لا يحمي بالفعل

يطرح العميل سؤالاً على برنامج الدردشة الخاص بك بطريقة صحيحة. يقدم البرنامج له عنصرًا بقيمة 1000 دولار مقابل 10 دولارات. أو يكشف عن معلومات لا ينبغي أن يكشف عنها مطلقًا. أو ينتهك قاعدة أعمال أساسية لأن لا أحد قام باختبار ظروف الحدود.

المخاطر بسيطة. الضرر فوري والضرر علني.

المشكلة الحقيقية ليست فقط الأتمتة ، على الرغم من أن هذا جزء منها. لا يتم تحديد حارس الأمان ، يجب أن يتم تعديله على سياق عملك الخاص. وحتى عندما يتم اتباع أفضل الممارسات ، يظل حارس الأمان معرضًا. تقنيات مثل “حارس الأمان الشعري” تظهر لنا أن حارس الأمان المتعمد يمكن أن يتم التلاعب به بطرق لم يتوقعها منشئوه. السؤال الذي يجب على الشركات أن تسأله ليس “هل يتبع حارس أماننا للمعايير الصناعية؟” ولكن “ما هي الطرق الجديدة التي يمكن أن يتم التلاعب بها؟”

هذا يتطلب التفكير المعادي. أشخاص إبداعيون يفهمون تصميم حارس الأمان وسطح الهجوم. اختبار الحواف ، اختبار الإجهاد ، طرح الأسئلة المعقدة. هذا هو الفرق بين حارس أمان يمر بالامتثال وحارس أمان يحتوي بالفعل.

2. فشل دقة ومنطق الأعمال المخفي في هلوسة

الحقيقة هي أن الذكاء الاصطناعي يهلوس. ما تعلمته هو أنك عندما يكون لديك خبرة في مجال معين ، فإنك تلاحظ الهلوسة على الفور. ترى من خلالها بشكل مباشر.

لكن هنا العيب الحرج في الاعتماد فقط على فريقك الداخلي: لديهم نقاط عمياء. عندما تعرف المنتج جيدًا ، تعرف بالضبط ما الأسئلة التي يجب أن تطرحها للحصول على الإجابة الصحيحة. لا تستطيع أن تجد нетائج غير دقيقة إذا كنت لا تبحث عنها. الفرق الداخلي يعرف كيف يعمل المنتج ، وليس كيف يعمل في الواقع للمستخدمين الذين لديهم نماذج عقلية مختلفة ، سياقات مختلفة ، وطرق مختلفة لكسر افتراضاتك.

هنا يأتي دور الإشراف من أشخاص يقتربون من النظام بطريقة جديدة. لا يؤكدون فقط أن الذكاء الاصطناعي يفعل ما قلت له أن تفعله ، بل يكشفون عن قضايا قد تكون ذات interesse لdepartments مختلفة ويبرزون مجالات فشل في العالم الحقيقي.

عندما تبدأ الشركات في بناء على النماذج اللغة الكبيرة الرئيسية ، عند إضافة عملياتها وعملياتها الخاصة ، تصبح متطلبات الاختبار أكثر حرجة.

3. إغفال واجهة المستخدم وتجربة المستخدم

هل يبدو صحيحًا؟ هل يبدو مناسبًا؟ هل عملية معالجة الدفع تأخذ وقتًا طويلاً قليلاً؟ هل الإجابة تحتوي على النبرة الصحيحة لمستخدم محبط أو الإيقاع الصحيح لمستخدم جديد؟

هذه هي أنواع الأسئلة التي لا يستطيع أدوات أوتوماتيكية الإجابة عنها. وهذه هي أنواع الأسئلة التي تهم العملاء بشكل كبير.

هناك فرق أساسي بين اجتياز مجموعة الاختبار وكونك جيدًا بالفعل. يمكن للتفاعل مع الذكاء الاصطناعي أن يمر بجميع مربعي معايير القبول ويتضح على أنه خاطئ للمستخدم. يمكن أن يكون صحيحًا تقنيًا ولكن غير مريح تنظيميًا. يمكن أن يقدم المعلومات الصحيحة بسرعة أو نبرة خاطئة.

هنا يأتي دور الإشراف البشري. تحتاج إلى أشخاص مدربين على التعرف على كيفية فشل الذكاء الاصطناعي ، واختبار المناطق حيث يعيش عملاؤك ، مع الأجهزة وطرق الدفع التي يستخدمونها بالفعل. شخص يختبر على هاتف آيفون من الطراز الأعلى في سان فرانسيسكو لا يعيش نفس التجربة مثل شخص يختبر على هاتف أندرويد من الفئة المتوسطة مع اتصال بيانات غير مستقر في جاكرتا. بدون تنوع في من يقوم بالاختبار ومن đâu ، فإنك تحصل على نتائج محاكاة ستفشل في اللحظة التي تلاقي فيها منتجك الواقع.

يجب أن يكون هناك شخص ما يستخدم بالفعل المنتج ، يفكر بالفعل عن ما تعنيه التجربة ، يدفع بالفعل إلى الوراء عندما شيء لا يبدو صحيحًا.

4. وهم الخبرة المثبتة

هذا هو الفشل الأكثر دهاء ، وربما الأكثر خطرًا. عندما تنشر الشركات الذكاء الاصطناعي بدون اختبار مناسب ، فإنها thường تراهن على أن الذكاء الاصطناعي قد امتص كمية كافية من المعرفة للتعامل مع المجال بشكل صحيح. إنهم يفترضون أن الذكاء الاصطناعي يمكن أن يبدو واثقًا بشيء ما ، وبالتالي يعتقد أنه يعرف ما يتحدث عنه.

لكن هناك بعد آخر لهذا الخطر. معظم الأشخاص الذين يستخدمون ميزات الذكاء الاصطناعي يفترضون نفس الفرض. إنهم لا يطرحون أسئلة حول النتيجة. إذا كان يبدو سلطويًا وليس خاطئًا明显ًا ، فإنهم يثقون به. نصيحة طبية سيئة. إرشاد قانوني غير صحيح. توصيات مالية معيبة. العواقب تتراكم عندما يفترض المستخدمون أن الذكاء الاصطناعي صحيح ولا يوجد سبب لشكهم.

الذكاء الاصطناعي جيد جدًا في معرفة ما تم القيام به. إنه ليس جيدًا في معرفة ما يجب القيام به في مواقف جديدة. كل عمل لديه مواقف جديدة. كل منتج لديه حالات حافة. كل مسار عميل لديه لحظة حيث الإجابة الصحيحة هي التي لم يتم تدريب الذكاء الاصطناعي على إعطائها.

إعادة تعريف جاهزية الإصدار

استراتيجية ناضجة لإصدار الذكاء الاصطناعي تتطلب الانتقال بعيدًا عن العقلية الأوتوماتيكية فقط. يتضمن بناء إطار من الخبرة البشرية في الحلقة.

• الهندسة: يجب أن يمتلك هذا الفريق سلامة النظام ، ويعرف ما يبدو الفشل في طبقة النموذج والبنية التحتية ، وأين يجب وضع حارس الأمان.
• المنتج: يجب على القادة أن يمتلكوا حدود القرار ، ويحكموا أي قرارات يمكن للذكاء الاصطناعي اتخاذها بشكل مستقل ، وأيها تتطلب موافقة بشرية ، وأيها لا ينبغي أن يلمسها على الإطلاق.
• التصميم وضمان الجودة: يجب على هؤلاء المحترفين أن يمتلكوا تجربة المستخدم ، سواء كان المستخدمون يفهمون ما يفعله الذكاء الاصطناعي ، ويتمكنون من التعرف على ما هو خاطئ ، ولديهم وسيلة فعّالة للاستجابة عندما يكون كذلك.

يجب أن نقبل أن الذكاء الاصطناعي يمكن أن يخلق تجارب رائعة للعملاء ، لكنه لا يمكن أن يكون قاضيه وجنته. مسؤولية جودة الذكاء الاصطناعي هي مسؤولية منظمة ، موزعة على الفرق ، مرتكزة على الخبرة البشرية ، ومستندة على الاختبار في العالم الحقيقي.