เหตุใดต้นทุนโทเคนจึงบอกไม่ได้ว่า AI ระดับองค์กรได้ผลหรือไม่

AI ระดับองค์กรกำลังเดินเข้าสู่วงจรที่หลายคนคุ้นเคย ในช่วงแรก องค์กรต่าง ๆ ทุ่มเต็มที่ เลือกใช้โมเดลที่มีขนาดใหญ่และความสามารถสูงที่สุด เพราะเทคโนโลยีนี้น่าตื่นเต้น และยังไม่เห็นบิลค่าใช้จ่าย เมื่อบิลมาถึง การตอบสนองก็เป็นไปตามคาดไม่ต่างกัน ทีมต่าง ๆ เริ่มจำกัดการใช้งาน ลดการทดลอง และมองหาโมเดลที่มีค่าใช้จ่ายต่ำกว่า

Ali Ghodsi ผู้ร่วมก่อตั้งและซีอีโอของ Databricks อธิบายช่วงแรกของวงจรนี้ว่าเป็น “การเน้นใช้โทเคนให้มากที่สุด” ซึ่งถือว่าการใช้โทเคนมากขึ้นเป็นหลักฐานของความก้าวหน้า แต่ช่วงที่สำคัญกว่าคือ “การมุ่งสร้างมูลค่าให้ได้มากที่สุด” ซึ่งหมายถึงการทำความเข้าใจว่าค่าใช้จ่ายนั้นก่อให้เกิดอะไร และจัดสรรให้กับงานที่สำคัญ

นี่ไม่ใช่แค่การตั้งชื่อใหม่ให้กับการปรับลดต้นทุน การปรับลดต้นทุนมุ่งถามว่าองค์กรจะใช้จ่ายให้น้อยลงได้อย่างไร ส่วนการมุ่งสร้างมูลค่าให้ได้มากที่สุดถามว่าองค์กรจะสร้างประโยชน์จากเงินที่ใช้ไปได้มากขึ้นอย่างไร ความแตกต่างนี้จะยิ่งสำคัญขึ้นเรื่อย ๆ เมื่อ AI เปลี่ยนจากการทดลองเฉพาะกิจไปเป็นส่วนหนึ่งของการดำเนินงานประจำวันในองค์กร

โมเดลที่ใหญ่ที่สุดไม่ได้เหมาะที่สุดเสมอไป

หลายองค์กรเริ่มโครงการ AI ด้วยการใช้โมเดลที่ทรงพลังที่สุดเท่าที่มีอยู่กับงานแทบทุกประเภท แนวทางนี้สมเหตุสมผลในช่วงแรกของการทดลอง ซึ่งทีมต่าง ๆ พยายามทำความเข้าใจว่าเทคโนโลยีนี้ทำอะไรได้บ้าง และความสามารถของโมเดลสำคัญกว่าความคาดการณ์ได้ของผลลัพธ์

อย่างไรก็ตาม เมื่อการใช้งานขยายตัว ต้นทุนจากการใช้โมเดล AI ระดับแนวหน้ากับทุกคำขอก็ยากจะหาเหตุผลมารองรับ บางองค์กรตอบสนองด้วยการจำกัดการเข้าถึงหรือขอให้ทีมต่าง ๆ ลดการใช้งาน แต่ข้อจำกัดในวงกว้างอาจกดทับการทดลองที่เป็นประโยชน์ไปพร้อมกับการลดการใช้งานที่สิ้นเปลืองจริง

แนวทางที่รอบคอบขึ้นกำลังเริ่มเป็นรูปเป็นร่าง ทีมต่าง ๆ เริ่มเลือกใช้โมเดลขนาดเล็กที่เชี่ยวชาญเฉพาะด้านกับงานประจำ ขณะเดียวกันก็เก็บโมเดลที่มีความสามารถสูงกว่าไว้สำหรับงานที่ต้องใช้การให้เหตุผลซับซ้อนหรือมีต้นทุนความผิดพลาดสูง เมื่อเวลาผ่านไป บางองค์กรอาจนำโมเดลไปใช้งานภายในโครงสร้างพื้นฐานของตนเองด้วย เพื่อควบคุมต้นทุน ประสิทธิภาพ และข้อมูลอ่อนไหวได้มากขึ้น

คำถามสำคัญไม่ใช่ว่าโมเดลขนาดใหญ่หรือขนาดเล็กดีกว่ากัน แต่อยู่ที่โมเดลนั้นเหมาะกับงานหรือไม่ และผลลัพธ์ที่ได้คุ้มกับต้นทุนทั้งหมดในการสร้างหรือไม่

โทเคนบอกปริมาณการใช้งาน ไม่ใช่มูลค่าที่เกิดขึ้น

แดชบอร์ด AI ระดับองค์กรส่วนใหญ่สร้างขึ้นโดยเน้นปริมาณการใช้งาน โดยแสดงจำนวนโทเคนที่ใช้ โมเดลที่ประมวลผลโทเคนเหล่านั้น และค่าใช้จ่ายขององค์กร ตัวเลขเหล่านี้จำเป็น แต่ไม่ได้บอกว่างานนั้นก่อให้เกิดผลลัพธ์ที่เป็นประโยชน์หรือไม่

ทีมที่ใช้โทเคนมากขึ้นเป็นสองเท่าไม่ได้หมายความว่าจะสร้างมูลค่าได้มากขึ้นเป็นสองเท่าเสมอไป ทีมดังกล่าวอาจกำลังจัดการงานที่ยากขึ้น ใช้โมเดลที่ทรงพลังเกินความจำเป็น หรือพึ่งพาเอเจนต์ที่ลองทำงานซึ่งล้มเหลวซ้ำแล้วซ้ำเล่า แม้งานจะมีต้นทุนโมเดลสูง ก็ยังอาจเป็นการลงทุนที่คุ้มค่าอย่างยิ่ง หากช่วยป้องกันระบบขัดข้อง แก้ปัญหาให้ลูกค้า หรือคืนเวลาอันมีค่าหลายชั่วโมงให้พนักงาน

ปัญหาเดียวกันนี้เกิดขึ้นในงานสังเกตการณ์ระบบมาหลายปีแล้ว เพียงแต่ใช้หน่วยเป็นกิกะไบต์แทนโทเคน ในช่วงแรก ทีมต่าง ๆ เก็บข้อมูลทุกอย่าง เพราะการมองเห็นข้อมูลได้มากที่สุดดูเหมือนเป็นกลยุทธ์ที่ปลอดภัยที่สุด เมื่อค่าใช้จ่ายด้านพื้นที่จัดเก็บและการประมวลผลเพิ่มขึ้น ทีมเหล่านั้นก็เริ่มสุ่มเก็บข้อมูล ลดระยะเวลาเก็บรักษา และตัดบริบทบางส่วนออกเพื่อควบคุมค่าใช้จ่าย

ทั้งสองกรณี องค์กรมักตอบสนองต่อต้นทุนที่สูงขึ้นด้วยการลดการใช้งานลง แต่สิ่งที่องค์กรต้องการแทนคือความสามารถในการระบุว่ากิจกรรมใดสร้างมูลค่า กิจกรรมใดสิ้นเปลือง และกิจกรรมใดปรับให้มีประสิทธิภาพขึ้นได้โดยไม่ทำให้ผลลัพธ์ด้อยลง

ต้นทุนที่แท้จริงไม่ได้มีแค่การอนุมานของโมเดล

การเรียกใช้โมเดลแทบไม่เคยเป็นงาน AI ทั้งหมด เอเจนต์อาจดึงเอกสาร สืบค้นฐานข้อมูล ค้นหาข้อมูลการทำงานของระบบ เรียกใช้บริการภายนอก และทำให้เกิดกิจกรรมใหม่ในแอปพลิเคชันหรือโครงสร้างพื้นฐาน ก่อนจะสร้างคำตอบออกมา

ลองพิจารณาเอเจนต์ที่ตรวจสอบสาเหตุว่าทำไมเวลาแฝงของขั้นตอนชำระเงินจึงเพิ่มขึ้นหลังการนำระบบขึ้นใช้งาน เอเจนต์อาจตรวจสอบบันทึกการทำงาน เปรียบเทียบตัวชี้วัด ตรวจดูร่องรอยการทำงาน ดึงบันทึกการนำระบบขึ้นใช้งาน และวิเคราะห์บริการปลายทาง หากสมมติฐานแรกไม่ถูกต้อง ก็อาจปรับช่วงเวลา ค้นหาด้วยชื่อบริการอื่น และตรวจสอบสาเหตุที่เป็นไปได้หลายทาง

ดังนั้น คำสั่งจากมนุษย์เพียงครั้งเดียวอาจก่อให้เกิดการดำเนินการที่เครื่องสร้างขึ้นหลายร้อยรายการ การดำเนินการเหล่านี้ใช้ทรัพยากรประมวลผล ใช้พื้นที่จัดเก็บสำหรับการรับและส่งข้อมูล ใช้ความจุเครือข่าย และใช้โควตา API ของบุคคลที่สาม ซึ่งค่าใช้จ่ายเหล่านี้อาจไม่ปรากฏในแดชบอร์ดค่าใช้จ่ายด้านโมเดลขององค์กร

นั่นหมายความว่าโมเดลที่ดูเหมือนมีค่าใช้จ่ายต่ำอาจเป็นส่วนหนึ่งของเวิร์กโฟลว์ที่มีต้นทุนสูง โมเดลที่มีความสามารถสูงกว่าอาจมีค่าใช้จ่ายต่อการเรียกใช้มากกว่า แต่สรุปได้ถูกต้องในจำนวนขั้นตอนที่น้อยกว่า จึงต้องลองใหม่และใช้โครงสร้างพื้นฐานสนับสนุนน้อยลง วิธีเดียวที่จะเปรียบเทียบได้คือการสังเกตงานทั้งหมดตั้งแต่ต้นจนจบ

เชื่อมโยงกิจกรรม ต้นทุน และผลลัพธ์เข้าด้วยกัน

การมุ่งสร้างมูลค่าให้ได้มากที่สุดทำให้องค์กรต้องเชื่อมโยงข้อมูลสามประเภทที่มักวัดแยกจากกัน

ประการแรกคือกิจกรรมของ AI ซึ่งรวมถึงการเลือกโมเดล การใช้โทเค็น เวลาแฝง การเรียกใช้เครื่องมือ การลองใหม่ และแขนงการทำงานแบบขนาน ประการที่สองคือต้นทุนด้านโครงสร้างพื้นฐานและการเงินที่เกิดจากกิจกรรมดังกล่าว ซึ่งรวมถึงการประมวลผล พื้นที่จัดเก็บ การใช้งานเครือข่าย ภาระงานของฐานข้อมูล และค่าบริการ API ภายนอก ประการที่สามคือผลลัพธ์ ซึ่งควรบ่งชี้ว่างานสำเร็จหรือไม่ และมีใครเห็นว่าผลลัพธ์นั้นเป็นประโยชน์หรือไม่

ไม่จำเป็นต้องแปลงผลลัพธ์ทุกอย่างเป็นจำนวนเงินดอลลาร์ที่แน่นอนเสมอไป ตัวชี้วัดที่ใช้งานได้จริงก็อาจเพียงพอ เช่น คำตอบได้รับการยอมรับหรือไม่ มีคนต้องทำงานนั้นซ้ำหรือไม่ แก้ไขเหตุขัดข้องได้เร็วขึ้นหรือไม่ หรือกระบวนการทำงานอัตโนมัติเสร็จสิ้นโดยไม่ต้องมีคนเข้ามาแทรกแซงหรือไม่

ตัวอย่างเช่น การตรวจสอบเหตุขัดข้องที่สร้างคำค้นหาหลายร้อยรายการอาจคุ้มค่า หากช่วยให้วิศวกรกู้คืนบริการสำคัญได้เร็วขึ้น 30 นาที ในทางกลับกัน กระบวนการทำงานที่มีขนาดเล็กกว่ามากก็ยังอาจสิ้นเปลือง หากสร้างรายงานที่ไม่มีใครอ่าน การใช้โทเค็นเพียงอย่างเดียวไม่อาจบอกความแตกต่างระหว่างสองกรณีนี้ได้

เมื่อองค์กรเชื่อมโยงกิจกรรมเข้ากับผลลัพธ์ได้แล้ว ก็จะสามารถตัดสินใจอย่างรอบคอบได้ว่าจะใช้โมเดลแนวหน้าในจุดใด โมเดลขนาดเล็กเพียงพอในจุดใด และกระบวนการทำงานใดควรได้รับการออกแบบใหม่

การมองเห็นข้อมูลไม่ควรแลกมาด้วยการสูญเสียการควบคุม

การทำความเข้าใจคุณค่าของ AI จำเป็นต้องเข้าถึงบริบทที่ละเอียดอ่อน พรอมป์ต์ คำตอบที่โมเดลสร้างขึ้น ซอร์สโค้ด ข้อมูลลูกค้า และข้อมูลการทำงานจริงของระบบ อาจเป็นส่วนหนึ่งของกระบวนการทำงานเดียวกัน

องค์กรไม่ควรต้องส่งออกข้อมูลเหล่านี้ไปยังบริการภายนอก เพียงเพื่อทำความเข้าใจว่าระบบ AI ของตนทำงานเป็นอย่างไร พรอมป์ต์และบริบทจากระบบจริงที่ทำให้การวัดผลมีประโยชน์ อาจเป็นข้อมูลเดียวกับที่ทีมรักษาความปลอดภัย ความเป็นส่วนตัว และการกำกับดูแลการปฏิบัติตามข้อกำหนดไม่อนุญาตให้ออกจากสภาพแวดล้อมขององค์กร

ดังนั้น ผู้นำองค์กรควรสอบถามว่าข้อมูล AI และข้อมูลการสังเกตการณ์ระบบของตนถูกประมวลผลที่ใด ใครเข้าถึงได้บ้าง เก็บรักษาไว้นานเท่าใด และสามารถวิเคราะห์ข้อมูลภายในขอบเขตความปลอดภัยที่มีอยู่ได้หรือไม่ การกำกับดูแลที่ดีต้องอาศัยการมองเห็นข้อมูล แต่การมองเห็นนั้นต้องไม่ก่อให้เกิดปัญหาใหม่ในการควบคุมข้อมูล

การวิเคราะห์ข้อมูลใกล้กับแหล่งข้อมูลยังช่วยให้เชื่อมโยงกิจกรรมของ AI เข้ากับแอปพลิเคชัน โครงสร้างพื้นฐาน และกระบวนการทางธุรกิจที่ได้รับผลกระทบได้ง่ายขึ้น ภาพรวมที่ครบถ้วนเช่นนี้ช่วยให้ทีมเข้าใจไม่เพียงว่าพวกเขาใช้จ่ายไปเท่าใด แต่ยังเข้าใจด้วยว่าการใช้จ่ายนั้นให้ผลตอบแทนอะไรกลับมา

มุ่งเพิ่มคุณค่า ไม่ใช่ปริมาณ

องค์กรที่ประสบความสำเร็จในระยะต่อไปของ AI สำหรับองค์กร ไม่จำเป็นต้องเป็นองค์กรที่ใช้โทเค็นมากที่สุดหรือใช้จ่ายน้อยที่สุด แต่จะเป็นองค์กรที่มองเห็นได้ว่าโมเดลและภาระงานใดสร้างผลลัพธ์ที่มีความหมาย แล้วนำความรู้นั้นมาใช้กำหนดแนวทางการนำไปใช้งาน

การทำเช่นนี้ต้องก้าวข้ามแดชบอร์ดต้นทุนของโมเดลที่แยกส่วนกัน ทีมต่าง ๆ จำเป็นต้องติดตามเส้นทางทั้งหมด ตั้งแต่คำขอของผู้ใช้ ผ่านการเรียกใช้โมเดล เครื่องมือ และโครงสร้างพื้นฐาน ไปจนถึงผลลัพธ์สุดท้าย พร้อมกับดูแลให้ข้อมูลละเอียดอ่อนอยู่ภายใต้การควบคุมที่เหมาะสมขององค์กร

Tokenmaxxing เป็นช่วงที่มีประโยชน์ เพราะช่วยส่งเสริมการทดลองและเผยให้เห็นว่า AI ทำอะไรได้บ้าง ส่วน Valuemaxxing คือแนวปฏิบัติที่ต้องตามมา โดยผสานการมองเห็นข้อมูล ต้นทุน และผลลัพธ์เข้าด้วยกัน เพื่อให้องค์กรทดลองต่อไปได้โดยไม่สูญเสียการควบคุมค่าใช้จ่ายหรือข้อมูลของตน

AI สำหรับองค์กรไม่จำเป็นต้องมีขนาดเล็กลงเพียงเพราะเริ่มได้รับใบเรียกเก็บเงินแล้ว แต่ต้องดำเนินการอย่างรอบคอบมากขึ้น โดยให้ความพยายามสอดคล้องกับระดับความยาก ให้โมเดลเหมาะกับงาน และให้การใช้จ่ายสอดคล้องกับคุณค่าที่วัดผลได้