เศรษฐกิจใหม่ของ AI สร้างขึ้นจากโทเค็น — แต่เรากำลังวัดมันผิด

เกิดการเปลี่ยนแปลงใน AI ที่ผู้คนส่วนใหญ่รู้สึก แต่ยังไม่เข้าใจอย่างเต็มที่: เราได้เปลี่ยนจากการนับคำขอไปสู่การนับโทเค็น

ในยุคเว็บ เราวัดระบบในคำขอต่อวินาที มันสะอาด สะดวก และแม่นยำ คำขอหนึ่งมา และคำตอบหนึ่งออก และคุณสามารถปรับขนาดโครงสร้างพื้นฐานรอบๆ โมเดลนั้น

การสรุปนั้นหายไป

ใน AI หน่วยพื้นฐานไม่ใช่คำขออีกต่อไป — มันคือโทเค็น ทุกๆ คำขอ ทุกๆ คำตอบ และทุกๆ ลำดับการให้เหตุผลถูกแบ่งออกเป็นโทเค็น ซึ่งแสดงถึงงานที่ระบบทำ ค่าใช้จ่ายที่เกิดขึ้น และคุณค่าที่สร้างขึ้นมากขึ้น

ตามธรรมชาติ อุตสาหกรรมได้รวมตัวกันรอบๆ การเปลี่ยนแปลงนี้ โดยการแนะนำเมตริก เช่น โทเค็นต่อวินาที ค่าใช้จ่ายต่อโทเค็น และแม้กระทั่งรายได้ต่อโทเค็น มันเหมือนกับว่าเราพบวิธีในการ量化ระบบ AI แล้ว แต่การสรุปนั้นไม่สมบูรณ์

การสรุปอุตสาหกรรม: โทเค็นเท่ากับค่า

มีเรื่องราวที่เติบโตขึ้นเกี่ยวกับว่าโทเค็นเป็นเงินใหม่ของ AI — ว่าโทเค็นมากขึ้นหมายถึงความฉลาดมากขึ้น และด้วยเหตุนี้จึงหมายถึงรายได้มากขึ้น มันเป็นความคิดที่น่าดึงดูด แต่มันทำให้เรื่องราวง่ายเกินไป เกี่ยวกับสิ่งที่เกิดขึ้นจริง ภายในระบบเหล่านี้

ไม่ใช่ทุกโทเค็นที่มีค่าเท่ากัน บางโทเค็นแสดงถึงงานจริง: วิเคราะห์ข้อมูล สร้างข้อมูลเชิงลึก อัตโนมัติกระบวนการทำงาน และสนับสนุนการตัดสินใจที่ขับเคลื่อนผลลัพธ์ทางธุรกิจ อีกบางส่วนนั้นมีความหมายน้อยกว่า: การสร้างเนื้อหาที่ไม่จริงจัง การทดลอง หรือกรณีการใช้งานที่ไม่เคยเข้าสู่การผลิต

คุณสามารถเห็นสิ่งนี้ภายในองค์กรแล้ว ทีมหนึ่งอาจสร้างโทเค็นหลายล้านเพื่อสนับสนุนผลผลิตของนักพัฒนาหรือการดำเนินงานของลูกค้า ซึ่งส่งผลกระทบต่อประสิทธิภาพและรายได้โดยตรง อีกทีมหนึ่งอาจสร้างโทเค็นจำนวนเท่าเดิมในการทดลองกับเครื่องมือที่ไม่เคยผ่านการผลิต ในกระดาษ โทเค็นดูเหมือนจะเท่ากัน แต่คุณค่าทางธุรกิจนั้นต่างกันโดยสิ้นเชิง

การรักษาโทเค็นทั้งหมดให้เท่ากันทำให้เกิดมุมมองที่บิดเบี้ยวเกี่ยวกับสิ่งที่ AI จริงๆ ทำภายในองค์กร องค์กรไม่ได้สร้างขึ้นจากปริมาณโทเค็น แต่จากสิ่งที่โทเค็นเหล่านั้นช่วยให้สำเร็จ

เพื่อเข้าใจความแตกต่างนั้น คุณต้องมองลึกๆ ไปยังวิธีการทำงานของระบบเหล่านี้

ทำไมคำถามที่สองของคุณจึงเร็วกว่าคำถามแรก

หากคุณเคยใช้เครื่องมืออย่าง ChatGPT คุณอาจสังเกตเห็นว่าคำถามที่สองของคุณมักจะเร็วกว่าคำถามแรก พฤติกรรมนั้นไม่ใช่เพราะโมเดลที่ฉลาดขึ้น แต่เป็นเพราะว่าระบบใช้ข้อมูลจากคำถามก่อนหน้า

ระบบ AI สมัยใหม่ไม่ได้ประมวลผลคำขอแต่ละรายการแยกกัน ระบบสร้างบริบท โดยเก็บคำถามและคำตอบก่อนหน้าไว้ในหน่วยความจำ ซึ่งมักจะเรียกว่า KV cache แคชนี้อยู่ใกล้กับ GPU เพื่อให้สามารถเข้าถึงได้อย่างรวดเร็วเมื่อสร้างคำตอบที่ตามมา

คำขอแรกมีค่าใช้จ่ายสูงเพราะมันเริ่มต้นสถานะ — การจัดสรรหน่วยความจำ การประมวลผลข้อมูลเข้า และการสร้างบริบท คำขอที่ตามมาใช้สถานะนั้นซ้ำ ทำให้ลดความหน่วงและปรับปรุงการตอบสนอง

การเปลี่ยนแปลงนี้มีความสำคัญมากขึ้นเมื่อหน้าต่างบริบทขยายจากพันไปเป็นแสนหรือแม้กระทั่งล้านโทเค็น ระบบที่เก็บบริบทไว้มากขึ้นจะกดดันหน่วยความจำและโครงสร้างพื้นฐานมากขึ้น ทำให้การตัดสินใจเกี่ยวกับสิ่งที่เก็บไว้ สิ่งที่บีบอัด หรือสิ่งที่ทิ้งไปเป็นเรื่องสำคัญ

จากมุมมองของผู้ใช้ มันเหมือนกับว่าระบบเร็วขึ้น จากมุมมองโครงสร้างพื้นฐาน มันเป็นการแลกเปลี่ยนที่ซับซ้อนระหว่างหน่วยความจำ ความหน่วง และค่าใช้จ่าย

นี่คือที่ที่งานจริงๆ กำลังเกิดขึ้น — ไม่ใช่แค่ในโมเดลเอง แต่ในระบบที่ล้อมรอบมัน

ข้อจำกัดสูงสุด: พลังงาน

เมื่อคุณพ้นไปจากประสิทธิภาพของโมเดล การสนทนาเปลี่ยนไปอย่างรวดเร็ว

ทีมที่ใช้ AI ในระดับใหญ่ไม่ได้ถามว่าโมเดลไหนดีที่สุด แต่ถามว่าจะรักษามันไว้อย่างไร

โครงสร้างพื้นฐาน AI กำลังดันขีดจำกัดทางกายภาพ: ความพร้อมของพลังงาน ความสามารถในการทำความเย็น และความกว้างของแบนด์วิธหน่วยความจำ ศูนย์ข้อมูลถูกออกแบบใหม่รอบๆ ข้อจำกัดเหล่านี้ และองค์กรที่ใช้ระบบ AI ระดับใหญ่เริ่มดำเนินงานเหมือนกับบริษัทสาธารณูปโภคมากกว่าบริษัทซอฟต์แวร์แบบดั้งเดิม

เรากำลังเห็นสิ่งนี้ในองค์กรขนาดใหญ่ที่สร้างโครงสร้างพื้นฐาน AI แล้ว โดยที่พลังงานและความเย็น — ไม่ใช่ความสามารถของโมเดล — กำลังเป็นข้อจำกัดหลัก

งาน AI ไม่ขยายตัวได้อย่างสะอาด หรือคาดการณ์ได้ มันเพิ่มขึ้นตามคำขอในการคำนวณ หน่วยความจำ และเครือข่ายในเวลาเดียวกัน การสร้างโทเค็นมากขึ้นไม่ใช่แค่เรื่องของการเพิ่ม GPU มากขึ้น แต่เป็นเรื่องของโครงสร้างพื้นฐานที่สามารถรักษาโหลดพลังงานและความร้อนได้หรือไม่ เพื่อให้ระบบเหล่านั้นทำงานได้อย่างมีประสิทธิภาพ

ค่าใช้จ่ายในการสร้างโทเค็นจึงขยายออกไปนอกเหนือจากค่าใช้จ่ายในการคำนวณ มันรวมถึงค่าไฟฟ้า ค่าทำความเย็น โครงสร้างพื้นฐานทางกายภาพ และความสามารถในการรักษาความสามารถในการทำงานภายใต้โหลดโดยไม่เสื่อมสภาพ

การอภิปรายเกี่ยวกับ “ค่าใช้จ่ายต่อโทเค็น” ส่วนใหญ่ไม่ได้สะท้อนความเป็นจริงนี้อย่างเต็มที่ ในระดับใหญ่ พลังงานกลายเป็นงบประมาณ ไม่ใช่แค่รายการอื่นในรายการ

อนาคตไม่ใช่โมเดลที่ใหญ่ขึ้น แต่เป็นระบบที่ดีกว่า

ในช่วงสองปีที่ผ่านมา อุตสาหกรรมมุ่งเน้นไปที่การเปรียบเทียบโมเดล โดยดูการเปรียบเทียบ การจัดอันดับ และการปรับปรุงความสามารถที่เพิ่มขึ้น

การมุ่งเน้นนั้นเริ่มเปลี่ยนไป

ในสภาพแวดล้อมการผลิต ประสิทธิภาพไม่ใช่เรื่องของโมเดลที่คุณเลือก แต่เป็นเรื่องของวิธีที่คุณใช้มัน องค์กรกำลังย้ายไปสู่ระบบของโมเดล — โดยรวมโมเดลขนาดใหญ่และเล็ก การส่งงานอย่างชาญฉลาด และการปรับให้เหมาะสมสำหรับค่าใช้จ่าย ความหน่วง และการไหลเวียนของงานทั้งหมด

แทนที่จะส่งคำขอทุกคำขอไปยังโมเดลขนาดใหญ่เพียงหนึ่งระบบจะแบ่งงานออกเป็นส่วนประกอบที่เล็กกว่า งานที่ง่ายขึ้นสามารถจัดการได้ด้วยโมเดลที่มีประสิทธิภาพมากกว่า ในขณะที่การให้เหตุผลที่ซับซ้อนมากขึ้นจะสงวนไว้สำหรับโมเดลที่ใหญ่ขึ้น บริบทจะถูกใช้ซ้ำทุกที่ที่เป็นไปได้ และกลยุทธ์การแคชจะถูกนำไปใช้อย่างจริงจัง

การตัดสินใจเหล่านี้มักจะมีผลกระทบต่อประสิทธิภาพและค่าใช้จ่ายมากกว่าการเปลี่ยนจากโมเดลหนึ่งไปอีกโมเดลหนึ่ง ในแง่นั้น โทเค็นยังคงเป็นหน่วยงาน แต่ระบบที่สร้างและจัดการมันกลายเป็นตัวแยกแยะที่แท้จริง

ชั้นที่ถูกมองข้ามมากที่สุดในระบบ AI

AI มักถูกอธิบายในแง่ของโมเดลในด้านหนึ่งและแอปพลิเคชันในอีกด้านหนึ่ง แต่ชั้นระหว่างนั้นคือที่ที่ความซับซ้อน — และโอกาส — ส่วนใหญ่อาศัยอยู่

ชั้นนี้ไม่ได้แค่ส่งคำขอ แต่ช่วย塑造มัน มันกำหนดว่า трафикไหลไปที่ไหน การตัดสินใจถูกบังคับใช้อย่างไร และระบบจะทำงานอย่างไรภายใต้สภาพแวดล้อมจริง

การส่งมอบและการรักษาความปลอดภัยไม่สามารถถือเป็นข้อกังวลแยกกันได้ ชั้นเดียวกับที่ส่งคำขอและจัดการบริบทก็คือที่ที่นโยบายถูกนำไปใช้ ความเสี่ยงถูกบรรเทา และความไว้วางใจถูกสร้างขึ้น

เมื่อความซับซ้อนเพิ่มขึ้น วิธีแก้ปัญหาเฉพาะจุดจะล้มเหลว สิ่งที่ต้องการคือแพลตฟอร์มที่รวมซึ่งสามารถประสานฟังก์ชันเหล่านี้ในเวลาจริง แทนที่จะเย็บปะติดปะหลังจากระยะไกล

นี่คือที่ที่การตัดสินใจเกี่ยวกับการแลกเปลี่ยนถูกทำ มันคือที่ที่ค่าใช้จ่ายถูกควบคุม ประสิทธิภาพถูกปรับให้เหมาะสม และการตัดสินใจด้านความปลอดภัยถูกบังคับใช้ในเวลาจริง เมื่อระบบ AI ขยายตัว ชั้นนี้จะกลายเป็นสำคัญมากขึ้น มันเป็นความแตกต่างระหว่างระบบที่ทำงานได้ดีในการเดโมและระบบที่ทำงานได้อย่างน่าเชื่อถือและมีประสิทธิภาพในการผลิต การเปลี่ยนแปลงนี้มีผลกระทบจริงต่อวิธีที่องค์กรออกแบบและจัดการระบบ AI

สิ่งนี้หมายถึงอะไรสำหรับองค์กร

เมื่อองค์กรมี AI เข้าสู่การผลิต คำถามไม่ใช่แค่ว่าจะใช้โมเดลไหน แต่เป็นว่าระบบที่อยู่รอบๆ โมเดลนั้นถูกออกแบบมาเพื่อทำงานอย่างไร

หมายความว่าพิจารณาเกินกว่าเมตริกโทเค็นและบันทึกของโมเดล และมุ่งเน้นไปที่ว่าคำขอถูกส่งไปที่ไหน บริบทถูกจัดการอย่างไร และนโยบายถูกบังคับใช้อย่างไรตลอดทั้งกระบวนการทำงาน

องค์กรส่วนใหญ่ยังคงเย็บปะติดปะหลังจากระยะไกล — และวิธีการนี้ไม่คงไว้ได้ภายใต้แรงกดดันการผลิตจริง

เรากำลังวัดสิ่งที่ไม่ถูกต้อง

โทเค็นให้การสรุปที่มีประโยชน์ มันให้อุตสาหกรรมวิธีในการ量化สิ่งที่เคยรู้สึกว่าไม่มีรูปทรง แต่มันไม่ใช่ภาพที่สมบูรณ์

ปัจจุบัน อุตสาหกรรมกำลังดึงดูดสิ่งที่วัดได้ง่ายที่สุด — จำนวนโทเค็น การไหลเวียนและเมตริกค่าใช้จ่าย — มากกว่าสิ่งที่สำคัญที่สุด โดยไม่มีบริบท ตัวเลขเหล่านั้นสามารถทำให้เข้าใจผิดได้

ระยะเวลาต่อไปของ AI จะไม่ได้ถูกกำหนดโดย谁ที่สร้างโทเค็นมากที่สุด มันจะถูกกำหนดโดยใครที่เข้าใจสิ่งที่โทเค็นเหล่านั้นแสดงถึง และใครสามารถสร้างระบบที่เปลี่ยนโทเค็นเหล่านั้นให้เป็นผลลัพธ์ที่มีความหมาย มีประสิทธิภาพ และขยายตัวได้

เพราะสุดท้าย โทเค็นไม่ใช่ผลิตภัณฑ์ มันแค่เป็นผลพลอยได้จากความฉลาดที่ถูกสร้างขึ้น