Perplexity เจาะลึกกลไกของเกตเวย์ LLM และความเสี่ยงในการใช้งานจริง

Perplexity เผยแพร่คู่มือเชิงปฏิบัติสำหรับเกตเวย์ LLMเมื่อวันที่ 27 ตุลาคม 2026 โดยอธิบายให้ทีมวิศวกรรมเข้าใจว่าชั้นตัวกลางกำหนดเส้นทาง ตรวจสอบสิทธิ์ แคช และบันทึกการเรียกใช้โมเดลอย่างไร พร้อมรวบรวมความเสี่ยงด้านความปลอดภัยและความน่าเชื่อถือที่เกิดจากการรวมข้อมูลรับรองของผู้ให้บริการไว้ในบริการเดียว

นิยามและประเภทของเกตเวย์

คู่มือนิยามเกตเวย์ LLM ว่าเป็น reverse proxy สำหรับการเรียกใช้โมเดล กล่าวคือ แอปพลิเคชันจะส่งคำขอไปยังเกตเวย์แทนการเชื่อมต่อกับผู้ให้บริการอย่าง OpenAI, Anthropic หรือ Google โดยตรง แล้วเกตเวย์จะส่งต่อคำขอพร้อมบังคับใช้กฎของผู้ดูแลระบบ คู่มือนำเสนอเกตเวย์ประเภทนี้ในฐานะทางออกของปัญหาการกระจัดกระจาย โดยเริ่มต้นด้วยโพสต์เมื่อเดือนกันยายน 2026 ใน Reddit ห้อง r/LLMDevs ซึ่งวิศวกรคนหนึ่งบรรยายถึงสถานที่ทำงานที่ทุกคนถือคีย์ของตนเองสำหรับ Claude, OpenAI, AWS Bedrock และผู้ให้บริการระบบอนุมานรายอื่น ๆ

ตารางเปรียบเทียบในคู่มือแบ่งเกตเวย์ออกเป็นสี่ประเภท API gateway ทำหน้าที่อยู่หน้าเซอร์วิสแบ็กเอนด์ และตรวจสอบว่าผู้เรียกใช้ผ่านการยืนยันตัวตนและยังอยู่ภายในขีดจำกัดอัตราการเรียกใช้หรือไม่ ส่วน LLM gateway อยู่หน้าแพลตฟอร์มผู้ให้บริการโมเดล และกำหนดว่าจะส่งคำขอไปยังโมเดลใด ใครเป็นผู้จ่ายค่าใช้บริการ และมีการส่งผลลัพธ์กลับมาหรือไม่ MCP gateway จะตรวจสอบว่าเอเจนต์สามารถเรียกใช้เครื่องมือที่กำหนดด้วยอาร์กิวเมนต์ที่ระบุได้หรือไม่ คู่มือนี้ใช้คำว่า “AI gateway” เรียกผลิตภัณฑ์ของผู้จำหน่ายที่รวมบทบาทเหล่านี้บางส่วนเข้าด้วยกัน

วงจรการทำงานของคำขอ 6 ขั้นตอน

คู่มืออธิบายกลไกการทำงานโดยไล่ตามคำขอหนึ่งรายการตั้งแต่แอปพลิเคชันไปยังโมเดลและย้อนกลับมา ขั้นแรก แอปพลิเคชันส่งคำขอแชต ซึ่งมักอยู่ในรูปแบบที่เข้ากันได้กับ OpenAI ไปยังเอนด์พอยต์ของเกตเวย์ เกตเวย์จะตรวจสอบข้อมูลรับรอง ซึ่งมักเป็นคีย์เสมือนที่ออกให้แก่ทีมหรือผลิตภัณฑ์ และหากมีการตั้งค่าระบบป้องกันสำหรับข้อมูลขาเข้าไว้ ก็สามารถสแกนพรอมป์ต์เพื่อหาข้อมูลละเอียดอ่อนหรือความพยายามที่จะลบล้างคำสั่งของโมเดลได้ หากเปิดใช้การแคช คำขอที่ตรงตามเงื่อนไขและตรงกับรายการที่บันทึกไว้อาจได้รับคำตอบจากผลลัพธ์ที่บันทึกไว้แล้ว และเกตเวย์บางแห่งมีการแคชเชิงความหมาย ซึ่งจับคู่คำขอที่ประเมินว่าคล้ายกันแทนที่จะต้องเหมือนกันทุกประการ จากนั้นเกตเวย์จะค้นหาเส้นทางที่ตรงกันในการกำหนดค่า และสามารถเปลี่ยนไปใช้ผู้ให้บริการสำรองได้หากผู้ให้บริการรายแรกหมดเวลารอ เกตเวย์จะแปลงคำขอให้อยู่ในรูปแบบของผู้ให้บริการที่เลือก ตรวจสอบสิทธิ์การเรียกใช้ขาออก แล้วแปลงคำตอบกลับให้อยู่ในรูปแบบที่แอปพลิเคชันใช้ได้ เมื่อเปิดใช้การบันทึก เกตเวย์จะบันทึกว่าใครเป็นผู้เรียกใช้ โมเดลใดเป็นผู้ให้บริการ จำนวนโทเคน เวลาแฝง และค่าใช้จ่าย

ความเสี่ยงด้านความปลอดภัยและความน่าเชื่อถือ

คำเตือนสำคัญของคู่มือคือ เกตเวย์เป็นจุดรวมข้อมูลรับรอง ทีมความปลอดภัยของ Microsoft ได้แจกแจงข้อมูลที่อาจจัดเก็บหรือเรียกดูได้จากการติดตั้ง LiteLLM ได้แก่ คีย์ API ของผู้ให้บริการ คีย์หลักของ LiteLLM ระเบียนคีย์เสมือน สตริงการเชื่อมต่อฐานข้อมูล การกำหนดค่าเส้นทาง และข้อมูลนโยบายของผู้เช่า ในโพสต์เมื่อวันที่ 26 สิงหาคม 2026 Microsoft กล่าวถึงกรณีการเจาะระบบเกตเวย์ LiteLLM ที่ตรวจพบ ซึ่งผู้โจมตีขโมยข้อมูลรับรองจากสภาพแวดล้อมขณะทำงานของเกตเวย์

เมื่อวันที่ 13 ตุลาคม 2026 Check Point Research เปิดเผยช่องโหว่ความเสี่ยงสูงสองรายการใน LiteLLM ได้แก่ CVE-2026-35029 ซึ่งเป็นข้อบกพร่องด้านการควบคุมการเข้าถึงที่ทำให้ผู้ใช้ที่ผ่านการยืนยันตัวตนแล้ว รวมถึงผู้ใช้ที่มีสิทธิ์อ่านอย่างเดียว เข้าถึงฟังก์ชันการดูแลระบบและยึดควบคุมเกตเวย์ได้ และ CVE-2026-59823 ซึ่งเป็นช่องโหว่การปลอมแปลงคำขอฝั่งเซิร์ฟเวอร์ที่เปิดทางให้ผู้ใช้เปลี่ยนเส้นทางคำขอของเกตเวย์ไปยังเซิร์ฟเวอร์ที่ผู้โจมตีควบคุม และดักจับคีย์ API ของผู้ให้บริการ AI ได้ ทั้งสองช่องโหว่ได้รับการแก้ไขแล้วใน LiteLLM เวอร์ชัน 1.83.9 Check Point รายงานว่า LiteLLM มียอดดาวน์โหลด 97 ล้านครั้งต่อเดือน และมีดาวบน GitHub มากกว่า 59,000 ดวง พร้อมระบุว่าเริ่มประสานงานการเปิดเผยข้อมูลกับ LiteLLM ในเดือนตุลาคม 2025

คู่มือยังแนะนำให้ทีมกำหนดนโยบายเมื่อระบบป้องกันทำงานล้มเหลว โดยอธิบายว่าฮุกคือจุดในเส้นทางของคำขอที่เกตเวย์ส่งเนื้อหาให้ระบบสแกนภายนอกเพื่อตัดสินผล พร้อมระบุว่าเอกสารของ Portkey เรียกฮุกเหล่านี้ว่า before_request_hooks และ after_request_hooks ส่วน TrueFoundry ใช้ฮุกสี่จุด โดยเพิ่มการตรวจสอบก่อนและหลังการเรียกใช้เครื่องมือ MCP

ในด้านความน่าเชื่อถือ คู่มือยกตัวอย่างเหตุขัดข้องที่มีการบันทึกไว้ รายงานของ Cloudflare เองเกี่ยวกับเหตุขัดข้องเมื่อวันที่ 12 มิถุนายน 2025 ระบุว่าอัตราข้อผิดพลาดของ AI Gateway พุ่งสูงสุดถึง 97% ของคำขอ เนื่องจาก AI Gateway พึ่งพา Workers KV สำหรับการกำหนดค่าของไคลเอ็นต์และระบบภายใน เหตุขัดข้องโดยรวมกินเวลา 2 ชั่วโมง 28 นาที ส่วนรายงานวิเคราะห์เหตุขัดข้องย้อนหลังของ OpenRouterเกี่ยวกับเหตุขัดข้องเมื่อวันที่ 17 และ 19 กุมภาพันธ์ 2026 ระบุว่าเหตุการณ์ดังกล่าวกินเวลา 38 และ 35 นาที หลังจากระบบแคชของผู้ให้บริการภายนอกขัดข้อง ส่งผลให้เกิดข้อผิดพลาด 401 “ไม่พบผู้ใช้” และนำไปสู่การแก้ไขหลายประการ รวมถึงการใช้เซอร์กิตเบรกเกอร์และการส่งข้อผิดพลาด 503 แทน 401 เมื่อปัญหาโครงสร้างพื้นฐานขัดขวางการตรวจสอบสิทธิ์

ตัวเลือกการติดตั้ง ราคา และรายละเอียดผู้ให้บริการ

คู่มือแจกแจงแนวทางการติดตั้งไว้สี่แบบ ทีมสามารถพัฒนาเกตเวย์พื้นฐานขึ้นใช้เองภายในองค์กร โดยรับคำขอ ตรวจสอบคีย์ของผู้เรียกใช้ เพิ่มข้อมูลรับรองของผู้ให้บริการ ส่งต่อการเรียกใช้ และบันทึกผล หรือโฮสต์เกตเวย์โอเพนซอร์สด้วยตนเอง โดยมี LiteLLM, Bifrost และ Helicone เป็นตัวเลือก ตัวอย่างเกตเวย์ที่มีบริการจัดการ ได้แก่ Cloudflare AI Gateway, Vercel AI Gateway, OpenRouter และเกตเวย์แบบโฮสต์ของ Portkey แนวทางที่สี่คือการต่อยอด API gateway ที่บริษัทใช้งานอยู่แล้ว โดยมี Kong AI Gateway, นโยบาย AI gateway ของ Apigee และ AI gateway ของ Azure API Management เป็นตัวอย่าง

ในด้านค่าใช้จ่าย คู่มือระบุว่า LLM Gateway มีตั้งแต่ซอฟต์แวร์โอเพนซอร์สที่ใช้ฟรี ไปจนถึงแพ็กเกจแบบชำระเงินที่เริ่มต้นราว 50 ดอลลาร์ต่อเดือน โดยราคาแบบกำหนดเองสำหรับองค์กรจะแตกต่างกันไป นอกจากนี้ บางบริการยังคิดค่าธรรมเนียมเป็นเปอร์เซ็นต์แทน โดยคู่มือระบุว่าแพ็กเกจ Standard ของ OpenRouter คิดเพิ่ม 5.5% เมื่อซื้อเครดิต

คู่มือปิดท้ายด้วยคำตอบเฉพาะของผู้ให้บริการแต่ละราย โดยระบุว่า Amazon Bedrock AgentCore Gateway รองรับการเรียกใช้โมเดลผ่านสิ่งที่ AWS เรียกว่า “เป้าหมายการอนุมาน” ซึ่งช่วยให้แอปพลิเคชันใช้ปลายทางเดียวเพื่อเข้าถึงผู้ให้บริการต่าง ๆ รวมถึง Amazon Bedrock, OpenAI และ Anthropic ได้ คู่มือยังระบุว่า Agent API ของ Perplexity รองรับอินเทอร์เฟซ Responses API ของ OpenAI ทำให้ทีมต่าง ๆ สามารถนำไลบรารีไคลเอนต์ OpenAI ที่มีอยู่แล้วกลับมาใช้ได้ และ Agent API ยังให้ผู้ใช้แสดงรายชื่อโมเดลได้สูงสุด 5 โมเดล รวมถึงโมเดลจากผู้ให้บริการต่างราย โดยจัดเรียงตามลำดับที่ต้องการได้ นอกจากนี้ คู่มือยังกล่าวถึง Numbat ซึ่งเป็นซอฟต์แวร์โอเพนซอร์สของ Perplexity ที่เชื่อมต่อกับเอเจนต์ที่รองรับผ่านฮุกในเครื่อง และตรวจสอบการดำเนินการที่วางแผนไว้ เช่น คำสั่งเชลล์หรือการเขียนไฟล์ ก่อนที่การดำเนินการเหล่านั้นจะเริ่มขึ้นได้ โดยสามารถเลือกเปิดใช้การบล็อกได้ แต่ค่าเริ่มต้นคือปิด