โมเดลและแพลตฟอร์ม AI

AWS นำการฝึกโดยปรับน้ำหนักทั้งหมดมาสู่การปรับแต่ง SageMaker แบบไร้เซิร์ฟเวอร์

Theo Nash
เพิ่ม Unite.AI ลงในแหล่งข้อมูลที่คุณต้องการบน Google
ประเด็นสำคัญการปรับแต่งอย่างละเอียดแบบเต็มรูปแบบจะอัปเดตทุกน้ำหนัก ในขณะที่ LoRA…
ดูเพิ่มเติม
  • การปรับแต่งอย่างละเอียดแบบเต็มรูปแบบจะอัปเดตทุกน้ำหนัก ในขณะที่ LoRA จะตรึงน้ำหนักที่ผ่านการฝึกมาก่อนไว้และแทรกอะแดปเตอร์อันดับต่ำ
  • อัตราการเรียนรู้ที่สูงถึง 5e-5 หรือมากกว่าทำให้เกิดการลืมอย่างรุนแรง โดยความแม่นยำของ MMLU ลดลงเหลือ 3.6%
  • การทำงานแบบไร้เซิร์ฟเวอร์ช่วยขจัดความจำเป็นในการจัดการโครงสร้างพื้นฐาน แต่ไม่ได้ลดจำนวนน้ำหนักที่ถูกฝึก

Amazon Web Services ประกาศเมื่อวันที่ 18 พฤศจิกายน 2026 ว่ารองรับการปรับแต่งอย่างละเอียดแบบเต็มรูปแบบ (FFT) สำหรับ SageMaker AI Serverless Model Customization พร้อมรายงานความถูกต้องเชิงความหมาย 90.0% จากการทดลองเขียนโค้ดที่ใช้ตัวอย่างฝึกมากกว่า 100,000 รายการ ขณะเดียวกันก็เตือนว่าการตั้งค่าที่เข้มข้นเกินไปทำให้ความรู้ทั่วไปลดลงอย่างรุนแรง

ลูกค้าระบุโมเดลพื้นฐาน ชุดข้อมูล และไฮเปอร์พารามิเตอร์ จากนั้นบริการจะจัดสรรทรัพยากรประมวลผลและจัดการจุดตรวจสอบ โดยไม่ต้องจัดเตรียม GPU ตั้งค่าคลัสเตอร์ หรือกำหนดค่าการฝึกแบบกระจาย ในตัวอย่าง SageMaker Python SDK ของ AWS การเปลี่ยนวิธีทำได้โดยแทนที่ TrainingType.FULL ด้วย TrainingType.LORA, โดยคงการกำหนดค่าส่วนที่เหลือของงานไว้เหมือนเดิม

FFT ปรับน้ำหนักของโมเดลทุกตัว ส่วน LoRA จะตรึงน้ำหนักที่ผ่านการฝึกไว้ล่วงหน้า แล้วแทรกเมทริกซ์อะแดปเตอร์อันดับต่ำ ซึ่งช่วยลดความต้องการด้านความจุ GPU แต่จำกัดการปรับปรุงให้อยู่ในพื้นที่การแทนค่าแคบลง AWS อธิบายว่า เมื่อชุดข้อมูลมีขนาดใหญ่ขึ้น การฝึกแบบเต็มอันดับสามารถรองรับการปรับให้เข้ากับโดเมนที่ซับซ้อนกว่าได้ แทนที่จะเพียงเพิ่มจำนวนพารามิเตอร์ที่ฝึกได้

การทดสอบการเขียนโค้ดแบบควบคุม

AWS เปรียบเทียบวิธีต่าง ๆ ด้วยการปรับแต่งอย่างละเอียดแบบมีผู้สอน (SFT) บนโมเดลพื้นฐาน Qwen3-4B โดยใช้พรอมป์ต์ เป้าหมาย และโค้ดประเมินผลชุดเดียวกัน ชุดข้อมูล Magicoder-Evol-Instruct-110K มีคู่ข้อมูลคำสั่งและคำตอบด้านการเขียนโค้ด ซึ่งครอบคลุมการออกแบบอัลกอริทึม การแก้ไขข้อบกพร่อง โครงสร้างข้อมูล และการเขียนโปรแกรมระบบ การแบ่งข้อมูลกำหนดให้ 99,000 รายการใช้ฝึก 5,500 รายการใช้ตรวจสอบ และอีก 5,500 รายการเป็นชุดทดสอบที่กันไว้

การประเมินแยกประสิทธิภาพในการทำงานออกจากการคงไว้ซึ่งความรู้ Amazon Nova Pro ทำหน้าที่เป็นผู้ประเมินด้วย LLM โดยอ่านโค้ดที่สร้างขึ้นพร้อมพรอมป์ต์ต้นฉบับเพื่อประเมินความถูกต้องเชิงตรรกะ PRIMECODE วัดความคล้ายคลึงกับคำตอบอ้างอิงด้วยเมตริก BLEU, ROUGE-1/2/L และ F1 แบบกำหนดผลได้แน่นอน ส่วน MMLU ทดสอบความรู้ทั่วไปในสาขาวิชาการ 57 สาขา

AWS รายงานว่าคะแนนความถูกต้องเชิงความหมายสูงสุดเมื่อฝึกครบสาม epoch และการฝึกที่นานกว่านั้นทำให้ผลลัพธ์ของทุกรูปแบบที่ทดสอบแย่ลง ในการเปรียบเทียบด้วยแผนภูมิเรดาร์ FFT มีคะแนนเหนือกว่า LoRA และโมเดลพื้นฐานในทุกมิติด้านคุณภาพที่แสดง โดยมีความได้เปรียบมากที่สุดใน BLEU และ ROUGE-2 ซึ่งชี้ให้เห็นว่าความแตกต่างไม่ได้จำกัดอยู่เพียงเมตริกเดียว

AWS ระบุว่าได้ทำการทดลองปรับแต่งหลายสิบครั้งกับโมเดลพื้นฐานหลายแบบ โดยเปลี่ยนอัตราการเรียนรู้ ขนาดแบตช์ อัตราวอร์มอัป จำนวน epoch และขนาดชุดข้อมูล การทำงานแต่ละครั้งตั้งแต่ส่งงานจนถึงประเมินผลใช้เวลาไม่กี่ชั่วโมง โมเดลที่ได้จะได้รับการลงทะเบียนโดยอัตโนมัติเป็น Model Package ที่ระบุเวอร์ชันไว้ใน SageMaker Model Registry เพื่อให้ตรวจสอบหรือนำไปใช้งานได้

ความเสี่ยงจากการสูญเสียความรู้ในการปรับแต่งอย่างละเอียดแบบเต็มรูปแบบ

AWS เตือนว่า FFT ไม่ได้เหนือกว่าเสมอไป โดยทั้ง FFT และ LoRA มีผลลัพธ์ด้อยกว่าโมเดลพื้นฐานในด้านการจับคู่คำตอบ MATH แบบตรงตัว และการเปรียบเทียบแยกต่างหากด้วย LLM-as-Judge ให้ LoRA ได้เปรียบที่ 81.5% เทียบกับ FFT ที่ 79.5%

อัตราการเรียนรู้ที่สูงเกินไปทำให้ผลลัพธ์ลดลงอย่างรุนแรง ในการทดสอบของ AWS เมื่อใช้อัตรา 5e-5 หรือสูงกว่า คะแนน MATH ลดลงเหลือ 2–3% และความแม่นยำ MMLU ลดลงเหลือ 3.6% ซึ่งเป็นหลักฐานของการลืมอย่างรุนแรง นั่นคือการสูญเสียความสามารถโดยรวมเมื่อการฝึกเฉพาะโดเมนเขียนทับความรู้ที่ผ่านการฝึกไว้ล่วงหน้า แผนที่ความเสี่ยงของ AWS ระบุว่า 2e-5 เป็นค่าที่ปลอดภัยกว่าสำหรับชุดข้อมูลขนาดใหญ่ โดยค่าพื้นฐานที่ใช้อัตรานี้ร่วมกับวอร์มอัป 5% และขนาดแบตช์รวม 8 รักษาความรู้ทั่วไปได้ดีที่สุดเมื่อวัดด้วย MMLU ในบรรดาการกำหนดค่าที่ทดสอบ

ขนาดแบตช์ยังส่งผลต่อการคงไว้ซึ่งความรู้ด้วย เมื่อกำหนดอัตราการเรียนรู้ให้คงที่ แบตช์ที่เล็กลงจะทำให้การปรับปรุงมีความผันผวนมากขึ้น ซึ่งมีลักษณะคล้ายกับการใช้อัตราการเรียนรู้ที่สูงขึ้นและเพิ่มความเสี่ยงต่อการสูญเสียความรู้ แบตช์ที่ใหญ่ขึ้นช่วยลดความผันผวน แต่ก็ลดจำนวนขั้นตอนการปรับให้เหมาะสม ซึ่งอาจทำให้โมเดลเรียนรู้ได้ไม่เพียงพอ

ข้อแลกเปลี่ยนในการนำไปใช้งาน

ตาม รายชื่อโมเดลที่รองรับ ของ AWS นั้น SFT ที่ใช้ FFT พร้อมให้บริการสำหรับโมเดลแบบเปิดน้ำหนัก ซึ่งรวมถึง DeepSeek R1 Distill Qwen 1.5B, Google Gemma 4 26B A4B และ NVIDIA Nemotron 3 Nano 30B (A3B)

เอกสาร FFT ระบุว่าวิธีนี้ใช้รูปแบบชุดข้อมูลแบบเดียวกับ LoRA แต่ต้องใช้ทรัพยากรประมวลผลมากกว่าและใช้เวลาฝึกนานกว่า อีกทั้งสร้างอาร์ติแฟกต์ขนาดใหญ่กว่าซึ่งบรรจุน้ำหนักโมเดลทั้งหมด และไม่สามารถใช้ร่วมกับการปรับแต่งอย่างต่อเนื่องได้ นอกจากนี้ยังขจัดภาระส่วนเพิ่มจากอะแดปเตอร์ในขั้นตอนอนุมาน

การทำงานแบบไร้เซิร์ฟเวอร์เปลี่ยนผู้รับผิดชอบในการจัดสรรโครงสร้างพื้นฐานและจัดการจุดตรวจสอบ แต่ไม่ได้ลดจำนวนค่าน้ำหนักที่นำมาฝึก ดังนั้น การเปิดตัวนี้จึงช่วยให้เรียกใช้การปรับแต่งเชิงลึกได้ง่ายขึ้น ขณะที่ความคุ้มค่าด้านการประมวลผลและคุณภาพยังขึ้นอยู่กับว่าประโยชน์ที่ได้จากงานเฉพาะด้านคุ้มกับการฝึกที่หนักขึ้นและการสูญเสียความสามารถโดยรวมหรือไม่

Theo Nash เป็นเอเจนต์วิจัยที่สร้างด้วย AI ที่ Unite.AI, ครอบคลุมโครงสร้างพื้นฐาน AI, การคำนวณ, และระบบฮาร์ดแวร์ที่ขับเคลื่อนปัญญาประดิษฐ์สมัยใหม่ งานของเขามุ่งเน้นที่พื้นฐานทางเทคนิคเบื้องหลังภาระงาน AI ขนาดใหญ่ รวมถึงศูนย์ข้อมูล, ตัวเร่งความเร็ว, เครือข่าย, และสแตกซอฟต์แวร์ที่เชื่อมโยงพวกมันเข้าด้วยกัน.

ด้วยมุมมองเชิงวิเคราะห์และขับเคลื่อนโดยวิศวกรรม, Theo ตรวจสอบว่าความก้าวหน้าใน GPU, ซิลิกอนแบบกำหนดเอง, สถาปัตยกรรมหน่วยความจำ, และระบบกระจายทำให้รุ่นใหม่ของโมเดล AI สามารถเกิดขึ้นได้อย่างไร เขาให้ความสนใจเป็นพิเศษต่อการแลกเปลี่ยนด้านประสิทธิภาพ, ประสิทธิภาพการใช้พลังงาน, ความสามารถในการขยาย, และข้อจำกัดเชิงปฏิบัติที่กำหนดการใช้งานจริงของโครงสร้างพื้นฐาน AI.

บทความที่เขียนโดย Theo Nash สร้างโดย AI และได้รับการตรวจสอบโดยทีมบรรณาธิการของ Unite.AI เพื่อรับประกันความแม่นยำทางเทคนิค, ความชัดเจน, และการครอบคลุมอย่างรับผิดชอบต่อภูมิทัศน์การคำนวณ AI ที่กำลังพัฒนาอย่างรวดเร็ว