10 เครื่องมือ LLM ที่ดีที่สุดสำหรับรันโมเดลในเครื่อง (พฤศจิกายน 2026)

การรัน LLM ในเครื่องหมายถึงการเลือกทั้งโมเดลและซอฟต์แวร์ที่จะโหลดโมเดล ให้บริการโมเดล หรือใช้ทำงานร่วมกับโมเดล ทั้งสองอย่างเป็นคนละเรื่องกัน แอปแชตบนเดสก์ท็อป อินเทอร์เฟซสำหรับทีม และเอนจินประมวลผลอนุมานต่างก็มีประโยชน์ แต่แต่ละอย่างแก้ปัญหาคนละแบบ และมักทำงานร่วมกันได้

เราได้ประเมินเครื่องมือทั้ง 10 รายการด้านล่างอย่างเป็นอิสระ โดยพิจารณาจากขั้นตอนการทำงานในเครื่อง จุดเด่นในการใช้งานจริง ภาระในการตั้งค่า และความเหมาะสมสำหรับผู้ใช้รายบุคคลหรือนักพัฒนา เรายังคงแนะนำ Ollama เป็นตัวเลือกหลักสำหรับสภาพแวดล้อมรันไทม์ในเครื่องที่นำกลับมาใช้ซ้ำได้ ส่วน LM Studio เป็นทางเลือกที่โดดเด่นที่สุดสำหรับผู้ที่เน้นใช้งานบนเดสก์ท็อป การจัดอันดับสะท้อนความเหมาะสมกับขั้นตอนการทำงาน ไม่ใช่ผลการทดสอบความเร็วในการประมวลผลอนุมาน ผู้เชี่ยวชาญเฉพาะทางที่อยู่ในอันดับต่ำกว่าอาจเป็นตัวเลือกที่ดีที่สุดสำหรับการติดตั้งใช้งานด้านเทคนิค

คู่มือนี้เปรียบเทียบเครื่องมือ ไม่ใช่ความฉลาดของโมเดล หากต้องการดูตัวเลือกโมเดลที่ดาวน์โหลดได้ โปรดอ่านคู่มือของเราเกี่ยวกับ LLM แบบโอเพนซอร์สและโมเดลที่เปิดเผยค่าน้ำหนัก นอกจากนี้ ควรแยกความสามารถในการทำงานในเครื่องออกจากการประมวลผลในเครื่องด้วย เพราะปัจจุบันแอปพลิเคชันจำนวนมากให้บริการโมเดลบนคลาวด์ การค้นหาเว็บ หรือเครื่องมือระยะไกลควบคู่กับการประมวลผลอนุมานบนอุปกรณ์

เปรียบเทียบเครื่องมือที่ดีที่สุดสำหรับรัน LLM ในเครื่อง

คุณต้องการเครื่องมือ AI ในเครื่องประเภทใด

สำหรับการทำงานบนเดสก์ท็อปส่วนบุคคล: เริ่มต้นด้วย LM Studio หรือ Jan สำหรับการแชต, AnythingLLM หรือ GPT4All สำหรับขั้นตอนการทำงานกับเอกสาร และ Msty Studio หากต้องการพื้นที่ทำงานที่เป็นระเบียบยิ่งขึ้นสำหรับใช้หลายโมเดล ควรพิจารณา TextGen เมื่อการทดลองและการควบคุมอย่างละเอียดมีความสำคัญมากกว่าความเรียบง่าย

สำหรับแอปพลิเคชันและบริการที่ใช้ร่วมกัน: Ollama ให้บริการเซิร์ฟเวอร์โมเดลในเครื่องที่ใช้งานสะดวก, llama.cpp ให้คุณควบคุมเอนจินได้โดยตรง และ LocalAI รองรับการประมวลผลอนุมานหลายประเภทผ่านชั้น API ส่วนกลาง Open WebUI เป็นอินเทอร์เฟซที่ใช้ร่วมกันได้ ซึ่งสามารถทำงานอยู่เหนือเอนจินได้ การติดตั้งส่วนติดต่อผู้ใช้เพียงอย่างเดียวไม่ได้ติดตั้งโมเดลที่มีความสามารถ หรือจัดหาฮาร์ดแวร์สำหรับรันโมเดลให้ด้วย

10 เครื่องมือ LLM ที่ดีที่สุดสำหรับรันโมเดลในเครื่อง

1. Ollama

ตัวอย่างนี้แสดงขั้นตอนการทำงานที่เชื่อมต่อกับ Ollama นับจากนั้นเอนจินเดสก์ท็อปที่ติดตั้งมาในตัวของ AnythingLLM ก็เปลี่ยนไปแล้ว ดูรายละเอียดความแตกต่างได้ในหัวข้อแนะนำผลิตภัณฑ์ด้านล่าง

เหมาะสำหรับ: การให้บริการโมเดลในเครื่องและการเชื่อมต่อกับเครื่องมือสำหรับนักพัฒนา เรายังคงแนะนำ Ollama เป็นตัวเลือกแรกสำหรับผู้อ่านที่ต้องการรากฐานสำหรับ AI ในเครื่องที่นำกลับมาใช้ซ้ำได้ Ollama จัดการการดาวน์โหลดโมเดลและให้บริการโมเดลแก่แอปพลิเคชัน จึงมีประโยชน์มากกว่าการใช้ในหน้าต่างแชตเพียงแห่งเดียว นักพัฒนาสามารถเชื่อมต่อจุดเชื่อมต่อในเครื่องเข้ากับซอฟต์แวร์ของตนเอง ขณะที่อินเทอร์เฟซอื่น ๆ สามารถใช้ Ollama เป็นเอนจินเบื้องหลังขั้นตอนการทำงานกับเอกสารหรือการแชตได้

ข้อดีคือขั้นตอนการจัดการโมเดลค่อนข้างเรียบง่าย และมีระบบนิเวศโดยรอบที่รองรับอย่างกว้างขวาง ผู้ใช้สามารถเริ่มจากโมเดลที่รองรับเพียงโมเดลเดียว ตรวจสอบว่าเหมาะกับเครื่องหรือไม่ แล้วนำการตั้งค่านั้นไปใช้ซ้ำกับแอปพลิเคชันต่าง ๆ ได้ วิธีนี้ช่วยแยกการเลือกเซิร์ฟเวอร์โมเดลออกจากการเลือกอินเทอร์เฟซ อย่างไรก็ตาม การที่ API รองรับรูปแบบคำขอที่คุ้นเคยไม่ได้รับประกันว่าโมเดลทุกตัวจะรองรับเครื่องมือ รูปแบบผลลัพธ์ที่มีโครงสร้าง หรือข้อมูลภาพแบบเดียวกัน

ประเด็นสำคัญในปัจจุบันคือ Ollama มีทั้งโมเดลที่ทำงานในเครื่องและโมเดลบนคลาวด์ หากต้องการประมวลผลบนอุปกรณ์ ให้เลือกโมเดลในเครื่องที่ดาวน์โหลดไว้แล้ว เอกสารของ Ollama ยังระบุวิธีตั้งค่าให้ทำงานในเครื่องเท่านั้น โดยปิดฟีเจอร์บนคลาวด์และการค้นหาเว็บ เราจัดให้ Ollama อยู่อันดับแรกเพราะมีความยืดหยุ่นและเชื่อมต่อกับระบบอื่นได้ดี ไม่ใช่เพราะเป็นพื้นที่ทำงานกับเอกสารที่เรียบง่ายที่สุดโดยอัตโนมัติ หรือเป็นเอนจินที่เร็วที่สุดบนอุปกรณ์ทุกเครื่อง ก่อนเพิ่มขนาดบริบทหรือจำนวนคำขอที่ทำงานพร้อมกัน ให้ตรวจสอบตำแหน่งที่จัดเก็บโมเดลและการใช้หน่วยความจำ

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ Ollama.

ไปที่ Ollama

2. LM Studio

เหมาะสำหรับ: ค้นหาโมเดลบนเดสก์ท็อป สนทนา และใช้ API ในเครื่อง LM Studio เป็นทางเลือกที่เน้นการใช้งานบนเดสก์ท็อปที่โดดเด่นที่สุดของเรา สำหรับผู้ที่ต้องการค้นหา ดาวน์โหลด และใช้งานโมเดลในเครื่องผ่านแอปพลิเคชันแบบภาพ นอกจากนี้ยังมีเซิร์ฟเวอร์ในเครื่องและเครื่องมือสำหรับนักพัฒนา จึงเหมาะสำหรับการต่อยอดจากการทดลองแบบโต้ตอบไปสู่การเชื่อมต่อกับแอปพลิเคชัน ผู้อ่านที่ต้องการตรวจสอบโมเดลและการตั้งค่าผ่านอินเทอร์เฟซแบบกราฟิกก็อาจเลือกใช้แทน Ollama ได้อย่างสมเหตุสมผล

ปัจจุบันผลิตภัณฑ์นี้นำเสนอ Bionic ซึ่งเป็นเอเจนต์สำหรับงานและการเขียนโค้ดอย่างโดดเด่น การเพิ่มความสามารถนี้ทำให้ประสบการณ์ใช้งานกว้างกว่าการสนทนาแบบทั่วไป แต่ผู้อ่านควรแยกความสามารถของเอเจนต์ออกจากระบบรันไทม์ของโมเดลที่อยู่เบื้องหลัง โมเดลที่ดาวน์โหลดไว้รองรับการสนทนาในเครื่อง การโต้ตอบกับเอกสาร และการให้บริการโมเดลในเครื่องได้ ส่วนประโยชน์ของเอเจนต์ก็ยังขึ้นอยู่กับความสามารถของโมเดลและเครื่องมือที่เอเจนต์เข้าถึงได้ เอกสารสำหรับการใช้งานแบบออฟไลน์ของ LM Studio อธิบายขั้นตอนการทำงานหลักเหล่านี้ในเครื่องไว้อย่างชัดเจน

จุดเด่นหลักคืออินเทอร์เฟซที่ใช้งานง่าย โดยยังเปิดทางให้พัฒนาต่อยอดได้ ข้อจำกัดในการใช้งานจริงอยู่ที่ความเข้ากันได้ของโมเดล หน่วยความจำที่มี และความแตกต่างระหว่างการประมวลผลในเครื่องกับการประมวลผลบนโฮสต์ ตัวเลือกบนคลาวด์ที่มีนโยบายความเป็นส่วนตัวก็ยังคงเป็นการประมวลผลบนคลาวด์ ก่อนพึ่งพาการตั้งค่าแบบออฟไลน์ ให้ดาวน์โหลดโมเดลและส่วนประกอบรันไทม์ที่จำเป็น แล้วทดสอบขั้นตอนการทำงานที่ต้องการขณะตัดการเชื่อมต่ออินเทอร์เน็ต เปรียบเทียบเครื่องมือสำหรับนักพัฒนาที่คุณจำเป็นต้องใช้จริง แทนที่จะเลือกจากตัวอย่างการสาธิตเอเจนต์บนหน้าแรกเพียงอย่างเดียว

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ LM Studio.

ไปที่ LM Studio

3. Open WebUI

เหมาะสำหรับ: อินเทอร์เฟซ AI แบบโฮสต์เองที่ใช้ร่วมกันได้ ควรมอง Open WebUI เป็นอินเทอร์เฟซและชั้นแอปพลิเคชันที่โฮสต์เอง มากกว่าจะเป็นเช็กพอยต์โมเดลคู่แข่งหรือเอนจินประมวลผลโมเดลเพียงตัวเดียว โดยเชื่อมต่อกับ Ollama และ API ที่เข้ากันได้ เพื่อให้มีพื้นที่ส่วนกลางสำหรับการสนทนา คลังความรู้ และเครื่องมือต่าง ๆ จึงเหมาะเป็นพิเศษเมื่อมีหลายคนต้องการเข้าถึงบริการ AI ที่องค์กรจัดการภายใน

สถาปัตยกรรมนี้ช่วยให้ทีมคงอินเทอร์เฟซเดิมไว้ได้แม้เปลี่ยนระบบหลังบ้านของโมเดล และอาจเป็นประโยชน์สำหรับบริการคลังความรู้ภายในขนาดเล็ก โดยให้ผู้ดูแลระบบจัดการการเชื่อมต่อและฟีเจอร์ต่าง ๆ แทนที่พนักงานแต่ละคนจะต้องดูแลการตั้งค่าบนเดสก์ท็อปแยกกัน เอกสารปัจจุบันยังแยกความแตกต่างระหว่างการติดตั้งบนเดสก์ท็อปกับตัวเลือกการติดตั้งใช้งานจริงด้วย ให้เลือกวิธีติดตั้งโดยพิจารณาจากผู้ที่จะดูแลบริการ รวมถึงวิธีจัดการการอัปเดต พื้นที่จัดเก็บ และสิทธิ์การเข้าถึง

เราจัดให้อยู่อันดับสามสำหรับการเข้าถึงร่วมกัน โดยมีข้อแม้ว่าการโฮสต์อินเทอร์เฟซเองไม่ได้ทำให้โมเดลระยะไกลกลายเป็นโมเดลในเครื่อง นอกจากนี้ยังต้องตรวจสอบการดึงข้อมูลจากเอกสาร การสร้างเอ็มเบดดิง และบริการสนับสนุนอื่น ๆ ด้วย ใบอนุญาตปัจจุบันมีเงื่อนไขเกี่ยวกับการใช้แบรนด์ ดังนั้นทีมที่วางแผนจะแจกจ่ายต่อหรือเปลี่ยนแบรนด์ควรอ่านข้อกำหนดฉบับเต็มให้ละเอียด Open WebUI เป็นส่วนเสริมที่ดีสำหรับระบบรันไทม์ แต่เป็นโครงสร้างพื้นฐานที่ไม่จำเป็นสำหรับผู้ที่ต้องการเพียงสนทนาแบบส่วนตัวเป็นครั้งคราวบนแล็ปท็อปเครื่องเดียว

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ Open WebUI.

ไปที่ Open WebUI

4. AnythingLLM

เหมาะสำหรับ: พื้นที่ทำงานกับเอกสารและการเพิ่มประสิทธิภาพการทำงานบนอุปกรณ์ AnythingLLM เป็นคำแนะนำที่เจาะจงที่สุดของเราสำหรับผู้อ่านที่ต้องการทำงานกับเอกสารของตนเอง แทนที่จะเสียเวลาประกอบระบบดึงข้อมูลขึ้นมาใช้ ตัวเลือกแบบแอปเดสก์ท็อปและแบบโฮสต์เองผสานการเข้าถึงโมเดล ความรู้จากเอกสาร พื้นที่ทำงาน และความสามารถของเอเจนต์เข้าด้วยกัน จุดเด่นคือช่วยจัดระเบียบไฟล์และข้อมูลให้เป็นเวิร์กโฟลว์ที่นำกลับมาใช้ซ้ำได้ แทนที่จะมองทุกบทสนทนาเป็นพรอมป์ต์ที่แยกขาดจากกัน

การเปลี่ยนแปลงสำคัญคือเอนจินที่ติดตั้งมาในแอปเดสก์ท็อป ขณะนี้ AnythingLLM ระบุว่าโมเดลที่ดาวน์โหลดมาจะทำงานผ่าน llama.cpp ซึ่ง AMD’s Lemonade เป็นผู้จัดการ โดยมาแทนสำเนา Ollama ที่เคยรวมอยู่ในแอป การเปลี่ยนแปลงนี้เกี่ยวข้องกับเอนจินที่ผสานรวมไว้ ไม่ได้หมายความว่าการเชื่อมต่อกับผู้ให้บริการทุกรายที่กำหนดค่าแยกไว้จะเปลี่ยนตามไปด้วย ผู้ใช้เดิมควรอ่านรายละเอียดการย้ายระบบก่อนทำตามคู่มือติดตั้งรุ่นเก่าที่อธิบายสภาพแวดล้อมขณะทำงานซึ่งเคยรวมมากับแอปไว้ต่างออกไป

AnythingLLM ได้อันดับสี่จากความสามารถด้านการทำงานกับเอกสาร และอาจเป็นตัวเลือกแรกสำหรับพื้นที่ทำงานวิจัยแบบติดตั้งในเครื่อง การดึงข้อมูลยังขึ้นอยู่กับคุณภาพการแยกเนื้อหา การกำหนดค่าเอ็มเบดดิง และการเลือกว่าได้ข้อความส่วนที่เกี่ยวข้องมาใช้จริงหรือไม่ ควรทดสอบกับไฟล์ที่จัดการยาก รวมถึงตารางและเอกสารสแกน แทนที่จะประเมินจากเอกสารข้อความที่สะอาดเพียงอย่างเดียว เลือกใช้งานแบบเดสก์ท็อปหรือแบบใช้ร่วมกันให้เหมาะสม และตรวจสอบว่าผู้ให้บริการทุกรายที่เลือกใช้งานยังคงประมวลผลข้อมูลภายในเครื่อง เมื่อเป็นข้อกำหนดที่จำเป็น

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ AnythingLLM.

ไปที่ AnythingLLM

5. Jan

เหมาะสำหรับ: แอปแชตบนเดสก์ท็อปแบบโอเพนซอร์สที่เป็นอีกทางเลือกหนึ่ง Jan เป็นแอปเดสก์ท็อปแบบโอเพนซอร์สอีกตัวเลือกหนึ่งสำหรับผู้ที่ต้องการอินเทอร์เฟซสนทนาที่คุ้นเคยและเลือกโมเดลที่จะใช้ได้ ผลิตภัณฑ์เวอร์ชันปัจจุบันรองรับทั้งโมเดลโอเพนซอร์สและผู้ให้บริการออนไลน์ จึงเหมาะกับผู้ที่ต้องการใช้อินเทอร์เฟซเดียวโดยยังเลือกเรียกใช้โมเดลที่รองรับในเครื่องได้ นอกจากนี้ การพัฒนาแบบเปิดยังเป็นประโยชน์ต่อผู้ใช้ที่ต้องการตรวจสอบโครงการเบื้องหลังแอปพลิเคชัน

กรณีใช้งานที่เหมาะสมที่สุดคือการแชตส่วนตัวบนเดสก์ท็อป โดยเลือกโมเดลอย่างรอบคอบ เริ่มจากโมเดลที่เหมาะกับคอมพิวเตอร์ของคุณและสร้างค่าพื้นฐานสำหรับการใช้งานที่ดี ก่อนเพิ่มบริการหรือฟีเจอร์เอเจนต์อื่น ๆ การที่มีโมเดลอยู่ในรายชื่อผู้ให้บริการของผลิตภัณฑ์ ไม่ได้ยืนยันว่าอุปกรณ์นั้นจะเรียกใช้โมเดลรุ่นใหญ่ที่สุดได้ อินเทอร์เฟซเดียวกันอาจมีทั้งจุดตรวจสอบโมเดลที่ทำงานในเครื่องและบริการที่โฮสต์ไว้ ซึ่งมีข้อกำหนดด้านฮาร์ดแวร์และแนวทางการไหลของข้อมูลแตกต่างกันมาก

เราจัดให้ Jan อยู่ในอันดับห้าในฐานะตัวเลือกที่ใช้งานง่าย แทนที่จะมองว่าเป็นแพลตฟอร์มครบวงจรสำหรับทีมที่ทำงานร่วมกัน ควรตรวจสอบรุ่นที่ติดตั้งกับฟีเจอร์ที่ต้องการ โดยหน้าแรกปัจจุบันระบุว่าฟีเจอร์ความจำกำลังจะมาในเร็ว ๆ นี้ เราจึงไม่นับว่าเป็นข้อได้เปรียบที่มีอยู่แล้ว ผู้อ่านที่ต้องการการจัดการเอกสารอย่างครอบคลุมหรือการใช้งานแบบหลายผู้ใช้ควรเปรียบเทียบกับเครื่องมือพื้นที่ทำงานโดยเฉพาะ สำหรับการแชตส่วนบุคคล ขอบเขตการใช้งานที่เรียบง่ายกว่าอาจเป็นข้อดี หากช่วยลดขั้นตอนการตั้งค่าและการดูแลรักษา

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ Jan.

ไปที่ Jan

6. Msty Studio

เหมาะสำหรับ: การเปรียบเทียบโมเดลในพื้นที่ทำงาน AI ที่นำกลับมาใช้ซ้ำได้ Msty Studio เป็นพื้นที่ทำงานสำหรับผู้ที่ใช้โมเดลหลายตัวและต้องการจัดระเบียบงานที่ทำร่วมกับโมเดลเหล่านั้น โดยผสานการเข้าถึงโมเดลทั้งในเครื่องและออนไลน์เข้ากับพรอมป์ต์ที่นำกลับมาใช้ซ้ำได้ เพอร์โซนา Knowledge Stacks และ Split Chats จุดเด่นที่ทำให้ผลิตภัณฑ์นี้แตกต่างจากรายการอื่นมากที่สุดคือความสามารถในการเปรียบเทียบคำตอบและเก็บบริบทการทำงานที่ใช้เป็นประจำไว้ในสภาพแวดล้อมแบบภาพ

Split Chats ช่วยให้นักวิจัยเปรียบเทียบคำตอบของโมเดลต่าง ๆ ต่อคำถามเดียวกันได้ แต่การที่โมเดลหลายตัวให้คำตอบตรงกันไม่ใช่การตรวจสอบยืนยันอย่างเป็นอิสระ ส่วน Knowledge Stacks ช่วยจัดเวิร์กโฟลว์ที่เป็นประโยชน์อีกแบบหนึ่ง ได้แก่ การจัดระเบียบเนื้อหาต้นทาง การตั้งคำถามจากเนื้อหานั้น และการตรวจสอบว่าอะไรเป็นหลักฐานสนับสนุนคำตอบ ปัจจุบันระบบนิเวศผลิตภัณฑ์ที่กว้างขึ้นของ Msty ยังมีผลิตภัณฑ์เพิ่มเติมด้านเอเจนต์และการกำกับดูแล ผู้ซื้อจึงควรแยกฟีเจอร์ของ Studio ออกจากความสามารถของผลิตภัณฑ์และแพ็กเกจอื่น ๆ

Msty อยู่ในอันดับที่ 6 สำหรับผู้ที่ต้องการพื้นที่ทำงานส่วนตัวหรือสำหรับทีมที่มีโครงสร้างมากขึ้น แต่ไม่เหมาะเท่าไรหากต้องการเพียง HTTP endpoint ภายในเครื่องขนาดเล็กเท่านั้น แอปเดียวกันสามารถใช้ทั้งเอนจินที่ทำงานภายในเครื่องและผู้ให้บริการแบบโฮสต์ได้ จึงควรเลือกผู้ให้บริการอย่างรอบคอบเมื่อต้องจัดการเอกสารที่มีข้อมูลอ่อนไหว ก่อนคิดว่าการติดตั้งบนเดสก์ท็อปส่วนตัวจะมีระบบบริหารจัดการระดับองค์กร ควรตรวจสอบแพลตฟอร์ม แผนบริการ และรูปแบบการติดตั้งใช้งานที่จำเป็นต่อการใช้การควบคุมร่วมกัน เลือกใช้เพราะเวิร์กโฟลว์โดยรอบ ไม่ใช่เพราะคิดว่าอินเทอร์เฟซจะเปลี่ยนความแม่นยำของโมเดลที่อยู่เบื้องหลัง

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ Msty Studio.

ไปที่ Msty Studio

7. LocalAI

เหมาะสำหรับ: API ที่โฮสต์เองและรองรับ AI หลายรูปแบบ LocalAI มุ่งเป้าไปที่นักพัฒนาและผู้ดูแลระบบที่ต้องการโฮสต์บริการ AI ผ่าน API ที่คุ้นเคย แบ็กเอนด์แบบโมดูลาร์รองรับงานมากกว่าการสนทนาด้วยโมเดลภาษา ครอบคลุมทั้งเสียง ภาพ การสร้างภาพ การฝังเวกเตอร์ และงานประเภทอื่น ๆ โดยเฉพาะอย่างยิ่งเมื่อแอปพลิเคชันต้องใช้การอนุมานหลายประเภท และทีมต้องการจัดการทั้งหมดผ่านชั้นบริการร่วมกัน

สถาปัตยกรรมนี้แยก API ที่ผู้ใช้หรือแอปพลิเคชันเรียกใช้ ออกจากแบ็กเอนด์ที่เลือกใช้ โมเดลต่างกันอาจใช้เอนจินคนละตัว โดยการกำหนดค่าจะเป็นตัวกำหนดว่าเบื้องหลังทำงานด้วยอะไร วิธีนี้อาจช่วยลดงานผสานระบบในฝั่งแอปพลิเคชัน แต่ควรทดสอบความเข้ากันได้กับ endpoint และฟีเจอร์เฉพาะที่แอปพลิเคชันใช้งาน การส่งคำขอสนทนาได้สำเร็จเพียงอย่างเดียวไม่ได้ยืนยันว่าการสตรีม การเรียกใช้เครื่องมือ การทำงานด้านเสียง หรือการจัดการข้อผิดพลาดจะทำงานเทียบเท่ากันในผู้ให้บริการแต่ละราย

เราจัดให้ LocalAI อยู่ในอันดับที่ 7 เพราะความครอบคลุมของมันมีประโยชน์ต่อทีมวิศวกรมากกว่าผู้ที่ต้องการแชตบนเดสก์ท็อปอย่างรวดเร็ว การประมวลผลด้วย CPU ช่วยให้ติดตั้งใช้งานบางรูปแบบได้โดยไม่ต้องมี GPU แยก แต่ก็ไม่ได้หมายความว่าโมเดลทุกตัวจะใช้งานได้จริงบนฮาร์ดแวร์ที่มีทรัพยากรจำกัด เริ่มจากงานหนึ่งประเภท วัดเวลาแฝงและการใช้หน่วยความจำ แล้วค่อยเพิ่มแบ็กเอนด์ตามความจำเป็น การใช้งานแบบหลายผู้ใช้หรือแบบกระจายระบบยังเพิ่มภาระด้านการวางแผนขีดความสามารถและการบำรุงรักษา ซึ่งอาจไม่เห็นจากการทำต้นแบบง่าย ๆ บนเครื่องเดียว

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ LocalAI.

ไปที่ LocalAI

8. llama.cpp

เหมาะสำหรับ: การอนุมานโดยตรงและการควบคุมฮาร์ดแวร์ llama.cpp เหมาะสำหรับผู้อ่านที่ต้องการทำงานกับเอนจินอนุมานโดยตรง แทนที่จะพึ่งพาโปรแกรมครอบบนเดสก์ท็อปทั้งหมด การพัฒนาด้วย C และ C++ การรองรับ GGUF เครื่องมือควอนไทซ์ แบ็กเอนด์สำหรับฮาร์ดแวร์ เครื่องมือบรรทัดคำสั่ง และเซิร์ฟเวอร์ ทำให้ llama.cpp เป็นรากฐานสำคัญสำหรับการติดตั้งใช้งานโมเดลภายในเครื่อง แอปพลิเคชันที่ใช้งานง่ายกว่าหลายตัวอาศัยชั้นการทำงานนี้หรือองค์ประกอบที่เกี่ยวข้องอยู่เบื้องหลังอินเทอร์เฟซ

การใช้งานโดยตรงมีประโยชน์เมื่อปัญหาที่ต้องแก้จริง ๆ เกี่ยวข้องกับความเข้ากันได้ของโมเดล การถ่ายโอนภาระการประมวลผล พฤติกรรมการใช้หน่วยความจำ หรือการกำหนดค่าขณะทำงาน ช่วยให้ผู้ใช้ที่มีความรู้ทางเทคนิคควบคุมเอนจินและเปรียบเทียบการตั้งค่าต่าง ๆ ได้ชัดเจนขึ้น แต่การควบคุมดังกล่าวก็มาพร้อมความรับผิดชอบเช่นกัน กล่าวคือ บิลด์ที่เลือกต้องรองรับสถาปัตยกรรมของโมเดลและแบ็กเอนด์เร่งความเร็วที่เกี่ยวข้อง ชื่อไฟล์ GGUF ไม่ได้รับประกันว่าไบนารีเวอร์ชันเก่าที่ติดตั้งไว้จะโหลดโมเดลที่เพิ่งเปิดตัวได้อย่างถูกต้อง

การอยู่ในอันดับที่ 8 สะท้อนความง่ายในการเข้าถึงสำหรับผู้ใช้วงกว้าง ไม่ใช่ความสำคัญทางเทคนิค สำหรับนักพัฒนาระบบอนุมาน llama.cpp อาจอยู่ในอันดับต้น ๆ ได้ เริ่มจากโมเดลที่ทราบแน่ชัดว่ารองรับและบิลด์ที่มีเอกสารกำกับ แล้วเปลี่ยนการตั้งค่าทีละรายการ บันทึกขนาดบริบท ควอนไทซ์ ฮาร์ดแวร์ และเวอร์ชันขณะทำงานควบคู่ไปกับผลการทดสอบประสิทธิภาพ หากไม่มีรายละเอียดเหล่านี้ ตัวเลขโทเคนต่อวินาทีก็ใช้เปรียบเทียบไม่ได้อย่างมีความหมาย ผู้อ่านที่ต้องการเพียงแชตแบบเป็นส่วนตัวมักจะเริ่มต้นได้ดีกว่าด้วยแอปพลิเคชันที่ใช้งานง่ายกว่า

แหล่งอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ llama.cpp.

ไปที่ llama.cpp

9. GPT4All

เหมาะสำหรับ: แชตกับเอกสารในเครื่องแบบเรียบง่าย GPT4All ยังคงเป็นตัวเลือกบนเดสก์ท็อปที่เน้นการใช้งานเฉพาะทาง สำหรับผู้ที่ต้องการสนทนากับเอกสารและเข้าถึงเอกสารบนคอมพิวเตอร์ของตนเองโดยตรง ฟีเจอร์ LocalDocs เป็นหัวใจสำคัญของจุดเด่นนี้ โดยผู้ใช้สามารถถามคำถามเกี่ยวกับชุดไฟล์ต่าง ๆ ได้โดยไม่ต้องออกแบบบริการค้นคืนข้อมูลแยกต่างหากก่อน Nomic ยังคงมีไฟล์ดาวน์โหลดสำหรับเดสก์ท็อปบนระบบปฏิบัติการหลัก รวมถึงตัวเลือกสำหรับ Windows ARM ในหน้าผลิตภัณฑ์ปัจจุบัน

นี่เป็นจุดเริ่มต้นที่ใช้งานได้จริงสำหรับผู้ที่ต้องการสำรวจชุดเอกสารส่วนตัว สิ่งที่ควรประเมินไม่ใช่แค่ว่าโมเดลให้คำตอบที่น่าเชื่อถือหรือไม่ แต่ยังรวมถึงแอปพลิเคชันค้นคืนแหล่งข้อมูลที่ถูกต้องและนำผลลัพธ์นั้นไปใช้ประโยชน์ได้หรือไม่ ทดสอบด้วยไฟล์ที่เป็นตัวแทนของชุดเอกสารจริง ซึ่งรวมถึงชื่อที่กำกวม เอกสารยาว และข้อมูลที่กระจายอยู่ในแหล่งข้อมูลมากกว่าหนึ่งแห่ง

เราจัด GPT4All ไว้ในอันดับที่เก้าในฐานะเครื่องมือเฉพาะทางที่เรียบง่ายกว่า แทนที่จะเป็นรากฐานเริ่มต้นสำหรับแอปพลิเคชัน AI ในเครื่องทุกประเภท อย่าตีความคำกล่าวอ้างเรื่องการรองรับคอมพิวเตอร์ทั่วไปว่าเป็นหลักฐานว่าโมเดลขนาดใหญ่จะทำงานได้อย่างราบรื่นบนแล็ปท็อปทุกเครื่อง ตรวจสอบโมเดลที่รองรับ การเร่งความเร็วที่มีให้ใช้ และลักษณะการประมวลผลเอกสารของเวอร์ชันที่ติดตั้ง หากความต้องการหลักคือพื้นที่ทำงานที่ใช้ร่วมกัน การทดลองกับโมเดลอย่างครอบคลุมยิ่งขึ้น หรือแบ็กเอนด์บริการที่ปรับแต่งได้ ให้เปรียบเทียบเครื่องมืออื่น ๆ ก่อนสร้างเวิร์กโฟลว์โดยอิงจากเครื่องมือนี้

ข้อมูลอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ GPT4All.

ไปที่ GPT4All

10. TextGen

เหมาะสำหรับ: การทดลองขั้นสูงบนเดสก์ท็อปและการฝึกโมเดลที่เลือกทำได้ TextGen จากโครงการ oobabooga เหมาะกับผู้ใช้ที่ต้องการควบคุมการทดลองกับโมเดลในเครื่องได้มากขึ้นผ่านอินเทอร์เฟซบนเดสก์ท็อป โครงการนี้มีฟีเจอร์แชต การมองเห็นภาพด้วยโมเดลที่รองรับ การเรียกใช้เครื่องมือ การแนบไฟล์ และการเข้าถึง API จึงอาจเป็นทางเลือกกึ่งกลางที่มีประโยชน์ระหว่างแอปแชตที่ออกแบบให้ใช้งานง่ายเป็นพิเศษกับการประกอบสภาพแวดล้อมอนุมานขึ้นเองทั้งหมดจากองค์ประกอบในบรรทัดคำสั่ง

ความแตกต่างระหว่างวิธีติดตั้งมีความสำคัญ รุ่นแบบพกพามีให้ใช้สำหรับ Windows, macOS และ Linux และรองรับโมเดล GGUF ผ่าน llama.cpp ส่วนการติดตั้งแบบเต็มของโครงการจะเพิ่มความสามารถต่าง ๆ เช่น แบ็กเอนด์เพิ่มเติม การฝึก LoRA การสร้างภาพ และส่วนขยาย ไม่ควรนำเสนอความสามารถเหล่านี้เสมือนเป็นฟีเจอร์ที่มีอยู่ในไฟล์ดาวน์โหลดขนาดเล็กทุกรุ่น เลือกวิธีติดตั้งให้สอดคล้องกับงานที่ต้องการทำและส่วนประกอบที่พร้อมดูแลรักษา

TextGen อยู่ในอันดับที่สิบในฐานะเครื่องมือเฉพาะทางสำหรับการทดลอง ไม่ใช่เพราะขาดความสามารถ ผู้ใช้สายเทคนิคที่กำลังทดสอบโมเดลและการตั้งค่าการสร้างข้อความอาจชอบเครื่องมือนี้มากกว่าตัวเลือกบางรายการที่อยู่ในอันดับสูงกว่า ส่วนการควบคุมเพิ่มเติมอาจไม่เป็นประโยชน์นักสำหรับผู้ที่ต้องการเพียงผู้ช่วยด้านเอกสารที่เชื่อถือได้และตั้งค่าไม่ยุ่งยาก เมื่อต้องเปรียบเทียบผลลัพธ์ ให้คงการตั้งค่าโมเดล แบ็กเอนด์ เทมเพลตพรอมป์ต์ และการสุ่มตัวอย่างให้สอดคล้องกัน การค้นหาเว็บหรือส่วนขยายที่เลือกใช้ได้ยังเปลี่ยนพฤติกรรมของเวิร์กโฟลว์ที่เดิมทำงานในเครื่องทั้งหมดด้วย ดังนั้นควรประเมินการกำหนดค่าจริงแทนการยึดเพียงคำกล่าวอ้างด้านความเป็นส่วนตัวแบบครอบจักรวาล

ข้อมูลอ้างอิง: เอกสารประกอบและรายละเอียดผลิตภัณฑ์ของ TextGen.

ไปที่ TextGen

ต้องใช้หน่วยความจำเท่าใดสำหรับ LLM ในเครื่อง?

ขนาดของน้ำหนักโมเดลเป็นเพียงจุดเริ่มต้น ตัวอย่างการคำนวณคร่าว ๆ คือ พารามิเตอร์ 8 พันล้านตัวที่จัดเก็บตัวละ 4 บิตจะมีข้อมูลน้ำหนักดิบประมาณ 4 GB ก่อนนับส่วนเกินจากรูปแบบการจัดเก็บ แต่นั่นไม่ได้หมายความว่าโมเดล 8B จะทำงานได้อย่างราบรื่นบนคอมพิวเตอร์ที่มีหน่วยความจำเหลือใช้เพียง 4 GB รันไทม์ ระบบปฏิบัติการ แคชบริบท และแอปพลิเคชันอื่น ๆ ก็ต้องใช้พื้นที่เช่นกัน

ใช้ไฟล์โมเดลจริงและข้อกำหนดของรันไทม์ การควอนไทซ์ช่วยลดพื้นที่จัดเก็บน้ำหนักโมเดล โดยคุณภาพที่แลกไปจะแตกต่างกันตามวิธีการและงานที่ทำ บริบทยิ่งยาวขึ้นและคำขอที่ทำงานพร้อมกันยิ่งมากขึ้น ก็อาจทำให้ต้องใช้หน่วยความจำเพิ่มขึ้นอย่างมาก จำนวนพารามิเตอร์ที่ถูกเรียกใช้งานเพียงบางส่วนของโมเดลแบบ mixture-of-experts ไม่ใช่ปริมาณหน่วยความจำที่ต้องใช้เพื่อเก็บน้ำหนักทั้งหมดของโมเดล

แยก RAM ของระบบออกจากหน่วยความจำ GPU โมเดลที่ย้ายงานบางส่วนไปประมวลผลบน GPU อาจทำงานได้ แต่ช้ากว่าโมเดลที่อยู่ในหน่วยความจำของตัวเร่งความเร็วที่เหมาะสมทั้งหมดมาก คอมพิวเตอร์ที่ใช้หน่วยความจำแบบรวมมีกลไกการจัดสรรต่างออกไป แต่ระบบปฏิบัติการก็ยังใช้พื้นที่ส่วนหนึ่งจากหน่วยความจำร่วมดังกล่าว ตรวจสอบฮาร์ดแวร์และแบ็กเอนด์ที่แอปพลิเคชันรองรับโดยเฉพาะ แทนที่จะถือว่าคอมพิวเตอร์ทุกเครื่องที่มี RAM รวมเท่ากันนั้นใช้งานได้เหมือนกัน

เริ่มจากกำหนดบริบทให้มีขนาดไม่มาก โหลดโมเดลควอนไทซ์ที่รองรับ ทดลองใช้พรอมต์ที่เป็นตัวแทนของงานจริง และตรวจสอบการใช้หน่วยความจำก่อนเพิ่มขีดจำกัดบริบท ทดสอบทั้งการโหลดใหม่และการสนทนาที่ยาวขึ้น เอกสารเกี่ยวกับหน่วยความจำและการทำงานพร้อมกันของ Ollama อธิบายว่าเหตุใดคำขอหลายรายการที่ทำงานพร้อมกันและการตั้งค่าบริบทจึงส่งผลต่อทรัพยากรที่ต้องใช้ การจัดอันดับข้างต้นไม่ได้หมายความว่าจะมีข้อได้เปรียบด้านความเร็วในทุกกรณี

วิธีตรวจสอบว่าเวิร์กโฟลว์ของคุณทำงานภายในเครื่อง

ตรวจสอบโมเดลสร้างข้อความ โมเดลฝังเวกเตอร์ ตัวแยกวิเคราะห์เอกสาร ตัวจัดอันดับผลลัพธ์ซ้ำ บริการแปลงเสียง และเครื่องมือแต่ละรายการแยกกัน แม้ใช้อินเทอร์เฟซแชตที่ทำงานในเครื่อง ก็ยังอาจส่งเอกสารไปยังบริการฝังเวกเตอร์หรือแยกวิเคราะห์ที่อยู่บนเซิร์ฟเวอร์ระยะไกลได้ การค้นหาเว็บและเครื่องมือระยะไกลก็ต้องใช้เครือข่ายเช่นกัน แม้ตัวโมเดลภาษาจะทำงานอยู่บนคอมพิวเตอร์ก็ตาม

หลังดาวน์โหลดองค์ประกอบที่จำเป็นแล้ว ให้ทดสอบเวิร์กโฟลว์หลักโดยไม่เชื่อมต่ออินเทอร์เน็ต วิธีนี้ช่วยยืนยันการทำงานแบบออฟไลน์ได้ แต่ยังไม่ใช่การตรวจสอบเครือข่ายหรือการส่งข้อมูลวิเคราะห์การใช้งานอย่างครบถ้วน สำหรับ Ollama การตั้งค่าที่ระบุไว้ในเอกสาร OLLAMA_NO_CLOUD=1 จะปิดใช้ฟีเจอร์คลาวด์หลังจากเริ่มระบบใหม่ ส่วนคู่มือการใช้งานแบบออฟไลน์ของ LM Studio ระบุว่าฟังก์ชันหลักใดบ้างที่ใช้ได้โดยไม่ต้องเชื่อมต่อ

เมื่อตั้งค่าให้เพื่อนร่วมงานใช้งาน ให้กำหนดว่าใครเข้าถึงปลายทางได้ และใครรับผิดชอบการอัปเดต การสำรองข้อมูล และเอกสารที่จัดเก็บไว้ ควรเก็บเซิร์ฟเวอร์ส่วนตัวที่ทำงานในเครื่องไว้เป็นส่วนตัว เว้นแต่จะตั้งใจเปิดให้ผู้อื่นเข้าถึงและกำหนดค่าไว้แล้ว ตรวจสอบข้อกำหนดการใช้ซอฟต์แวร์แยกจากสัญญาอนุญาตของโมเดล การดาวน์โหลดโมเดลแบบเปิดน้ำหนักไม่ได้หมายความว่าจะนำไปใช้ได้โดยไม่มีข้อจำกัดทุกกรณี ตัวอย่างเช่น หน้าข้อกำหนดสิทธิ์การใช้งานปัจจุบันของ Open WebUI อธิบายเงื่อนไขเกี่ยวกับแบรนด์ของตน

คำถามที่พบบ่อย

เครื่องมือใดเหมาะที่สุดสำหรับผู้เริ่มต้น

LM Studio เป็นจุดเริ่มต้นที่ดีสำหรับการค้นหาโมเดลผ่านหน้าจอและการแชตบนเดสก์ท็อป ส่วน Jan เป็นอีกตัวเลือกบนเดสก์ท็อปที่เน้นการใช้งานเฉพาะด้าน เลือก AnythingLLM หรือ GPT4All หากเป้าหมายหลักคือการทำงานกับเอกสาร Ollama จะมีประโยชน์เป็นพิเศษเมื่อมีแอปพลิเคชันหลายตัวที่ต้องใช้บริการโมเดลในเครื่องเดียวกัน

จำเป็นต้องมี GPU แยกหรือไม่

ไม่จำเป็นสำหรับทุกโมเดลหรือทุกเวิร์กโฟลว์ สามารถประมวลผลอนุมานด้วย CPU ได้ หากรันไทม์ที่ใช้รองรับ แต่ความเร็วในการตอบสนองและขนาดโมเดลที่ใช้งานได้จริงแตกต่างกันมาก โดยทั่วไป การเริ่มจากโมเดลขนาดเล็กที่ตอบสนองได้ลื่นไหลมักดีกว่าใช้โมเดลขนาดใหญ่ที่ต้องย้ายข้อมูลออกจากหน่วยความจำมากเกินไป

เครื่องมือเหล่านี้เป็น LLM ด้วยตัวเองหรือไม่

ไม่ใช่ เครื่องมือเหล่านี้เป็นแอปพลิเคชัน อินเทอร์เฟซ หรือรันไทม์ที่ใช้โมเดล การเปลี่ยนอินเทอร์เฟซไม่ได้ทำให้ความสามารถในการให้เหตุผลของโมเดลดีขึ้นโดยอัตโนมัติ การจัดรูปแบบพรอมต์ การจัดการบริบท การดึงข้อมูล และเครื่องมือต่าง ๆ อาจส่งผลต่อผลลัพธ์ แต่เช็กพอยต์ของโมเดลที่เลือกและฮาร์ดแวร์ยังคงเป็นปัจจัยพื้นฐาน

ปลายทางที่เข้ากันได้กับ OpenAI ใช้แทน API ที่ให้บริการผ่านโฮสต์ได้ทั้งหมดหรือไม่

อาจช่วยให้การผสานระบบง่ายขึ้น แต่ความเข้ากันได้ขึ้นอยู่กับปลายทางและฟีเจอร์ที่มีการรองรับโดยเฉพาะ ทดสอบการส่งผลลัพธ์แบบสตรีม เอาต์พุตแบบมีโครงสร้าง เครื่องมือ การจัดการภาพ และการทำงานเมื่อเกิดข้อผิดพลาดกับโมเดลที่จะใช้จริง การมีรูปแบบ API ร่วมกันไม่ได้ยืนยันว่าจะมีความสามารถหรือความน่าเชื่อถือเท่าเทียมกัน

ควรเลือกเครื่องมือ LLM ในเครื่องตัวใด

เริ่มจาก Ollama หากต้องการบริการในเครื่องที่นำกลับมาใช้ซ้ำได้ หรือเลือก LM Studio หากให้ความสำคัญกับประสบการณ์ใช้งานบนเดสก์ท็อปเป็นหลัก Open WebUI เป็นอินเทอร์เฟซที่เหมาะสำหรับการติดตั้งใช้งานร่วมกัน ขณะที่ AnythingLLM เน้นเวิร์กโฟลว์ที่ทำงานกับเอกสาร Jan เป็นอีกทางเลือกบนเดสก์ท็อปแบบโอเพนซอร์ส ส่วน Msty Studio มีประโยชน์สำหรับจัดระเบียบความรู้และเปรียบเทียบโมเดลหลายตัว

เลือก LocalAI หากต้องการ API สำหรับการอนุมานแบบโฮสต์เองที่ครอบคลุมกว่า หรือเลือก llama.cpp หากต้องการควบคุมเอนจินโดยตรง GPT4All ยังคงเป็นตัวเลือกเฉพาะทางสำหรับแชตกับเอกสารในเครื่อง ส่วน TextGen เหมาะกับการทดลองเชิงลึกและเวิร์กโฟลว์การฝึกเพิ่มเติมที่เลือกใช้ได้ การตั้งค่าที่เหมาะสมคือแบบที่รันโมเดลที่คุณเลือกได้อย่างน่าเชื่อถือ เก็บข้อมูลตามที่ต้องการไว้ในเครื่อง และต้องการการดูแลจัดการในระดับที่คุณทำต่อเนื่องได้