ยุทธวิธี Grow And Prune AI ช่วยลดการใช้พลังงาน AI

สมองของมนุษย์ทำงานด้วยยุทธวิธี “เติบโตและตัดทอน” โดยเริ่มต้นด้วยการเชื่อมต่อประสาทจำนวนมากและตัดทอนการเชื่อมต่อที่ไม่ได้ใช้ไปตามเวลา ล่าสุด ทีมนักวิจัยได้นำแนวทางนี้ไปใช้กับระบบ AI และพบว่ามันสามารถลดปริมาณพลังงานที่ต้องการในการฝึกอบรม AI ได้อย่างมาก

ทีมนักวิจัยจาก มหาวิทยาลัยพรินซ์ตัน ได้สร้างวิธีการฝึกอบรมระบบ AI ใหม่ วิธีการฝึกอบรมใหม่นี้สามารถตอบสนองหรือทำได้ดีกว่ามาตรฐานอุตสาหกรรมในด้านความแม่นยำ แต่มันสามารถทำได้โดยใช้พลังงานการคำนวณน้อยกว่าแบบจำลองการเรียนรู้ของเครื่องจักรแบบดั้งเดิม ในช่วงของสองบทความ ทีมนักวิจัยจากพรินซ์ตันได้แสดงให้เห็นวิธีการเติบโตของเครือข่ายโดยการเพิ่มニューロนและการเชื่อมต่อ และตัดทอนการเชื่อมต่อที่ไม่ได้ใช้ไปตามเวลา

นิราจ จฮา ศาสตราจารย์ภาควิชาวิศวกรรมไฟฟ้าจากมหาวิทยาลัยพรินซ์ตัน อธิบายกับสำนักข่าวพรินซ์ตันว่าแบบจำลองที่นักวิจัยพัฒนาขึ้นใช้ยุทธวิธี “เติบโตและตัดทอน” จฮา อธิบายว่าสมองของมนุษย์เป็นสมองที่ซับซ้อนที่สุดเมื่ออายุประมาณ 3 ปี และหลังจากนั้นสมองจะเริ่มตัดทอนการเชื่อมต่อซินแอปที่ไม่ได้ใช้ไปตามเวลา ผลลัพธ์คือสมองที่เติบโตเต็มที่สามารถทำงานได้อย่างซับซ้อน แต่ใช้พลังงานน้อยกว่าครึ่งหนึ่งของสมองที่มีการเชื่อมต่อซินแอปสูงสุด จฮาและทีมนักวิจัยได้เลียนแบบยุทธวิธีนี้เพื่อเพิ่มประสิทธิภาพการฝึกอบรม AI

จฮา อธิบายว่า

“แนวทางของเราคือการเติบโตและตัดทอน มันคล้ายกับสมองของมนุษย์ตั้งแต่เราอายุ 0-3 ปี ในช่วงอายุ 3 ปี สมองของมนุษย์จะเริ่มตัดทอนการเชื่อมต่อระหว่างเซลล์สมอง การตัดทอนนี้จะดำเนินต่อไปจนถึงวัยผู้ใหญ่ ดังนั้นสมองที่เติบโตเต็มที่จึงสามารถทำงานได้ดี แต่ใช้พลังงานน้อยกว่าครึ่งหนึ่งของสมองที่มีการเชื่อมต่อซินแอปสูงสุด สมองของผู้ใหญ่จะถูกฝึกอบรมให้เชี่ยวชาญในด้านใดด้านหนึ่ง และไม่ดีสำหรับการเรียนรู้ทั่วไปเหมือนสมองของเด็ก”

ด้วยเทคนิคการเติบโตและตัดทอน ทำให้สามารถทำนายรูปแบบในข้อมูลได้ด้วยพลังงานการคำนวณที่น้อยกว่าที่เคยใช้ก่อนหน้านี้ นักวิจัยกำลังมองหาวิธีการลดการใช้พลังงานและค่าใช้จ่ายในการคำนวณ ซึ่งเป็นกุญแจสำคัญในการนำการเรียนรู้ของเครื่องจักรไปใช้กับอุปกรณ์ขนาดเล็ก เช่น โทรศัพท์มือถือและนาฬิกาอัจฉริยะ การลดการใช้พลังงานของอัลกอริทึมการเรียนรู้ของเครื่องจักรยังช่วยให้อุตสาหกรรมลดการปล่อยก๊าซคาร์บอนไดออกไซด์ ได้

ในช่วงการศึกษาที่ 1 ทีมนักวิจัยได้พยายามพัฒนาเครื่องมือสร้างเครือข่ายประสาทเทียมที่สามารถใช้ในการออกแบบเครือข่ายประสาทเทียมและสร้างเครือข่ายประสาทเทียมที่มีประสิทธิภาพสูงสุดจากศูนย์ เครื่องมือนี้เรียกว่า NeST (เครื่องมือสังเคราะห์เครือข่ายประสาทเทียม) เมื่อได้รับニューロนและการเชื่อมต่อเพียงเล็กน้อย NeST จะเพิ่มความซับซ้อนของเครือข่ายโดยการเพิ่มニューロนเข้าไปในเครือข่าย เมื่อเครือข่ายถึงเกณฑ์ที่ต้องการ มันจะเริ่มตัดทอนตัวเองไปตามเวลา ในขณะที่แบบจำลองเครือข่ายก่อนหน้านี้ใช้เทคนิคการตัดทอน แต่วิธีการที่นักวิจัยจากพรินซ์ตันพัฒนาขึ้นนี้เป็นวิธีแรกที่สามารถนำเครือข่ายไปจำลองสถานการณ์การพัฒนาตั้งแต่ “ทารก” ถึง “เด็ก” และสุดท้ายถึง “สมองผู้ใหญ่”

ในช่วงการศึกษาที่ 2 ทีมนักวิจัยได้ร่วมมือกับทีมจากมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ และ Facebook (META ) เพื่อปรับปรุงเทคนิคของตนโดยใช้เครื่องมือที่เรียกว่า Chameleon Chameleon สามารถเริ่มต้นด้วยจุดสิ้นสุดที่ต้องการและผลลัพธ์ที่ต้องการ และทำงานย้อนกลับเพื่อสร้างเครือข่ายประสาทเทียมที่เหมาะสม ซึ่งสามารถช่วยลดการทำงานโดยการปรับแต่งเครือข่ายด้วยตนเอง และให้เครื่องมือที่มีประโยชน์แก่ผู้วิจัย Chameleon สามารถคาดการณ์ประสิทธิภาพของสถาปัตยกรรมต่างๆ ภายใต้สภาพแวดล้อมที่แตกต่างกัน การรวม Chameleon และ NeST สามารถช่วยให้องค์กรวิจัยที่ไม่มีทรัพยากรการคำนวณมากมายนำพลังของเครือข่ายประสาทเทียมไปใช้ได้