ห้องสมุด Neural Tangent ใหม่จาก Google ให้ข้อมูลนักวิทยาศาสตร์ข้อมูล “ไม่เคยเกิดขึ้นมาก่อน” เกี่ยวกับโมเดล

Google (GOOGL ) ได้ออกแบบห้องสมุดโอเพ่นซอร์สใหม่ที่มีจุดมุ่งหมายเพื่อเปิดกล่องดำของการเรียนรู้ของเครื่องและให้ให้工程师มีความเข้าใจมากขึ้นเกี่ยวกับวิธีการทำงานของระบบการเรียนรู้ของเครื่อง ตามรายงานของ VentureBeat ทีมวิจัยของ Google ระบุว่าห้องสมุดนี้อาจให้ “ความเข้าใจที่ไม่เคยเกิดขึ้นมาก่อน” เกี่ยวกับวิธีการทำงานของโมเดลการเรียนรู้ของเครื่อง

เครือข่ายประสาททำงานผ่านเซลล์ประสาทที่มีฟังก์ชันทางคณิตศาสตร์ที่แปลงข้อมูลในหลายวิธี เซลล์ประสาทในเครือข่ายเชื่อมต่อกันในหลายชั้น และเครือข่ายประสาทมีความลึกและความกว้าง ความลึกของเครือข่ายประสาทถูกควบคุมโดยจำนวนชั้นที่มี และชั้นต่างๆ ของเครือข่ายปรับเปลี่ยนการเชื่อมต่อระหว่างเซลล์ประสาท ซึ่งส่งผลต่อวิธีการจัดการข้อมูลเมื่อข้อมูลเคลื่อนที่ระหว่างชั้น จำนวนเซลล์ประสาทในชั้นคือความกว้างของชั้น ตามที่ Roman Novak วิศวกรวิจัยของ Google และ Samuel S. Schoenholz นักวิจัยอาวุโสของ Google ระบุว่าความกว้างของโมเดลสัมพันธ์กับการทำงานที่สม่ำเสมอและซ้ำๆ ในการเขียนบล็อกทั้งสองนักวิจัยอธิบายว่าการทำให้เครือข่ายประสาทกว้างขึ้นจะทำให้การทำงานของมันสม่ำเสมอและเข้าใจได้ง่ายขึ้น

มีโมเดลการเรียนรู้ของเครื่องอีกประเภทหนึ่งที่เรียกว่ากระบวนการเกาส์ กระบวนการเกาส์เป็นกระบวนการแบบสุ่มที่สามารถแสดงเป็นการกระจายตัวแบบปกติหลายตัวแปร ด้วยกระบวนการเกาส์ ทุกชุดหรือการรวมเชิงเส้นของตัวแปรจะมีการกระจายตัวแบบปกติ ซึ่งหมายความว่าสามารถแสดงปฏิสัมพันธ์ที่ซับซ้อนระหว่างตัวแปรได้เป็นสมการเชิงเส้นและสามารถศึกษาพฤติกรรมของ AI ได้โดยใช้เลนส์นี้ อย่างไรก็ตาม โมเดลการเรียนรู้ของเครื่องที่กว้างไม่สิ้นสุดจะเข้าใกล้กระบวนการเกาส์

อย่างไรก็ตาม แม้ว่าจะสามารถตีความโมเดลการเรียนรู้ของเครื่องได้โดยใช้กระบวนการเกาส์ แต่ก็จำเป็นต้องอนุมานขอบเขตความกว้างไม่สิ้นสุดของโมเดล ซึ่งเป็นชุดการคำนวณที่ซับซ้อนซึ่งต้องทำสำหรับโครงสร้างแต่ละแบบ เพื่อให้การคำนวณเหล่านี้ง่ายขึ้นและเร็วขึ้น ทีมวิจัยของ Google ได้ออกแบบ Neural Tangents Neural Tangents ช่วยให้นักวิทยาศาสตร์ข้อมูลสามารถใช้เพียงไม่กี่บรรทัดของโค้ดและฝึกเครือข่ายที่มีความกว้างไม่สิ้นสุดหลายเครือข่ายในเวลาเดียวกัน

ทีมวิจัยทดสอบเครือข่ายประสาทสามแบบที่มีความกว้างไม่สิ้นสุดและเผยแพร่ผลลัพธ์ในบล็อกโพสต์ ผลลัพธ์โดยทั่วไปของเครือข่ายアンแซมเบิลที่ขับเคลื่อนด้วยกระบวนการเกาส์คล้ายกับการทำงานของเครือข่ายประสาทแบบปกติ

ตามที่ทีมวิจัยอธิบายไว้ใน บล็อกโพสต์ ว่า

“เราพบว่าเครือข่ายที่มีความกว้างไม่สิ้นสุดตามรูปแบบที่คล้ายกับการทำงานของเครือข่ายประสาทแบบปกติ โดยเครือข่ายที่มีการเชื่อมต่อแบบเต็มทำงานได้ไม่ดีเท่ากับเครือข่ายที่มีการเชื่อมต่อแบบสัมผัส ซึ่งทำงานได้ไม่ดีเท่ากับเครือข่ายที่มีการรับข้อมูลแบบกว้าง อย่างไรก็ตาม ไม่เหมือนกับการฝึกแบบปกติ การเรียนรู้ของโมเดลเหล่านี้สามารถเข้าถึงได้ในรูปแบบปิด ซึ่งช่วยให้เข้าใจพฤติกรรมของมันได้”

การเปิดตัว Neural Tangents ดูเหมือนจะถูกกำหนดเวลาให้ตรงกับ TensorFlow Dev Summit ซึ่งเป็นงานที่นักวิศวกรการเรียนรู้ของเครื่องจาก Google ที่ใช้ TensorFlow มาประชุมกัน การประกาศ Neural Tangents ยังเกิดขึ้นไม่นานหลังจากที่ TensorFlow Quantum ถูกประกาศ

Neural Tangents ได้รับการเผยแพร่ผ่าน GitHub และมีノートบุ๊ก Google Colaboratory และチュートリアルสำหรับผู้ที่สนใจ