นักวิจัยสร้างทางเลือกใหม่สำหรับ GPU

นักวิทยาศาสตร์คอมพิวเตอร์จาก Rice University ร่วมกับผู้ร่วมงานจาก Intel (INTC ) ได้พัฒนาแอลกอริทึมที่มีประสิทธิภาพมากกว่าและราคาไม่แพงกว่า GPU แอลกอริทึมใหม่นี้เรียกว่า “sub-linear deep learning engine” (SLIDE) และใช้หน่วยประมวลผลกลาง (CPU) ทั่วไปโดยไม่ต้องใช้ฮาร์ดแวร์เร่งความเร็วพิเศษ

ผลลัพธ์ได้รับการนำเสนอที่ Austin Convention Center ซึ่งเป็นสถานที่จัดงานประชุมระบบการเรียนรู้ของเครื่อง MLSys

หนึ่งในความท้าทายที่ยิ่งใหญ่ที่สุดในด้านปัญญาประดิษฐ์ (AI) คือฮาร์ดแวร์เร่งความเร็วพิเศษ เช่น GPU ก่อนที่จะมีการพัฒนาใหม่นี้ มันถูกเชื่อว่าในการเพิ่มความเร็วของเทคโนโลยีการเรียนรู้ลึก จำเป็นต้องใช้ฮาร์ดแวร์เร่งความเร็วพิเศษ

หลายบริษัทได้ให้ความสำคัญกับการลงทุนใน GPU และฮาร์ดแวร์เร่งความเร็วพิเศษสำหรับการเรียนรู้ลึก ซึ่งเป็นสิ่งที่รับผิดชอบต่อเทคโนโลยี เช่น ผู้ช่วยดิจิทัล การจดจำใบหน้า และระบบแนะนำผลิตภัณฑ์ หนึ่งในบริษัทเหล่านั้นคือ Nvidia (NVDA ) ซึ่งสร้าง Tesla (TSLA ) V100 Tensor Core GPUs Nvidia รายงานว่ารายได้ในไตรมาสที่สี่เพิ่มขึ้น 41% เมื่อเทียบกับปีที่แล้ว

การพัฒนา SLIDE เปิดโอกาสใหม่ๆ

Anshumali Shrivastava เป็นอาจารย์ผู้ช่วยใน Brown School of Engineering ของ Rice และช่วยสร้าง SLIDE ร่วมกับนักศึกษาระดับบัณฑิตศึกษา Beidi Chen และ Tharun Medini

“การทดสอบของเราแสดงให้เห็นว่า SLIDE เป็นแอลกอริทึมที่ฉลาดที่สุดในการใช้ CPU สำหรับการเรียนรู้ลึก และสามารถเอาชนะฮาร์ดแวร์เร่งความเร็ว GPU ในชุดข้อมูลแนะนำอุตสาหกรรมขนาดใหญ่ด้วยโครงสร้างที่เชื่อมต่ออย่างเต็มที่” Shrivastava กล่าว

SLIDE สามารถผ่านความท้าทายของ GPU ได้เนื่องจากแนวทางที่แตกต่างในการเรียนรู้ลึก ปัจจุบัน เทคนิคการฝึกอบรมมาตรฐานสำหรับเครือข่ายประสาทลึกคือ “การถอยหลัง” และต้องใช้การคูณเมทริกซ์ งานนี้ต้องการการใช้ GPU ดังนั้นผู้วิจัยจึงเปลี่ยนการฝึกอบรมเครือข่ายประสาทเพื่อให้สามารถแก้ไขได้ด้วยตารางแฮช

แนวทางใหม่นี้ลดภาระการคำนวณสำหรับ SLIDE อย่างมาก แพลตฟอร์ม GPU ที่ดีที่สุดในปัจจุบันที่บริษัทต่างๆ เช่น Amazon (AMZN ) และ Google (GOOGL ) ใช้สำหรับการเรียนรู้ลึกบนคลาวด์มี Tesla V100 สองตัว และมีราคาคือประมาณ 100,000 ดอลลาร์

“เรามีหนึ่งในห้องปฏิบัติการ และในกรณีทดสอบของเรา เราใช้การทำงานที่เหมาะสำหรับ V100 ซึ่งมีมากกว่า 100 ล้านพารามิเตอร์ในเครือข่ายที่เชื่อมต่ออย่างเต็มที่ขนาดใหญ่ที่พอดีกับหน่วยความจำ GPU” Shrivastava กล่าว “เราฝึกอบรมมันด้วยแพ็คเกจ (ซอฟต์แวร์) ที่ดีที่สุดในขณะนั้น ซึ่งเป็น TensorFlow ของ Google และใช้เวลา 3 ชั่วโมงครึ่งในการฝึกอบรม

“จากนั้นเราก็แสดงให้เห็นว่าแอลกอริทึมใหม่ของเราสามารถทำการฝึกอบรมได้ภายในหนึ่งชั่วโมง ไม่ใช่บน GPU แต่บน CPU Xeon-class 44 คอร์” เขายังคงพูดต่อไป

การแฮชเป็นวิธีการดัชนีข้อมูลที่คิดค้นขึ้นในปี 1990 สำหรับการค้นหาในอินเทอร์เน็ต วิธีการทางคณิตศาสตร์จะใช้ในการเข้ารหัสข้อมูลจำนวนมากเป็นชุดตัวเลขที่เรียกว่าแฮช แฮชจะถูกจัดทำเป็นตารางที่สามารถค้นหาได้อย่างรวดเร็ว

“จะไม่มีประโยชน์ที่จะนำแอลกอริทึมของเราไปใช้กับ TensorFlow หรือ PyTorch เนื่องจากสิ่งแรกที่พวกเขาต้องการคือการแปลงสิ่งที่คุณทำให้เป็นปัญหาในการคูณเมทริกซ์” Chen กล่าว “นั่นคือสิ่งที่เราต้องการหลีกเลี่ยง ดังนั้นเราจึงเขียนโค้ด C++ ใหม่ตั้งแต่ต้น”

ตาม Shrivastava คุณประโยชน์ที่ยิ่งใหญ่ที่สุดของ SLIDE คือความสามารถในการทำงานขนานกัน

“โดยการทำงานขนานกัน ฉันหมายถึงว่าหากฉันมีตัวอย่างข้อมูลสองตัวอย่างที่ฉันต้องการฝึกอบรม เช่น รูปภาพของแมวและรถบัส มันจะกระตุ้นニューロนแตกต่างกัน และ SLIDE สามารถอัปเดตหรือฝึกอบรมได้อย่างอิสระ” เขากล่าว “นี่เป็นการใช้ประโยชน์จากความสามารถในการทำงานขนานกันของ CPU ที่ดีกว่า”

“สิ่งที่ตรงกันข้าม เมื่อเทียบกับ GPU คือเราต้องการหน่วยความจำขนาดใหญ่” เขากล่าว “มีระบบการจัดเก็บข้อมูลในหน่วยความจำหลัก และหากคุณไม่ระวัง คุณอาจพบปัญหาเรื่องการ thrashing ของแคช ซึ่งคุณจะได้รับการเข้าถึงแคชจำนวนมาก”

SLIDE เปิดประตูสู่วิธีการใหม่ๆ ในการนำการเรียนรู้ลึกไปใช้ และ Shrivastava เชื่อว่ามันเป็นเพียงจุดเริ่มต้น

“เรากำลังเพิ่งเริ่มต้น” เขากล่าว “ยังมีหลายสิ่งที่เราสามารถทำได้เพื่อเพิ่มประสิทธิภาพ เรายังไม่ได้ใช้เวกเตอร์หรือตัวเร่งความเร็วที่มีมาจาก CPU เช่น Intel Deep Learning Boost มีหลายเทคนิคที่เราสามารถใช้เพื่อทำให้มันเร็วขึ้น”