ซูซานนา สตามิโรฟสกา ผู้ร่วมก่อตั้งและซีอีโอของ Pathway – สัมภาษณ์ซีรีส์

ซูซานนา สตามิโรฟสกา ผู้ร่วมก่อตั้งและซีอีโอของ Pathway เป็นนักวิจัยที่เปลี่ยนมาเป็นผู้สร้างที่เคยทำงานเกี่ยวกับปรากฏการณ์ที่เกิดขึ้นเองและวิวัฒนาการของเครือข่ายขนาดใหญ่ โครงการของเธอได้รับการยอมรับจากสถาบันวิทยาศาสตร์แห่งชาติของสหรัฐอเมริกา และเธอได้รับปริญญาเอกด้านระบบที่ซับซ้อน ซูซานนา ร่วมกับ Jan Chorowski ซีทีโอ และ Adrian Kosowski ซีเอสโอ นำทีมที่ได้สร้างเครื่องมือ AI ที่เปิดกว้างพร้อมด้วยดาวมากกว่า 62,000 ดวงบน GitHub

Pathway กำลังสร้างความแตกต่างในการคิดของโมเดล AI โดยมีเป้าหมายที่จะสร้างระบบที่ทำงานอย่างต่อเนื่องและปรับตัวได้มากกว่าการทำงานเป็นชุดๆ ในเบื้องหลัง เครื่องมือและสถาปัตยกรรมของบริษัทช่วยให้โมเดลสามารถประมวลผล เรียนรู้ และพัฒนาได้แบบเรียลไทม์ บริษัทได้รับการสนับสนุนจากผู้นำในอุตสาหกรรม เช่น Lukasz Kaiser (ผู้คิดค้น Transformer) และบริษัท rizik ทุนชั้นนำ

อะไรเป็นแรงบันดาลใจให้คุณก่อตั้ง Pathway และวิธีการที่พื้นฐานของคุณในระบบที่ซับซ้อน ทฤษฎีเกม และปรากฏการณ์ที่เกิดขึ้นเองมีอิทธิพลต่อวิสัยทัศน์และทิศทางทางเทคนิคของบริษัท?

เราต้องการสร้าง AI ที่คิดและปรับตัวเหมือนมนุษย์ เราเข้าใจว่าสิ่งนี้หมายถึงระบบ AI (โมเดล Deep Learning หรือพายพ์ไลน์ Machine Learning ที่สร้างจากอิฐที่ใหญ่ขึ้น) ที่สามารถเรียนรู้อย่างต่อเนื่องตามข้อมูลจากสภาพแวดล้อม ได้รับการปรับปรุงด้วยประสบการณ์ และบางครั้ง “แก้ไข” มุมมองเก่าของโลก เราได้รับการรายงานอย่างกว้างขวางเกี่ยวกับหัวข้อ “การไม่เรียนรู้ของเครื่องจักร” บนโมเดล

เมื่อคุณก่อตั้งบริษัทในปี 2020 คุณมีสมมติฐานแรกเกี่ยวกับสิ่งที่ระบบ AI ในอนาคตควรทำต่างออกไปอย่างไร และมุมมองเหล่านั้นได้พัฒนาไปอย่างไร?

เรามีความเชื่อมั่นอย่างแรงกล้าจากจุดเริ่มต้นว่า AI ต้องเป็นแบบเรียลไทม์ ปรับตัวได้ และรวมเข้ากับกระบวนการขนาดใหญ่ มันควรเรียนรู้โดยตรงจากแหล่งที่มา โดยใช้ข้อมูลที่ดีที่สุดเท่าที่จะเป็นไปได้

คุณสามารถอธิบาย “สถาปัตยกรรมหลัง Transformer” ที่คุณกำลังแนะนำได้อย่างไร และมันแตกต่างจากระบบที่ใช้ Transformer อย่างไร?

สถาปัตยกรรมใหม่ของเรา Baby Dragon Hatchling (BDH) เชื่อมโยงการประมวลผลข้อมูลของ Transformer เข้ากับการให้เหตุผลที่เกิดขึ้นในสมอง BDH ทำงานเหมือนระบบทางกายภาพ: แบบจำลองการคำนวณที่สมองทำงานร่วมกันเพื่อค้นหาข้อเท็จจริงที่เกี่ยวข้องมากที่สุดถัดไปการให้เหตุผลตามบริบทไม่ได้ถูกจำกัดด้วยข้อจำกัดทางวิศวกรรม เช่น ความยาวบริบทคงที่ของ Transformer แต่จะขยายออกไปตามจำนวนแบบจำลองใหม่

ในเชิงเทคนิค BDH แตกต่างจาก Transformer ตรงที่ใช้ linear attention และเวกเตอร์ key-query แบบเบาบาง โดยไม่มีข้อจำกัดด้านขนาดของหน้าต่างบริบท

แนวทางนี้เปิดทางให้ระบบเรียนรู้ระหว่างการทำงาน รักษาสายโซ่การให้เหตุผลที่ยาว และปรับตัวอย่างต่อเนื่องตามบริบท

คุณลักษณะหลักของระบบคือความเป็นท้องถิ่น: ข้อมูลสำคัญอยู่ใกล้กับจุดที่ประมวลผล ซึ่งช่วยลดการสื่อสารและขจัดคอขวดสำคัญของโมเดลให้เหตุผลระหว่างการอนุมาน นั่นคือแบนด์วิดท์ระหว่างหน่วยความจำกับแกนประมวลผล

วิธีการที่คุณดึงแรงบันดาลใจจากเหตุผลของมนุษย์ โดยเฉพาะอย่างยิ่งในการทำให้สามารถปรับตัวและเรียนรู้อย่างต่อเนื่องโดยไม่ต้องฝึกใหม่?

BDH ทำให้ความฉลาดตามธรรมชาติและความฉลาดของเครื่องจักรเข้าใกล้กันมากขึ้น

สถาปัตยกรรมนี้ได้รับแรงบันดาลใจจากการทำงานของเซลล์ประสาทและไซแนปส์ในสมอง โดยเชื่อมกลไกความสนใจทางชีววิทยากับแนวคิด attention เชิงคำนวณในแมชชีนเลิร์นนิง และสร้างสะพานที่ขยายขนาดได้ระหว่าง Transformer กับสมอง

BDH นำ attention มาไว้ใกล้กับพารามิเตอร์ของโมเดล โดยมองทั้งสองเป็นภาพสะท้อนของพลวัตระบบคล้ายสมองเดียวกัน Attention เปลี่ยนอย่างรวดเร็วเมื่อมีข้อเท็จจริงใหม่ระหว่างการให้เหตุผล ส่วนพารามิเตอร์ของโมเดลเปลี่ยนช้ากว่าเมื่อระบบปรับนิสัยระยะยาว ซึ่งใกล้เคียงกับวิธีที่เราเชื่อว่าสมองใช้เหตุผล

เรามองว่า BDH เป็นหมุดหมายสู่การออกแบบระบบ AI ที่ให้เหตุผลระหว่างงาน พัฒนาจากประสบการณ์ และปรับตัวได้โดยไม่ต้องฝึกใหม่ ซึ่งเป็นคุณสมบัติที่เราเชื่อมโยงกับการให้เหตุผลของมนุษย์

หนึ่งในความท้าทายของ AI คือการรักษาสมดุลระหว่างความเสถียรกับการปรับตัว คุณทำให้ระบบเรียนรู้แบบเรียลไทม์โดยไม่สูญเสียความรู้เดิมได้อย่างไร?

BDH อาศัยโครงสร้างที่ไม่ขึ้นกับสเกลและสถานะของเซลล์ประสาทที่อยู่เฉพาะจุด เพื่อคงการให้เหตุผลในช่วงเวลายาวนาน พร้อมรักษาสมดุลระหว่างความเสถียรกับการรวมความรู้และข้อสังเกตใหม่ สมดุลตามธรรมชาตินี้ตรวจสอบและติดตามได้ง่ายตลอดอายุของโมเดล

ด้วย BDH เราวางการให้เหตุผลไว้เป็นรากฐานของสติปัญญา งานปัจจุบันช่วยพัฒนาสมมติฐานเกี่ยวกับบทบาทของความรู้ในโมเดลภาษาขนาดใหญ่: สิ่งสำคัญไม่ใช่เพียงว่าอะไร ‘จริง’ แต่คืออะไร ‘มีประโยชน์’ ในบริบทหนึ่งเพื่อเดินหน้าสายโซ่การให้เหตุผล เมื่อความรู้มีบริบท การที่โลกของเราเป็นไปตามกฎธรรมชาติและเรารู้จักนิทานที่มีนางฟ้าและเวทมนตร์ก็ไม่ขัดแย้งกัน เช่นเดียวกับที่โมเดลสามารถพิจารณาสมมติฐานการคาดการณ์หลายแบบในสายความคิดเดียวกัน

โมเดลที่ใช้ BDH เรียนรู้ข้อเท็จจริงใหม่อย่างมีบริบทตลอดอายุการทำงาน จึงแก้ไขตนเองได้ สถาปัตยกรรมนี้แสดงสถิติกิจกรรมของเซลล์ประสาทที่ติดตามได้ง่ายและให้การควบคุมอย่างละเอียดต่อการถ่ายโอนความรู้จากบริบทสู่พารามิเตอร์ของโมเดล ช่วยลดความเสี่ยงที่บริบทล้าสมัยจะกลับมาในเวลาที่ไม่เหมาะสม

คุณสามารถอธิบายการแลกเปลี่ยนด้านวิศวกรรมในการสร้างเครื่องยนต์ประมวลผลข้อมูลแบบเรียลไทม์ที่สามารถรองรับฟังก์ชันเหล่านี้ได้ขนาดใหญ่?

Pathway เสนอเครื่องยนต์ประมวลผลข้อมูลที่เร็วที่สุดในตลาด เครื่องยนต์นี้เป็นพื้นฐานสำหรับการจัดการข้อมูลแบบเรียลไทม์และการตอบสนองต่อข้อมูลใหม่ด้วยความหน่วงต่ำ ด้วยการผสมผสาน BDH เราให้ความสามารถในการปรับตัวแบบเรียลไทม์ไปยังโมเดล AI พื้นฐานที่ใช้ในการปล่อยตัว

กรณีการใช้งานที่น่าสนใจที่สุดคืออะไรที่ต้องการขั้นตอนต่อไปของ AI และระบบ Transformer ที่มีอยู่ล้มเหลว?

นวัตกรรมมากมายได้ขยายฟังก์ชันการทำงานของ AI ซึ่งถูกสร้างขึ้นเพื่อปรับตัวให้เข้ากับข้อมูลใหม่และพึ่งพา ‘เวลาทำงาน’ อย่างมาก แต่ไม่มีสิ่งใดสามารถทดแทนการจ้างงานของบุคคลที่มีทักษะสูงได้

คำตอบที่รวดเร็วและตรงไปตรงมา คือ เรากำลังพูดถึงงานใดๆ ที่ต้องการการทำงานที่สอดคล้องกันมากกว่า 2 ชั่วโมงและ 17 นาทีโดยผู้เชี่ยวชาญของมนุษย์ นี่คือขีดจำกัดปัจจุบันของ GPT5 ตาม METER

เรามีการสนทนาที่ดีกับพันธมิตรด้านการออกแบบในองค์กรที่ต้องการการปรับแต่งอย่างลึกซึ้ง โมเดลที่เรียนรู้ในงานจากข้อมูลที่หายาก และความปลอดภัยในการใช้งาน

BDH ทำให้สามารถเข้าถึงกระบวนการทางธุรกิจที่ซับซ้อน เช่น

• การปิดไตรมาสสำหรับบริษัทที่จดทะเบียนสาธารณะ
• การสร้างแบบไดนามิกของแนวทางปฏิบัติที่ดีที่สุดในสถานการณ์ที่มีความเสี่ยงสูงมีความเกี่ยวข้องอย่างมากทั้งในด้านการขายและการป้องกัน
• การบริหารการลงทุน

NATO กำลังใช้เทคโนโลยีของ Pathway ในการประมวลผลข้อมูลทางทหารและสังคมแบบเรียลไทม์ ทำให้ระบบการวางแผนสามารถปรับตัวตามสถานการณ์ที่เปลี่ยนแปลงไป La Poste ใช้ Live AI ของ Pathway ในการบริหารจัดการการดำเนินงานของตนแบบไดนามิกและแบบเรียลไทม์ อุตสาหกรรม เช่น การเงินและการดูแลสุขภาพ ที่ข้อมูลมีจำกัดหรือมีความอ่อนไหวสามารถได้รับประโยชน์จากโมเดลที่ต้องการข้อมูลน้อยแต่ให้ข้อมูลเชิงลึกและตัดสินใจที่เชื่อถือได้มากขึ้น

คุณสามารถแบ่งปันข้อมูลเกี่ยวกับวิธีการที่องค์กร เช่น NATO, La Poste หรือ Formula 1 ใช้เทคโนโลยีของคุณและผลกระทบที่ได้รับ?

NATO, La Poste และทีม Formula 1 เป็นผู้นำรุ่นแรกที่ใช้เทคโนโลยีของ Pathway

Pathway เสนอเทคโนโลยีการประมวลผลข้อมูลที่มีประสิทธิภาพและนวัตกรรมให้กับ NATO เพื่อปลดล็อกความสามารถใหม่ๆ สำหรับการใช้งานที่สำคัญในระดับใหญ่ ด้วยตัวแสดงการทำงานของเรา เรินฟอร์สเมนต์ เอนเอเบิลเมนต์ ซิมูเลชัน ทูล (REST) เราได้พัฒนาเสาหลักสำหรับการพัฒนาต่อไปของโซลูชัน AI ที่ได้รับการสนับสนุนจาก NATO โดยใช้ Pathway ในการเชื่อมต่อข้อมูลที่มาจากแหล่งที่เปิดกว้าง ทำให้การรับรู้ถึงสถานการณ์เร็วขึ้นและถึงระดับที่ NATO ต้องการเพื่อดำเนินงานในยุค 2020

La Poste ใช้ Pathway เพื่อปรับปรุงกระบวนการเกี่ยวกับหน่วยขนส่ง โดยใช้ Pathway Framework ในการคาดการณ์การดำเนินงานของตนแบบอัตโนมัติและแบบเรียลไทม์ และสร้างการวิเคราะห์คุณภาพแบบเรียลไทม์ของการดำเนินงานขนส่ง ด้วย Pathway บริษัทสามารถปรับกระบวนการโลจิสติกส์ของตนไดนามิก ลดเวลาในการจัดส่งและเวลาในการประมวลผล และเพิ่มความน่าเชื่อถือ นอกจากนี้ยังสามารถลดต้นทุนการดำเนินงานได้ถึง 50% ในบางกรณี

ทีม Formula 1 ใช้ Pathway ในการปรับกลยุทธ์ภายใต้สภาพแวดล้อมที่มีความกดดันสูงและแบบเรียลไทม์ บริษัทต้องการแพลตฟอร์มสำหรับผู้ใช้สุดท้ายในการสร้างฟังก์ชันผู้ใช้แบบอิสระ (UDFs) และให้ความต้องการทางธุรกิจต่างๆ ตั้งแต่การจำลองกีฬาไปจนถึงการแข่งขันรถและฟอร์มูล่าเรซซิ่ง Pathway Live Data Framework ช่วยให้สามารถแปลงข้อมูลไดนามิกที่ความเร็วต่ำสุด (90 เท่าเร็วกว่าเมื่อก่อน)

อุปสรรคที่ใหญ่ที่สุดในการใช้ระบบปรับตัวในอุตสาหกรรม เช่น การดูแลสุขภาพหรือการป้องกันคืออะไร และคุณจัดการกับอุปสรรคเหล่านั้นอย่างไร?

ด้วยการออกแบบ LLMs ที่มีอยู่สร้างเนื้อหาที่ “ใหม่” โดยไม่มีการตัดสิน – เรียกมันว่า ‘gen’ ใน gen AI อุตสาหกรรมที่มีการควบคุมอย่างเข้มงวดต้องการการกำกับดูแลโดยคำนิยาม และไม่เต็มใจที่จะใช้กระบวนการทางธุรกิจที่ขับเคลื่อนด้วย AI โดยไม่มีการทำซ้ำ ความเชื่อถือ และการตรวจสอบได้ อาจจะดูเหมือนขัดแย้งกัน แต่เพื่อใช้ AI เหล่านี้ องค์กรเหล่านี้มักจะ “ลดความฉลาด” ของฟังก์ชันและเพิ่มความซับซ้อนเพิ่มเติมเพื่อให้เข้ากับข้อบังคับ

โดยการออกแบบ BDH ช่วยให้องค์กรสังเกตและปรับตัวตามสิ่งที่เกิดขึ้นภายในโมเดล การมองเห็นกระบวนการ ‘ให้เหตุผล’ ในระยะยาวสร้างความเชื่อมั่นให้จัดการกระบวนการทางธุรกิจที่ยาวและซับซ้อนขึ้น BDH มีทั้งความสามารถในการสังเกตและการรับรู้กระบวนการตามแกนเวลา จึงไม่ต้องพึ่งชุดข้อมูลสมบูรณ์ขนาดมหาศาล หน้าต่างบริบทที่ยาวมาก หรือโค้ดเชื่อมเพิ่มเติมเพื่อการสังเกต

การพิจารณาด้านจริยธรรมหรือการป้องกันที่จำเป็นเมื่อระบบ AI เริ่มเรียนรู้และปรับตัวแบบเรียลไทม์คืออะไร?

ระบบที่เรียนรู้ด้วยประสบการณ์มีโอกาสที่จะปลอดภัยมากกว่าระบบ Transformer ที่มีอยู่ เนื่องจากมีโอกาสที่จะแก้ไขและปรับปรุงความเข้าใจที่ผิดพลาดได้

เพื่อให้แน่ใจถึงความปลอดภัยของระบบเหล่านี้ จำเป็นต้องได้รับการติดตามผลตลอดเวลา ซึ่งหมายความว่าเราต้องให้ข้อมูลใหม่ๆ และอาจต้องมีการสร้างวงจรป้อนกลับเพื่อให้ระบบเข้าใจผลกระทบจากการทำงานของมันเอง

ที่สอง โมเดลที่ใช้ BDH มีการตีความที่ช่วยให้เข้าใจว่ามันทำงานอย่างไร ทำให้มนุษย์มีการควบคุมที่ดีกว่า

อะไรที่ต้องใช้เพื่อให้ “พาราไดม์หลัง Transformer” กลายเป็นกระแสหลักในหมู่ชุมชน AI?

โมเดลที่มีประโยชน์อย่างมากที่มีต้นทุนการอนุมานต่ำกว่าและเร็วกว่า เราเชื่อว่ามีโอกาสชนะในตลาด โดยเฉพาะอย่างยิ่งในภาคธุรกิจ

ขอขอบคุณสำหรับการสัมภาษณ์ที่ยอดเยี่ยม ผู้อ่านสามารถเยี่ยมชม Pathway เพื่อเรียนรู้เพิ่มเติม