เอไอที่พัฒนาเพื่อแปลกิจกรรมสมองเป็นคำพูด

นักวิจัยจากมหาวิทยาลัยแคลิฟอร์เนีย ซานฟรานซิสโก ได้พัฒนาเอไอที่สามารถแปลกิจกรรมสมองเป็นข้อความ ระบบนี้ทำงานบนรูปแบบประสาทที่ตรวจจับได้เมื่อบุคคลพูด แต่นักวิจัยหวังว่าระบบนี้จะสามารถใช้กับบุคคลที่ไม่สามารถพูดได้ เช่น ผู้ที่เป็นโรคล็อกอินซินโดรม

ดร. โจเซฟ มาคิน เป็นผู้ร่วมเขียนการวิจัย

“เรายังไม่ถึงจุดนั้น แต่เราคิดว่านี่อาจเป็นพื้นฐานของการสร้างสื่อการสื่อสาร” มาคินกล่าว

การวิจัย ได้รับการตีพิมพ์ในวารสาร เนเจอร์ นิวโรซाइ언ซ์

การทดสอบระบบ

โจเซฟ มาคิน และทีมของเขาใช้แอลกอริทึมการเรียนรู้ลึกเพื่อศึกษาสัญญาณสมองของสี่สตรีขณะพูด ทั้งสี่สตรีมีโรคปลอกประสาทอักเสบ และมีการติดอิเล็กโทรดเข้ากับสมองเพื่อตรวจสอบการชัก

หลังจากติดอิเล็กโทรดแล้ว แต่ละสตรีจะอ่านข้อความออกเสียงขณะมีการวัดกิจกรรมสมอง จำนวนคำที่ใช้มากที่สุดคือ 250 คำ พวกเขาสามารถเลือกจากชุดข้อความ 50 ข้อ รวมถึง “ทิน่า เทอร์เนอร์เป็นนักร้องป๊อป” และ “โจรทั้งหลายขโมยเพชร 30 เม็ด”

ข้อมูลกิจกรรมสมองถูกส่งเข้าแอลกอริทึมเครือข่ายประสาทเทียม และได้รับการฝึกให้ระบุรูปแบบที่เกิดขึ้นซ้ำๆ รูปแบบเหล่านี้สามารถเชื่อมโยงกับด้านต่างๆ ของการพูด เช่น สระเสียงหรือพยัญชนะ จากนั้นจะถูกส่งเข้าเครือข่ายประสาทเทียมอีกเครื่องหนึ่งที่พยายามแปลงรูปแบบเหล่านี้เป็นคำเพื่อสร้างประโยค

แต่ละสตรีถูกขอให้พูดข้อความซ้ำอย่างน้อยสองครั้ง โดยการซ้ำครั้งสุดท้ายจะไม่รวมอยู่ในข้อมูลการฝึก ซึ่งช่วยให้นักวิจัยสามารถทดสอบระบบได้

“การจำกิจกรรมสมองของข้อความเหล่านี้จะไม่ช่วยให้ระบบเรียนรู้ได้ ดังนั้นระบบจึงต้องเรียนรู้สิ่งที่คล้ายคลึงกันระหว่างข้อความเหล่านี้เพื่อให้สามารถสรุปได้” มาคินกล่าว

ผลลัพธ์

ผลลัพธ์แรกของระบบไม่ได้สร้างประโยคที่มีความหมาย แต่ระบบได้รับการปรับปรุงเมื่อเทียบกับข้อความที่อ่านออกเสียง

ทีมนักวิจัยได้ทดสอบระบบโดยสร้างข้อความที่เขียนจากกิจกรรมสมองขณะพูดเท่านั้น

มีข้อผิดพลาดมากมายในการแปล แต่อัตราความแม่นยำยังคงมากและดีกว่าวิธีการก่อนหน้านี้ อัตราความแม่นยำแตกต่างกันไปในแต่ละบุคคล แต่สำหรับบุคคลหนึ่งเพียง 3% ของแต่ละประโยคโดยเฉลี่ยต้องมีการแก้ไข

ทีมนักวิจัยยังพบว่าแอลกอริทึมการฝึกที่ใช้กับข้อมูลของบุคคลหนึ่งทำให้ผู้ใช้สุดท้ายต้องให้ข้อมูลน้อยลง

ตามคำกล่าวของดร. คริสเตียน เฮรฟฟ์ จากมหาวิทยาลัยมาสทริชท์ ซึ่งไม่ได้เกี่ยวข้องกับการศึกษาครั้งนี้ ว่าระบบนี้ต้องใช้เวลาในการฝึกน้อยกว่า 40 นาทีต่อผู้เข้าร่วมและชุดข้อความที่จำกัด เมื่อเทียบกับหลายล้านชั่วโมงที่ต้องการตามวิธีการก่อนหน้านี้

“ด้วยวิธีนี้ พวกเขาจึงบรรลุระดับความแม่นยำที่ไม่เคยทำได้มาก่อน” เฮรฟฟ์กล่าว

“แน่นอนว่านี่เป็นการวิจัยที่น่าประทับใจ แต่ผู้คนเหล่านี้ก็สามารถใช้ ‘โอเค กูเกิล’ ได้เช่นกัน” เขากล่าว “สิ่งนี้ไม่ใช่การแปลความคิด แต่เป็นการแปลกิจกรรมสมองขณะพูด”

ความท้าทายอีกอย่างหนึ่งคือผู้ที่มีความพิการในการพูดอาจมีกิจกรรมสมองที่แตกต่างกัน

“เราต้องการใช้ระบบนี้กับผู้ป่วยที่มีความพิการในการพูดจริงๆ” มาคินกล่าว “แม้ว่าอาจเป็นไปได้ที่กิจกรรมสมองของพวกเขาอาจแตกต่างจากสตรีในศึกษานี้ ทำให้ระบบนี้ยากขึ้น”

ยังมีระยะทางไกลที่ต้องเดินทางเพื่อแปลข้อมูลสัญญาณสมองอย่างครอบคลุม มนุษย์ใช้คำพูดจำนวนมาก และการศึกษานี้ใช้เพียงชุดข้อความที่จำกัดมาก