AI สามารถช่วยนักวิจัยกำหนดว่าเอกสารใดสามารถทำซ้ำได้ โดยมีเป้าหมายเพื่อแก้ไขวิกฤตการสืบพันธุ์

ในช่วงไม่กี่ปีที่ผ่านมา มีการให้ความสนใจมากขึ้นเรื่อยๆ ต่อสิ่งที่นักวิชาการและนักวิจัยขนานนามวิกฤตการจำลองแบบ/ความสามารถในการทำซ้ำ การศึกษาจำนวนมากล้มเหลวในการให้ผลลัพธ์ที่มีนัยสำคัญเช่นเดียวกันเมื่อมีการพยายามจำลองแบบการศึกษา และด้วยเหตุนี้ ชุมชนวิทยาศาสตร์จึงกังวลว่าการค้นพบนี้มักจะเน้นย้ำมากเกินไป ปัญหาดังกล่าวส่งผลกระทบต่อสาขาที่หลากหลาย เช่น จิตวิทยาและปัญญาประดิษฐ์ เมื่อพูดถึงสาขา AI เอกสารที่มีการทบทวนโดยผู้ทรงคุณวุฒิจำนวนมากได้รับการตีพิมพ์โดยอ้างถึงผลลัพธ์ที่น่าประทับใจซึ่งนักวิจัยรายอื่นไม่สามารถทำซ้ำได้ เพื่อที่จะแก้ไขปัญหาและลดจำนวนการศึกษาที่ไม่สามารถทำซ้ำได้ นักวิจัยได้ออกแบบแบบจำลอง AI ที่มีจุดมุ่งหมายเพื่อพิจารณาว่าเอกสารใดที่สามารถทำซ้ำได้

ตามรายงานของฟอร์จูนใหม่ กระดาษ เผยแพร่โดยทีมนักวิจัยจาก Kellog School of Management และ Institute of Complex Systems ที่ Northwestern University นำเสนอโมเดลการเรียนรู้เชิงลึกที่อาจกำหนดได้ว่าการศึกษาใดมีแนวโน้มที่จะทำซ้ำได้ และการศึกษาใดที่ไม่สามารถทำซ้ำได้ หากระบบ AI สามารถแยกแยะระหว่างได้อย่างน่าเชื่อถือ การศึกษาที่สามารถทำซ้ำได้และไม่สามารถทำซ้ำได้โดยสามารถช่วยมหาวิทยาลัย สถาบันวิจัย บริษัท และหน่วยงานอื่นๆ กรองเอกสารการวิจัยหลายพันรายการเพื่อพิจารณาว่าเอกสารใดมีแนวโน้มจะเป็นประโยชน์และเชื่อถือได้มากที่สุด

ระบบ AI ที่พัฒนาโดยทีม Northwestern ไม่ได้ใช้หลักฐานเชิงประจักษ์/ทางสถิติที่นักวิจัยมักใช้เพื่อยืนยันความถูกต้องของการศึกษา แบบจำลองนี้ใช้เทคนิคการประมวลผลภาษาธรรมชาติจริง ๆ เพื่อลองและวัดปริมาณความน่าเชื่อถือของกระดาษ ระบบจะแยกรูปแบบในภาษาที่ผู้เขียนบทความใช้ โดยพบว่ารูปแบบคำบางรูปแบบบ่งบอกถึงความน่าเชื่อถือมากกว่ารูปแบบอื่นๆ

ทีมวิจัยนำการวิจัยทางจิตวิทยาที่มีอายุเก่าแก่เท่ากับทศวรรษ 1960 ซึ่งพบว่าผู้คนมักจะสื่อสารระดับความมั่นใจที่พวกเขามีในความคิดของตนผ่านคำพูดที่พวกเขาใช้ ด้วยแนวคิดนี้ นักวิจัยคิดว่าผู้เขียนรายงานอาจส่งสัญญาณโดยไม่รู้ตัวว่ามีความมั่นใจในผลการวิจัยเมื่อเขียนรายงาน นักวิจัยได้ทำการฝึกอบรมสองรอบโดยใช้ชุดข้อมูลที่แตกต่างกัน ในขั้นต้น แบบจำลองนี้ได้รับการฝึกอบรมเกี่ยวกับบทคัดย่อประมาณสองล้านชิ้นจากเอกสารทางวิทยาศาสตร์ ในขณะที่ครั้งที่สองแบบจำลองได้รับการฝึกอบรมเกี่ยวกับเอกสารฉบับเต็มเพื่อนำมาจากโครงการที่มีจุดประสงค์เพื่อพิจารณาว่าเอกสารทางจิตวิทยาฉบับใดที่สามารถทำซ้ำได้ - โครงการการทำซ้ำ: จิตวิทยา

หลังจากการทดสอบ นักวิจัยได้ใช้แบบจำลองนี้กับเอกสารอื่นๆ หลายร้อยชิ้นที่นำมาจากสาขาต่างๆ เช่น จิตวิทยาและเศรษฐศาสตร์ นักวิจัยพบว่าแบบจำลองของพวกเขาให้การคาดการณ์ที่เชื่อถือได้มากกว่าเกี่ยวกับความสามารถในการทำซ้ำของกระดาษมากกว่าเทคนิคทางสถิติที่มักใช้เพื่อยืนยันว่าผลลัพธ์ของกระดาษสามารถทำซ้ำได้หรือไม่

นักวิจัยและศาสตราจารย์ Brian Uzzi จาก Kellog School of Management อธิบายกับ Fortune ว่าในขณะที่เขาหวังว่าสักวันหนึ่งโมเดล AI จะสามารถนำมาใช้เพื่อช่วยให้นักวิจัยแน่ใจได้ว่าผลลัพธ์มีแนวโน้มที่จะได้รับการทำซ้ำเพียงใด แต่ทีมวิจัยไม่แน่ใจเกี่ยวกับรูปแบบและรายละเอียดแบบจำลองของพวกเขา ได้เรียนรู้. ความจริงที่ว่าโมเดลแมชชีนเลิร์นนิงมักเป็นกล่องดำเป็นปัญหาที่พบบ่อยในการวิจัยด้าน AI แต่ข้อเท็จจริงนี้อาจทำให้นักวิทยาศาสตร์คนอื่นๆ ลังเลที่จะใช้โมเดลดังกล่าว

อุซซีอธิบายว่าทีมวิจัยหวังว่าโมเดลดังกล่าวจะสามารถนำมาใช้เพื่อรับมือกับวิกฤติโคโรนาไวรัส และช่วยเหลือนักวิทยาศาสตร์ได้มากขึ้น เข้าใจไวรัสได้อย่างรวดเร็ว และพิจารณาว่าผลการศึกษาใดที่น่าหวัง ดังที่ Uzzi พูดกับ Fortune:

“เราต้องการเริ่มนำสิ่งนี้ไปใช้กับปัญหาโควิด ซึ่งเป็นปัญหาในขณะนี้ที่หลายสิ่งเริ่มหละหลวม และเราจำเป็นต้องสร้างรากฐานที่แข็งแกร่งมากจากการทำงานก่อนหน้านี้ ยังไม่ชัดเจนว่างานก่อนหน้านี้จะถูกจำลองแบบหรือไม่ และเราไม่มีเวลาสำหรับการจำลองแบบ”

Uzzi และนักวิจัยคนอื่นๆ หวังที่จะปรับปรุงโมเดลนี้โดยการใช้เทคนิคการประมวลผลภาษาธรรมชาติเพิ่มเติม รวมถึงเทคนิคที่ทีมงานสร้างขึ้นเพื่อวิเคราะห์บันทึกการโทรที่เกี่ยวข้องกับรายได้ของบริษัท ทีมวิจัยได้สร้างฐานข้อมูลบันทึกการโทรประมาณ 30,000 รายการเพื่อวิเคราะห์หาเบาะแส หากทีมงานสามารถสร้างแบบจำลองที่ประสบความสำเร็จได้ พวกเขาอาจจะสามารถโน้มน้าวนักวิเคราะห์และนักลงทุนให้ใช้เครื่องมือนี้ได้ ซึ่งอาจปูทางไปสู่การใช้นวัตกรรมอื่นๆ สำหรับแบบจำลองและเทคนิคของมัน