Protege เปิดตัวการทดสอบ AI ด้านการดูแลสุขภาพอย่างเป็นอิสระ ขณะที่ Disease Odyssey เผยช่องว่างในการวินิจฉัย

Protege กำลังเปิดตัวการประเมิน AI ด้านการดูแลสุขภาพอย่างเป็นอิสระ โดยนำโมเดลต่าง ๆ มาทดสอบกับกรณีผู้ป่วยที่โมเดลเหล่านั้นไม่เคยพบมาก่อน เกณฑ์มาตรฐานแรกของบริษัทอย่าง Disease Odyssey แสดงให้เห็นเบื้องต้นว่าเรื่องนี้สำคัญอย่างไร โดยบริษัทระบุว่าโมเดลชั้นนำวินิจฉัยภาวะต่าง ๆ เช่น ภาวะหยุดหายใจขณะหลับและโรคโลหิตจางได้ถูกต้องเพียง 53%–69% ของกรณี เมื่อพิจารณาจากประวัติผู้ป่วย

การเปิดตัวเมื่อวันที่ 21 ตุลาคมยังรวมถึงการประเมินร่วมกับ Xlue AI และ Standard Model Biomedicine ด้วย ผลลัพธ์เหล่านี้ช่วยตอบคำถามสำคัญสองข้อสำหรับโรงพยาบาลและนักพัฒนา ได้แก่ โมเดลสามารถดึงสัญญาณทางคลินิกที่เป็นประโยชน์จากเวชระเบียนจริงได้หรือไม่ และการสร้างคำทำนายเหล่านั้นมีค่าใช้จ่ายเท่าใด

แนวทางของ Protege คือการย้ายการประเมินส่วนใหญ่ให้ไปดำเนินการนอกองค์กรที่พัฒนาโมเดล บริษัทออกแบบ ดำเนินการ และให้คะแนนการประเมินโดยใช้เวชระเบียนผู้ป่วยที่ได้รับการคุ้มครองความเป็นส่วนตัวและคำตอบที่แพทย์ยืนยันแล้ว ซึ่งช่วยให้นักพัฒนาระบุจุดอ่อนได้ก่อนกล่าวอ้างในวงกว้างเกี่ยวกับประสิทธิภาพ

การทดสอบที่แตกต่างจากการตอบคำถามในข้อสอบแพทย์

คำถามทางการแพทย์ที่ระบุการวินิจฉัยไว้อย่างชัดเจนแตกต่างจากประวัติผู้ป่วยที่บันทึกไว้ในการพบแพทย์หลายครั้ง อาการจะเปลี่ยนแปลงไปตามเวลา เวชระเบียนอาจมีข้อมูลไม่ครบ และเบาะแสชี้ขาดอาจซ่อนอยู่ท่ามกลางข้อมูลที่เกี่ยวข้องน้อยกว่า Disease Odyssey มุ่งเน้นการตรวจพบโรคก่อนการวินิจฉัย โดยอาศัยประวัติสุขภาพที่บันทึกต่อเนื่องตามช่วงเวลาเหล่านี้

ช่วง 53%–69% ที่รายงานนั้นใช้กับกรณีและภาวะที่นำมาทดสอบ ไม่ใช่ AI ด้านการดูแลสุขภาพโดยรวม ประกาศของ Protege ให้รายละเอียดไม่เพียงพอเกี่ยวกับขนาดตัวอย่าง โมเดลที่ใช้เปรียบเทียบอย่างเฉพาะเจาะจง หรือความไม่แน่นอนของผลลัพธ์ จึงยังไม่อาจใช้สนับสนุนการจัดอันดับที่ครอบคลุมกว่านี้ได้ อย่างไรก็ตาม ผลที่รายงานแสดงให้เห็นว่ายังมีโอกาสอีกมากในการปรับปรุงประสิทธิภาพตามเกณฑ์มาตรฐานเบื้องต้นของบริษัท

“AI ด้านการดูแลสุขภาพกำลังพัฒนาอย่างรวดเร็ว แต่วิธีประเมินยังตามไม่ทัน” Bobby Samuels ผู้ร่วมก่อตั้งและประธานเจ้าหน้าที่บริหารของ Protege กล่าวในประกาศ

Protege แยกการทดสอบออกจากการพัฒนาอย่างไร

Protege อธิบายว่ากระบวนการของบริษัทเป็นการประเมินแบบปกปิดสองฝ่าย กล่าวคือ ผู้พัฒนาโมเดลจะไม่เห็นข้อมูลผู้ป่วยหรือคำถามล่วงหน้า ขณะที่ Protege ประเมินระบบโดยไม่ทราบว่าระบบเหล่านั้นสร้างขึ้นอย่างไร ในที่นี้ คำดังกล่าวหมายถึงรูปแบบการประเมิน ไม่ใช่การทดลองทางคลินิกแบบสุ่ม

การไม่นำข้อมูลทดสอบไปใช้ในการพัฒนามีความสำคัญ เพราะการเปิดเผยคำถามจากเกณฑ์มาตรฐานอาจทำให้ประสิทธิภาพที่เห็นสูงเกินจริง โมเดลที่เคยพบคำตอบระหว่างการฝึกอาจดูมีความสามารถมากกว่าความเป็นจริง เมื่อต้องเผชิญกับกรณีใหม่อย่างแท้จริง

แพลตฟอร์มประเมิน AI ด้านการดูแลสุขภาพของบริษัทมีมาตรการควบคุมที่นำไปใช้ได้จริงหลายประการ โดยระบุถึงกรณีทดสอบที่ได้รับการคุ้มครองและกันไว้ไม่ให้ใช้ฝึกโมเดล งานและเกณฑ์การให้คะแนนที่มีการกำหนดเวอร์ชัน ตลอดจนการวิเคราะห์รูปแบบความล้มเหลวและกลุ่มประชากรที่ได้รับผลกระทบ การกำหนดเวอร์ชันช่วยให้เปรียบเทียบโมเดลแต่ละรุ่นได้อย่างมีความหมายมากขึ้น เพราะการตีความคะแนนที่สูงขึ้นทำได้ง่ายกว่าเมื่อไม่มีการเปลี่ยนงานหรือกติกาการให้คะแนนอย่างเงียบ ๆ

แพลตฟอร์มนี้รวบรวมข้อมูลที่เชื่อมโยงกัน ซึ่งรวมถึงเวชระเบียนอิเล็กทรอนิกส์ บันทึกทางคลินิก ภาพถ่ายทางการแพทย์ ผลพยาธิวิทยา ข้อมูลการเรียกเก็บค่ารักษา และผลลัพธ์ Data Lab แปลงคำถามทางคลินิกให้เป็นงานประเมินและคำตอบอ้างอิง การผสานข้อมูลและกระบวนการดังกล่าวมีจุดประสงค์เพื่อทดสอบว่าโมเดลใช้บริบททางคลินิกอย่างไร ไม่ใช่เพียงตรวจว่าโมเดลสามารถสร้างข้อเท็จจริงทางการแพทย์ที่แยกส่วนกันขึ้นมาใหม่ได้หรือไม่

โมเดลเฉพาะทางแข่งขันกันทั้งด้านประสิทธิภาพและต้นทุน

การประเมินที่นำเสนอควบคู่กันนี้พิจารณางานที่แตกต่างกัน ดังนั้นจึงควรอ่านผลแยกจาก Disease Odyssey

ในการทำงานร่วมกับ Standard Model Biomedicine Protege ประเมินการคาดการณ์เกี่ยวกับการรอดชีวิตของผู้ป่วยมะเร็งเต้านมและมะเร็งปอด รวมถึงระยะเวลาก่อนที่ผู้ป่วยจะได้รับการรักษาครั้งถัดไป บริษัทระบุว่าโมเดลเฉพาะทางทำผลงานได้แข่งขันกับระบบชั้นนำ ขณะที่มีต้นทุนต่อการคาดการณ์ต่ำกว่า 36–170 เท่า

การประเมิน Xlue AI อีกชิ้นหนึ่งพิจารณาโมเดล HealthSAW ซึ่งคาดการณ์ความเสี่ยงในอนาคตที่เกี่ยวข้องกับมะเร็ง โรคหัวใจและหลอดเลือด และภาวะทางระบบประสาท Protege ระบุว่า HealthSAW ทำผลงานเหนือกว่าโมเดลชั้นนำในการทดสอบ 14 จาก 16 รายการ โดยมีต้นทุนต่อผู้ป่วยต่ำกว่า 0.1% ของต้นทุนโมเดลเหล่านั้น

นี่คือผลเปรียบเทียบเฉพาะงานที่ Protege รายงาน ไม่ใช่หลักฐานว่าโมเดลใดโมเดลหนึ่งดีที่สุดสำหรับทุกบริบททางคลินิก ประกาศไม่ได้แจกแจงวิธีคำนวณต้นทุนทั้งหมด ต้นทุนการคาดการณ์ที่ต่ำลงอาจทำให้การคัดกรองซ้ำหรือการวิเคราะห์ข้อมูลขนาดใหญ่ทำได้จริงมากขึ้น แต่ต้นทุนการนำไปใช้ยังขึ้นอยู่กับการผสานระบบ การกำกับดูแล และภาระงานที่เกิดจากผลลัพธ์ที่ไม่ถูกต้องด้วย

การประเมินต้องตามให้ทันการอัปเดตโมเดล

ธุรกิจโดยรวมของ Protege จัดหาข้อมูลสำหรับการพัฒนา AI ทำให้การแยกข้อมูลที่ใช้พัฒนาออกจากข้อมูลที่ใช้ประเมินเป็นองค์ประกอบสำคัญของแนวทางบริษัท เอกสารของบริษัทเน้นถึงที่มาของข้อมูล การควบคุมการเข้าถึง และการปรับปรุงกรณีผู้ป่วยให้เป็นปัจจุบัน เพื่อรักษาประโยชน์ของการทดสอบไว้ในระยะยาว

บริษัทมีแผนขยายการประเมินไปยังด้านต่าง ๆ ซึ่งรวมถึงพยาธิวิทยา โรคผิวหนัง มะเร็งวิทยา และกระบวนการทำงานด้านธุรการ โดยมีเป้าหมายสร้างกระบวนการที่ทำซ้ำได้และนำกลับมาประเมินใหม่ได้เมื่อโมเดลเปลี่ยนแปลง แทนที่จะกำหนดคะแนนเพียงครั้งเดียวแล้วผูกไว้กับผลิตภัณฑ์อย่างถาวร

เรื่องนี้เป็นประโยชน์ทั้งต่อผู้ซื้อและผู้พัฒนา โรงพยาบาลจำเป็นต้องรู้ว่าโมเดลที่ได้รับการปรับปรุงยังคงใช้งานได้กับประชากรผู้ป่วยและขั้นตอนการทำงานของตนหรือไม่ ส่วนผู้พัฒนาต้องการมากกว่าคะแนนเฉลี่ย โดยต้องเข้าใจว่ากรณีใดล้มเหลว และการปรับปรุงในด้านหนึ่งทำให้เกิดจุดอ่อนในด้านอื่นหรือไม่

การทดสอบโดยหน่วยงานอิสระช่วยให้การหารือเหล่านี้เป็นรูปธรรมมากขึ้นได้ แต่ผลการทดสอบย้อนหลังด้วยเกณฑ์มาตรฐานไม่ได้เท่ากับการพิสูจน์ประโยชน์ในการปฏิบัติงานทางคลินิก การศึกษาแบบไปข้างหน้า ประสิทธิภาพในกลุ่มผู้ป่วยต่าง ๆ อัตราผลบวกลวงและผลลบลวง ตลอดจนผลกระทบต่อภาระงานของบุคลากรทางคลินิก ยังคงเป็นหลักฐานส่วนสำคัญ

การเปิดตัวบริการของ Protege ทำให้บริษัทด้าน AI สำหรับการดูแลสุขภาพต้องเผชิญกับคำถามที่ชัดเจนยิ่งขึ้นว่า ระบบทำงานได้ดีเพียงใดเมื่อพบกรณีที่ไม่คุ้นเคยและมีผู้อื่นเป็นผู้กำหนดการทดสอบ คุณค่าของบริการใหม่นี้จะขึ้นอยู่กับว่าวิธีการและผลลัพธ์ช่วยให้องค์กรต่าง ๆ ตอบคำถามดังกล่าวได้ชัดเจนเพียงใด และการทดสอบสามารถเปิดเผยปัญหาที่การสาธิตซึ่งผ่านการขัดเกลามาอย่างดีมองข้ามไปได้อย่างสม่ำเสมอเพียงใด