Синтетик өгөгдөл: Эмнэлгийн мэдээллийн багц дахь гажуудлыг арилгахын тулд нүүрний зургийн уралдааныг өөрчлөх

UCLA-ийн судлаачид эмнэлгийн машин сургалтын системийг сургахад ашигладаг өгөгдлийн багц дахь царайны харагдах байдлыг өөрчлөх аргыг боловсруулж, олон нийтлэг мэдээллийн багцад өртдөг арьсны өнгөөр ​​ялгаварлан гадуурхах үзлийг арилгах оролдлого хийжээ.

The шинэ техник нь кадр бүрт дунджаар 0.005 секундын хурдтай фото бодитой, физиологийн хувьд үнэн зөв синтетик видео үйлдвэрлэх чадвартай бөгөөд эрүүл мэндийн тусламж үйлчилгээний алсын зайнаас оношлох, хянах оношлогооны шинэ системийг хөгжүүлэхэд тусална гэж найдаж байна. Энэхүү систем нь алсын зайн фотоплетизмографийн хэрэглээг сайжруулах зорилготой юм.rPPG), цусны хангамжийн эзэлхүүний өөрчлөлтийг инвазив бус аргаар илрүүлэхийн тулд нүүрний видео контентыг үнэлдэг компьютерийн харааны техник.

Эх сурвалж: https://arxiv.org/pdf/2106.06007.pdf. Томруулахын тулд товшино уу.

Хэдийгээр конвульцийн мэдрэлийн сүлжээг (CNN) ашигладаг уг ажил нь өмнөх судалгааны кодыг агуулсан байдаг. нийтэлсэн Их Британийн Дархамын их сургуулиас 2020 онд гаргасан энэхүү шинэ програм нь 2020 оны судалгаагаар өгөгдлийн харагдах байдлыг нүдээр өөрчлөхөөс илүү анхны туршилтын өгөгдөлд импульсийн дохиог хадгалах зорилготой юм.

Арьс өнгөний өөрчлөлтөд зориулсан CNN

Кодлогч-декодерын системийн эхний хэсэг нь өмнө нь бэлтгэгдсэн Durham уралдааны дамжуулалтын загварыг ашигладаг. VGGFace2, Durham судалгааны өмнөх Кавказаас Африкийн бүрэлдэхүүн хэсэгтэй прокси зорилтот хүрээ үүсгэх. Энэ нь арьсны өнгөөр ​​​​ялгаварлан гадуурхах шинж тэмдгийг үүсгэдэг боловч өвчтөний цусны урсгалын төлөв байдлын харааны физиологийн үзүүлэлтүүдийг илэрхийлдэг өнгө, аялгууны өөрчлөлтийг агуулдаггүй.

Дархамын их сургуулийн 2020 оны судалгааны өөрчлөлтийн шугам, нэг хэсэг нь UCLA-ийн шинэ судалгаанд багтсан болно. Эх сурвалж: https://arxiv.org/pdf/2004.08945.pdf. Томруулахын тулд товшино уу.

PhysResNet (PRN) нэртэй хоёр дахь сүлжээ нь rPPG бүрэлдэхүүнийг хангадаг. PhysResNet нь арьсан доорх цусны эзэлхүүний хөдөлгөөнийг тодорхойлдог харагдах байдал, өнгөний өөрчлөлтийг хоёуланг нь сурахаар бэлтгэгдсэн.

Зүүн доод талд, 2020 оны Durham судалгаагаар олж авсан үр дүн, PPG мэдээлэл дутмаг. Зүүн дунд талд PPG мэдээлэл нь арьс өнгөний өөрчлөлтөд шингэсэн. Томруулахын тулд дарна уу.

UCLA төслөөс санал болгож буй архитектур нь арьсны өнгийг нэмэгдүүлэхгүй байсан ч өрсөлдөх чадвартай rPPG техникээс давсан бөгөөд энэ нь ижил төстэй техникийг оновчтой болгосон 31% сайжирсан байна. MAE болон RMSE.

UCLA сүлжээ нь цусны хэмжээ, тархалтын мэдээллийг амжилттай хадгалдаг. Томруулахын тулд дарна уу.

UCLA-ийн судлаачид ирээдүйн ажил нь эмнэлгийн дүрслэлийн энэ салбарт арьс өнгөөр ​​ялгаварлан гадуурхах үзлийг арилгахад илүү өргөн хүрээтэй сорилтуудыг авчирна гэж найдаж байгаа бөгөөд энэ систем нь 80 × 80 пикселийн нягтралаар хязгаарлагддаг тул дараагийн схемүүд илүү өндөр нарийвчлалтай видео гаргана гэж найдаж байна. – теле-эрүүл мэндийн хязгаарлалтад нэлээд тохирсон боловч тийм ч тохиромжтой биш.

Үндэстний хувьд олон янзын мэдээллийн багц дутмаг

Арьс өнгөөр ​​ялгаварлан гадуурхах өгөгдлийн багцад хүргэдэг эдийн засаг, практик нөхцөл байдал нь хэдэн жилийн турш анагаах ухааны судалгаанд саад болж байна. Мэдээллийн субьектүүдийн байнгын Кавказ төвтэй нэгэн төрлийн байдалд нөлөөлж буй олон хүчин зүйл нь судалгаа явуулдаг хотуудын цөөнхийн хүн ам зүйн бүтэц, цагаан арьст бус субьектүүдийн харагдах хэмжээнд нөлөөлж болох нийгэм, эдийн засгийн бусад хүчин зүйлүүд орно. Барууны өгөгдлийн багцад судлаачдын хүсч буйг дэлхий даяар ашиглах боломжтой.

Харанхуй арьстай хүмүүсийн эзлэх хувь өндөр байдаг орнуудад мэдээлэл цуглуулахад шаардлагатай тоног төхөөрөмж, нөөц хомс байдаг.

Америкийн Физик Антропологийн сэтгүүлээс уугуул иргэдэд зориулсан арьсны өнгөний дэлхийн газрын зураг.

Одоогийн байдлаар бараан арьстай субьектүүд rPPG өгөгдлийн багцад маш бага төлөөлөлтэй байгаа нь энэ зорилгоор түгээмэл хэрэглэгддэг гурван үндсэн мэдээллийн сангийн агуулгын 0%, 5%, 10% -ийг төлөөлдөг.

Нэг төрлийн Кавказын мэдээлэл

2019 онд шинэ судалгаа нийтэлсэн in Шинжлэх ухаан АНУ-ын эмнэлгийн тусламж үйлчилгээнд өргөн тархсан алгоритм нь Кавказын субьектүүдийн талд ихээхэн хамааралтай болохыг олж мэдсэн. Судалгааны үр дүнд хар арьст хүмүүс эмнэлэгт хэвтэх явцдаа нарийн мэргэжлийн тусламж үйлчилгээнд хамрагдах магадлал бага байгааг тогтоожээ.

Тэр жилдээ Малайз, Австралийн судлаачдын хийсэн нэмэлт судалгаа тогтоосон Дэлхийн олон бүс нутаг, тэр дундаа Ази даяар өгөгдлийн багц үүсгэх "Өөрийн уралдааны хэв маяг"-ын ерөнхий асуудал.

Хэмжээ ба архитектурын боломжит хязгаарлалтууд

Хязгаарлагдмал үндэстний өгөгдлийн багцад хүргэсэн зарим хязгаарлалт нь ёс зүйн шинж чанартай гэхээсээ илүү прагматик шинж чанартай байдаг. Хувь нэмрээ оруулж буй олон тооны өгөгдлүүд хэдий чинээ өргөн байх тусам тухайн өгөгдөлд тусгагдсан сэдвүүдийг ерөнхийд нь илүү сайн нэгтгэдэг боловч сургалтын горим нь арьсны өнгө гэх мэт өгөгдлийн аль нэг шинж чанарт хамаарах хэв маягийг мэдрэх магадлал бага байх болно, учир нь сургалтын цагийн бага хувь, өгөгдлийн тодорхойлогддог дэд хэсэг бүрт анхаарал, нөөц боломжтой.

Энэ нь өгөгдлийн хэмжээ, багцын эдийн засгийн хэмнэлт, техник хангамжийн хязгаарлагдмал нөөцийн функц болох далд орон зайн практик хязгаарлалт зэргээс шалтгаалан өргөн хэрэглэгддэг боловч тодорхой үр дүн багатай загваруудад хүргэж болзошгүй юм.

Нөгөө талаар, оролтын өгөгдлийг илүү хязгаарлагдмал шинж чанарууд, тэр дундаа үндэс угсаагаар хязгаарлах замаар үр дүнтэй, нарийн үр дүнд хүрч болох ч үр дүн нь хязгаарлагдмал өгөгдөлд "хэт нийцэх" бөгөөд өргөн хүрээнд хэрэглэх боломжгүй, магадгүй бүр өгөгдлийн багцын анхны субьектүүдийг олж авсан газарзүйн бүс дэх үл үзэгдэх субьектууд дээр.

PPG симуляцид зориулсан синтетик аватарууд

UCLA-ийн баримт бичигт мөн Microsoft Research-ээс 2020 онд хийсэн арьс өнгөний уян хатан синтетик аватаруудыг ашиглах өмнөх ажлыг тэмдэглэж, PPG мэдээллээр баялаг нүүрний видеог бүтээхэд 3D дүрсний синтезийг ашигладаг.

Майкрософт компанийн судалгаагаар бүтээсэн хиймэл аватарууд, PPG өгөгдөл агуулсан туяаны зурагтай. Эх сурвалж: https://arxiv.org/pdf/2010.12949.pdf. Томруулахын тулд товшино уу.