AI sistēma var precīzi atpazīt roku žestus

Zinātnieki no Nanjangas Tehnoloģiskās universitātes Singapūrā (NTU Singapūra) ir izstrādājuši jaunu mākslīgā intelekta (AI) sistēmu, kas spēj atpazīt roku žestus. Tehnoloģija darbojas, apvienojot ādai līdzīgu elektroniku ar datora redzi.

AI sistēmu izstrāde cilvēka roku žestu atpazīšanai notiek jau aptuveni 10 gadus, un šobrīd to izmanto ķirurģiskajos robotos, veselības uzraudzības iekārtās un spēļu sistēmās. 

Sākotnējās mākslīgā intelekta žestu atpazīšanas sistēmas bija tikai vizuālas, un, lai tās uzlabotu, ir integrētas valkājamo sensoru ievades. To sauc par "datu saplūšanu". Vienu no sensora spējām sauc par “somatosensoru”, un valkājamie sensori var to atjaunot. 

Žestu atpazīšanas precizitāti joprojām ir grūti sasniegt, jo no valkājamiem sensoriem iegūtie dati ir zemi. Tas notiek apjomīguma un slikta kontakta ar lietotāju, kā arī vizuāli bloķētu objektu un slikta apgaismojuma dēļ. 

Vairāk problēmu rada vizuālo un sensoro datu integrācija, jo neatbilstošas ​​datu kopas ir jāapstrādā atsevišķi un beigās jāapvieno. Šis process ir neefektīvs un izraisa lēnāku reakcijas laiku. 

NTU komanda nāca klajā ar dažiem veidiem, kā pārvarēt šīs problēmas, tostarp izveidoja "bioloģiski iedvesmotu" datu saplūšanas sistēmu, kas balstās uz ādai līdzīgiem stiepjamiem deformācijas sensoriem, kas izgatavoti no vienas sienas oglekļa nanocaurulēm. Komanda arī paļāvās uz AI kā veidu, kā parādīt, kā smadzenēs tiek apstrādātas ādas sajūtas un redze.

Trīs neironu tīklu pieejas tika apvienotas vienā sistēmā, lai izstrādātu AI sistēmu. Trīs neironu tīklu veidi bija: konvolucionālais neironu tīkls, rets neironu tīkls un daudzslāņu neironu tīkls.

Apvienojot šos trīs, komanda varētu izstrādāt sistēmu, kas spēj precīzāk atpazīt cilvēka žestus salīdzinājumā ar citām metodēm.

Profesors Chen Xiaodon ir pētījuma vadošais autors. Viņš ir no NTU Materiālzinātnes un inženierzinātņu skolas. 

"Mūsu datu saplūšanas arhitektūrai ir savas unikālas bioloģiski iedvesmotas iezīmes, kas ietver cilvēka radītu sistēmu, kas atgādina somatosensorās un vizuālās saplūšanas hierarhiju smadzenēs. Mēs uzskatām, ka šādas funkcijas padara mūsu arhitektūru unikālu esošajām pieejām.

Čens ir arī NTU elastīgo ierīču novatoriskā centra (iFLEX) direktors. 

"Salīdzinot ar stingriem valkājamiem sensoriem, kas neveido pietiekami ciešu kontaktu ar lietotāju, lai iegūtu precīzus datus, mūsu inovācijā tiek izmantoti elastīgi deformācijas sensori, kas ērti piestiprinās pie cilvēka ādas. Tas ļauj iegūt augstas kvalitātes signālu, kas ir ļoti svarīgi augstas precizitātes atpazīšanas uzdevumiem, ”sacīja Čens.

Komandas, kurā bija zinātnieki no NTU Singapūras un Sidnejas Tehnoloģiju universitātes (UTS), rezultāti tika publicēti jūnijā zinātniskajā žurnālā. Dabas elektronika.

Sistēmas pārbaude

Komanda pārbaudīja bioloģiski iedvesmoto AI sistēmu ar robotu, ko kontrolē ar roku žestiem. Robots tika vadīts labirintā, un rezultāti parādīja, ka AI rokas žestu atpazīšanas sistēma spēj vadīt robotu cauri labirintam bez kļūdām. Salīdzinot ar vizuāli balstītu atpazīšanas sistēmu, kas tajā pašā labirintā pieļāva sešas kļūdas.

Pārbaudot sliktos apstākļos, piemēram, trokšņa un slikta apgaismojuma apstākļos, AI sistēma joprojām saglabāja augstu precizitāti. Atpazīšanas precizitātes līmenis sasniedza vairāk nekā 96.7%.

Dr Wang Ming no Materiālzinātnes un inženierzinātņu skolas NTU Singapūrā bija pirmais pētījuma autors. 

"Mūsu arhitektūras augstās precizitātes noslēpums slēpjas faktā, ka vizuālā un somatosensorā informācija var mijiedarboties un papildināt viena otru agrīnā stadijā pirms sarežģītas interpretācijas veikšanas," sacīja Mings. "Tā rezultātā sistēma var racionāli savākt saskaņotu informāciju ar mazāk liekiem datiem un mazāku uztveres neskaidrību, tādējādi nodrošinot labāku precizitāti."

Saskaņā ar neatkarīgu profesora Markusa Antonieti, Maksa Planka Koloīdu un interfeisu institūta Vācijā direktora, viedokli: “Šajā rakstā iegūtie atklājumi ir vēl viens solis uz priekšu viedākas un ar mašīnu vairāk atbalstītas pasaules virzienā. Līdzīgi kā viedtālruņa izgudrojums, kas ir radījis revolūciju sabiedrībā, šis darbs dod mums cerību, ka kādu dienu mēs varētu fiziski kontrolēt visu apkārtējo pasauli ar lielu uzticamību un precizitāti, izmantojot žestu.

“Tirgū ir vienkārši bezgalīgi daudz šādu tehnoloģiju lietojumu, lai atbalstītu šo nākotni. Piemēram, no tālvadības robota vadības pār gudrām darba vietām līdz eksoskeletoniem vecāka gadagājuma cilvēkiem.

Pētnieku komanda tagad strādās pie VR un AR sistēmas, kuras pamatā ir bioloģiski iedvesmota AI sistēma.