Studiuesit zhvillojnë një algoritëm të ri për njohjen e gjesteve të dorës

Një ekip studiuesish i udhëhequr nga Zhiyi Yu i Universitetit Sun Yat-sen ka zhvilluar një algoritëm të ri për njohjen e gjesteve të dorës që është kompleks, i saktë dhe i zbatueshëm. 

Gjestet e duarve po adoptohen gjithnjë e më shumë për ndërveprimet njeri-kompjuter dhe përparimet e fundit në sistemet e kamerave, analizën e imazheve dhe mësimin e makinerive kanë përmirësuar shumë njohjen e gjesteve me bazë optike. Me këtë u tha, metodat aktuale përballen me shumë sfida për shkak të kufizimeve në kompleksitetin e lartë llogaritës, shpejtësinë e ulët, saktësinë e dobët dhe numrin e ulët të gjesteve të dallueshme. 

Algoritmi i ri i zhvilluar nga ekipi përpiqet të kapërcejë këto kufizime, dhe ai u detajua në një punim të botuar në Journal of Electronic Imaging. Një nga qëllimet kryesore të ekipit ishte krijimi i një algoritmi që jo vetëm i kapërcen këto sfida, por gjithashtu mund të aplikohet lehtësisht në pajisjet e nivelit të konsumatorit.

Përshtatshmëria ndaj llojeve të ndryshme të duarve

Një nga aspektet më mbresëlënëse të algoritmit është përshtatshmëria e tij ndaj llojeve të ndryshme të duarve. Së pari përpiqet të klasifikojë llojin e dorës së përdoruesit si të hollë, normal ose të gjerë. Ai e bën këtë bazuar në tre matje që llogaritin marrëdhëniet midis gjerësisë së pëllëmbës, gjatësisë së pëllëmbës dhe gjatësisë së gishtit. 

Pas një klasifikimi të suksesshëm, procesi i njohjes së gjestit të dorës krahason gjestin e hyrjes me mostrat e ruajtura të të njëjtit lloj dore. 

“Algoritmet tradicionale të thjeshta priren të vuajnë nga nivele të ulëta njohjeje sepse nuk mund të përballojnë lloje të ndryshme duarsh. Duke klasifikuar fillimisht gjestin e hyrjes sipas llojit të dorës dhe më pas duke përdorur bibliotekat e mostrave që përputhen me këtë lloj, ne mund të përmirësojmë shkallën e përgjithshme të njohjes me konsum pothuajse të papërfillshëm të burimit, "thotë Yu.

Hapi i Paranjohjes

Metoda e ekipit mbështetet gjithashtu në përdorimin e një "tipari të shkurtores" për të kryer një hap paranjohjeje. Algoritmi i njohjes është në gjendje të identifikojë një gjest hyrës prej nëntë gjestesh të mundshme, por kërkon shumë kohë për të krahasuar të gjitha tiparet e gjestit të hyrjes me ato të mostrave të ruajtura për të gjitha gjestet e mundshme. 

Për të kapërcyer këtë, hapi i paranjohjes së algoritmit llogarit një raport të zonës së dorës për të zgjedhur tre gjestet më të mundshme nga nëntë të mundshme. Kjo e çon numrin e gjesteve të kandidatëve në tre, dhe gjesti përfundimtar vendoset nga nxjerrja e veçorive më komplekse dhe me saktësi të lartë bazuar në "momentet e pandryshueshme Hu".

"Hapi i paranjohjes së gjesteve jo vetëm që zvogëlon numrin e llogaritjeve dhe burimeve të kërkuara të harduerit, por gjithashtu përmirëson shpejtësinë e njohjes pa kompromentuar saktësinë," thotë Yu. 

Algoritmi u testua në një procesor komercial PC dhe një platformë FPGA duke përdorur një kamerë USB. Ekipi thirri 40 vullnetarë që të bënin nëntë gjestet e duarve disa herë, dhe 40 të tjerë u përdorën për të përcaktuar saktësinë e sistemit.

Sistemi tregoi se mund të njihte gjestet e duarve në kohë reale me një shkallë saktësie prej mbi 93%. Ky ishte rasti edhe kur imazhet e gjestit të hyrjes rrotulloheshin, përktheheshin ose shkallëzoheshin. 

Studiuesit thonë se tani do të përpiqen të fokusohen në përmirësimin e performancës së algoritmit në kushte të ndryshme ndriçimi, si dhe të rrisin numrin e gjesteve të mundshme.