Inxhinierët zhvillojnë sistemin e njohjes së gjesteve të duarve të bazuara në AI

Inxhinierët në Universitetin e Kalifornisë, Berkeley kanë zhvilluar një pajisje që mund të njohë gjestet e duarve bazuar në sinjalet elektrike të zbuluara në parakrah. Ky sistem i sapo zhvilluar është rezultat i biosensorëve të veshur dhe inteligjencës artificiale (AI), dhe mund të çojë në kontroll më të mirë të protetikës dhe ndërveprimit njeri-kompjuter.

Ali Moin ishte pjesë e ekipit të projektimit dhe është student i doktoraturës në Departamentin e Inxhinierisë Elektrike dhe Shkencave Kompjuterike të UC Berkeley. Moin është gjithashtu bashkëautori i parë i punimit kërkimor të botuar në internet më 21 dhjetor në revistë Elektronikë natyre.

“Protetika është një aplikim i rëndësishëm i kësaj teknologjie, por përveç kësaj, ajo ofron edhe një mënyrë shumë intuitive të komunikimit me kompjuterët.” tha Moin. “Leximi i gjesteve të duarve është një mënyrë për të përmirësuar ndërveprimin njeri-kompjuter. Dhe, ndërsa ka mënyra të tjera për ta bërë këtë, për shembull, duke përdorur kamera dhe vizion kompjuterik, kjo është një zgjidhje e mirë që ruan gjithashtu privatësinë e një individi.”

Sistemi i njohjes së gjesteve të dorës

Ekipi punoi me Ana Arias, profesoreshë e inxhinierisë elektrike në UC Berkeley, gjatë zhvillimit të sistemit. Së bashku, ata projektuan dhe krijuan një shirit fleksibël të aftë për të lexuar sinjalet elektrike në 64 pika të ndryshme në parakrah. Këto sinjale elektrike u futën më pas në një çip elektrik të programuar me një algoritëm AI. Ky algoritëm mund të identifikojë modelet e sinjalit në parakrah që vijnë nga gjestet specifike të duarve.

Algoritmi ishte në gjendje të identifikonte 21 gjeste individuale të duarve.

“Kur dëshironi që muskujt e duarve tuaja të tkurren, truri juaj dërgon sinjale elektrike përmes neuroneve në qafë dhe shpatulla te fibrat e muskujve në krahët dhe duart tuaja”, tha Moin. “Në thelb, ajo që ndjejnë elektrodat në manshetë është kjo fushë elektrike. Nuk është aq e saktë, në kuptimin që ne nuk mund të përcaktojmë se cilat fibra të sakta u ndezën, por me densitetin e lartë të elektrodave, ajo ende mund të mësojë të njohë modele të caktuara.”

Algoritmi i AI mëson fillimisht të identifikojë sinjalet elektrike në krah dhe gjestet e tyre përkatëse të duarve, gjë që kërkon që përdoruesi të mbajë pajisjen gjatë kryerjes së këtyre gjesteve. Duke i çuar gjërat një hap më tej, sistemi mbështetet në një algoritëm kompjuterik hiperdimensional, i cili është një AI i avancuar që përditësohet vazhdimisht. Kjo teknologji e avancuar lejon që sistemi të korrigjohet me informacione të reja, si lëvizjet e krahëve ose djersitja.

"Në njohjen e gjesteve, sinjalet tuaja do të ndryshojnë me kalimin e kohës dhe kjo mund të ndikojë në performancën e modelit tuaj," tha Moin. "Ne ishim në gjendje të përmirësonim shumë saktësinë e klasifikimit duke përditësuar modelin në pajisje."

Llogaritja në nivel lokal në çip

Një veçori tjetër mbresëlënëse e pajisjes është se të gjitha llogaritjet ndodhin në çip, që do të thotë se asnjë e dhënë personale nuk transmetohet në pajisje të tjera. Kjo rezulton në një kohë më të shpejtë llogaritëse dhe të dhëna biologjike të mbrojtura.

Jan Rabaey është profesor i nderuar i Donald O. Pedersen i Inxhinierisë Elektrike në UC Berkeley dhe autor i lartë i punimit.

“Kur Amazon ose Apple krijojnë algoritmet e tyre, ata ekzekutojnë një sërë softuerësh në cloud që krijon modelin dhe më pas modeli shkarkohet në pajisjen tuaj,” tha Jan Rabaey. “Problemi është se atëherë ju jeni të mbërthyer me atë model të veçantë. Në qasjen tonë, ne kemi zbatuar një proces ku mësimi bëhet në vetë pajisjen. Dhe është jashtëzakonisht i shpejtë: ju duhet ta bëni vetëm një herë, dhe ai fillon ta bëjë punën. Por nëse e bëni më shumë herë, mund të përmirësohet. Pra, po mëson vazhdimisht, kështu që njerëzit e bëjnë atë.”

Sipas Rabaey, pajisja mund të komercializohet pas vetëm disa ndryshimeve të vogla.

"Shumica e këtyre teknologjive tashmë ekzistojnë diku tjetër, por ajo që është unike për këtë pajisje është se ajo integron biosensing, përpunimin dhe interpretimin e sinjalit, dhe inteligjencën artificiale në një sistem që është relativisht i vogël dhe fleksibël dhe ka një buxhet të ulët të energjisë," tha Rabaey.