Kuinka tekoäly tekee viittomakielen tunnistamisesta tarkempaa kuin koskaan

Kun ajattelemme kommunikaatioesteiden purkamista, keskitymme usein siihen kielen käännössovellukset tai ääniavustajat. Mutta miljoonille, jotka käyttävät viittomakieltä, nämä työkalut eivät ole täysin kuroneet umpeen kuilua. Viittomakieli ei ole vain käsien liikkeitä – se on rikas, monimutkainen kommunikaatiomuoto, joka sisältää ilmeet ja kehon kielen, ja jokaisella elementillä on ratkaiseva merkitys.

Tässä on se, mikä tekee tästä erityisen haastavan: toisin kuin puhutut kielet, joiden sanavarasto ja kielioppi vaihtelevat, viittomakielet eri puolilla maailmaa eroavat toisistaan ​​pohjimmiltaan siinä, miten ne välittävät merkityksen. Esimerkiksi amerikkalaisella viittomakielellä (ASL) on oma ainutlaatuinen kielioppi ja syntaksi, joka ei vastaa puhuttua englantia.

Tämä monimutkaisuus tarkoittaa, että teknologian luominen viittomakielen tunnistamiseen ja kääntämiseen reaaliajassa edellyttää koko kielijärjestelmän ymmärtämistä liikkeessä.

Uusi lähestymistapa tunnustamiseen

Tässä kohtaa Florida Atlantic Universityn (FAU) teknillisen tiedekunnan ja tietojenkäsittelytieteen tiimi päätti omaksua uuden lähestymistavan. Sen sijaan, että he olisivat yrittäneet käsitellä koko viittomakielen monimutkaisuutta kerralla, he keskittyivät ratkaisevan ensimmäisen vaiheen hallintaan: amerikkalaisten viittomakielten aakkosten eleiden tunnistamiseen ennennäkemättömällä tarkkuudella tekoälyn avulla.

Ajattele sitä kuin tietokoneen opettamista lukemaan käsialaa, mutta kolmiulotteisesti ja liikkeessä. Tiimi rakensi jotain merkittävää: 29,820 21 staattisen kuvan tietojoukon, jotka näyttävät ASL-käden eleitä. Mutta he eivät vain keränneet kuvia. He merkitsivät jokaiseen kuvaan XNUMX avainpistettä kädessä ja loivat yksityiskohtaisen kartan siitä, kuinka kädet liikkuvat ja muodostavat erilaisia ​​merkkejä.

Tätä tutkimusta tohtoriopiskelijana johtanut tohtori Bader Alsharif selittää: ”Tätä menetelmää ei ole tutkittu aiemmassa tutkimuksessa, joten se on uusi ja lupaava suunta tulevaisuuden kehitykselle.”

Teknologian hajottaminen

Sukelletaanpa tarkemmin teknologioiden yhdistelmään, joka saa tämän viittomakielen tunnistusjärjestelmän toimimaan.

MediaPipe ja YOLOv8

Taika tapahtuu kahden tehokkaan työkalun: MediaPipen ja YOLOv8:n saumattomalla integraatiolla. Ajattele MediaPipeä asiantuntevana käsien tarkkailijana – ammattitaitoisena viittomakielen tulkkina, joka voi seurata jokaista hienovaraista sormen liikettä ja käden asentoa. Tutkimusryhmä valitsi MediaPipen nimenomaan sen poikkeuksellisen kyvyn vuoksi tarjota tarkkaa käsien maamerkkien seurantaa tunnistamalla 21 tarkkaa pistettä kustakin kädestä, kuten edellä mainittiin.

Mutta seuranta ei riitä – meidän on ymmärrettävä, mitä nämä liikkeet tarkoittavat. Siellä YOLOv8 tulee mukaan. YOLOv8 on hahmontunnistusasiantuntija, joka ottaa kaikki seuratut pisteet ja selvittää, mitä kirjainta tai elettä ne edustavat. Tutkimus osoittaa, että kun YOLOv8 käsittelee kuvaa, se jakaa sen S × S -ruudukoksi, jossa jokainen ruudukon solu vastaa objektien (tässä tapauksessa käsieleiden) havaitsemisesta sen rajojen sisällä.

Alsharif et ai., Franklin Open (2024)

Kuinka järjestelmä todella toimii

Prosessi on monimutkaisempi kuin miltä ensi silmäyksellä näyttää.

Tässä on mitä tapahtuu kulissien takana:

Käsien tunnistusvaihe

Kun teet merkin, MediaPipe tunnistaa ensin kätesi kehyksestä ja kartoittaa nämä 21 avainpistettä. Nämä eivät ole vain satunnaisia ​​pisteitä – ne vastaavat kädessäsi olevia tiettyjä niveliä ja maamerkkejä sormenpäistä kämmenen tyveen.

Spatiaalinen analyysi

YOLOv8 ottaa sitten nämä tiedot ja analysoi ne reaaliajassa. Jokaiselle kuvan ruudukon solulle se ennustaa:

• Käsieleen esiintymisen todennäköisyys
• Eleen sijainnin tarkat koordinaatit
• Sen ennusteen luottamuspisteet

Luokittelu

Järjestelmä käyttää niin sanottua "rajoituslaatikon ennustetta" – kuvittele, että piirrät täydellisen suorakulmion kätesi ympärille. YOLOv8 laskee viisi tärkeää arvoa kullekin laatikolle: x- ja y-koordinaatit keskipisteelle, leveydelle, korkeudelle ja luottamuspisteille.

Alsharif et ai., Franklin Open (2024)

Miksi tämä yhdistelmä toimii niin hyvin

Tutkimusryhmä havaitsi, että yhdistämällä nämä teknologiat he loivat jotain suurempaa kuin osiensa summa. MediaPipen tarkka seuranta yhdistettynä YOLOv8:n edistyneeseen objektien tunnistukseen tuotti huomattavan tarkkoja tuloksia – puhumme 98 %:n tarkkuudesta ja 99 %:n F1-pisteistä.

Erityisen vaikuttavaa tästä tekee on se, miten järjestelmä käsittelee viittomakielen monimutkaisuutta. Jotkut merkit saattavat näyttää hyvin samanlaisilta kuin kouluttamattomat silmät, mutta järjestelmä voi havaita hienovaraisia ​​eroja.

Ennätyksiä rikkovat tulokset

Kun tutkijat kehittävät uutta teknologiaa, suuri kysymys on aina: "Kuinka hyvin se todella toimii?" Tämän viittomakielen tunnistusjärjestelmän tulokset ovat vaikuttavia.

FAU:n tiimi testasi järjestelmäänsä perusteellisesti, ja tässä on heidän löydöksensä:

• Järjestelmä tunnistaa merkit oikein 98 % ajasta
• Se saa kiinni 98 % kaikista sen eteen tehdyistä merkeistä
• Kokonaissuorituskyky saavuttaa vaikuttavat 99 %

”Tutkimuksemme tulokset osoittavat mallimme kyvyn havaita ja luokitella amerikkalaisen viittomakielen eleitä tarkasti hyvin vähäisin virhein”, Alsharif selittää.

Järjestelmä toimii hyvin jokapäiväisissä tilanteissa – eri valaistus, erilaiset käsien asennot ja jopa eri henkilöiden allekirjoitus.

Tämä läpimurto rikkoo viittomakielen tunnistuksen rajoja. Aiemmat järjestelmät ovat kamppailleet tarkkuuden kanssa, mutta yhdistämällä MediaPipen kädenseurannan YOLOv8:n tunnistusominaisuuksiin tutkimusryhmä loi jotain erityistä.

”Tämän mallin menestys johtuu suurelta osin siirto-oppimisen huolellisesta integroinnista, pikkutarkasta tietojoukkojen luomisesta ja tarkasta virityksestä”, sanoo Mohammad Ilyas, yksi tutkimuksen kirjoittajista. Tämä yksityiskohtiin panostaminen näkyi järjestelmän huomattavassa suorituskyvyssä.

Mitä tämä tarkoittaa viestinnässä

Tämän järjestelmän menestys avaa jännittäviä mahdollisuuksia tehdä viestinnästä helpompaa ja osallistavampaa.

Tiimi ei pysähdy pelkästään kirjainten tunnistamiseen. Seuraava suuri haaste on opettaa järjestelmälle entistä laajempi valikoima käden muotoja ja eleitä. Ajattele niitä hetkiä, kun merkit näyttävät lähes identtisiltä – kuten kirjaimet 'M' ja 'N' viittomakielessä. Tutkijat työskentelevät auttaakseen järjestelmäänsä havaitsemaan nämä hienovaraiset erot entistä paremmin. Kuten tohtori Alsharif asian ilmaisee: "On tärkeää huomata, että tämän tutkimuksen tulokset korostavat paitsi järjestelmän kestävyyttä myös sen potentiaalia käyttää sitä käytännön reaaliaikaisissa sovelluksissa."

Joukkue keskittyy nyt:

• Järjestelmän saaminen toimimaan sujuvasti tavallisilla laitteilla
• Tee siitä tarpeeksi nopea tosielämän keskusteluihin
• Varmistaa, että se toimii luotettavasti missä tahansa ympäristössä

FAU:n teknillisen tiedekunnan dekaani Stella Batalama jakaa suuremman vision: ”Parantamalla amerikkalaisen viittomakielen tunnistusta tämä työ auttaa luomaan työkaluja, jotka voivat parantaa kuurojen ja huonokuuloisten yhteisön kommunikaatiota.”

Kuvittele käveleväsi lääkärin vastaanotolle tai osallistuvasi kurssille, jossa tämä teknologia kuroa umpeen kommunikaatioaukkoja välittömästi. Juuri se on todellinen tavoite – tehdä päivittäisestä vuorovaikutuksesta sujuvampaa ja luonnollisempaa kaikille osapuolille. Kyse on teknologiasta, joka todella auttaa ihmisiä olemaan yhteydessä toisiinsa. Olipa kyseessä sitten koulutus, terveydenhuolto tai arkipäiväiset keskustelut, tämä järjestelmä edustaa askelta kohti maailmaa, jossa kommunikaatioesteet pienenevät jatkuvasti.