Tutkijat ovat löytäneet, että kuuleminen voi parantaa robottien havainnontaitoja

Nykyiset robotit luottavat pääasiassa näköaistiin ja kosketukseen toimintaympäristössään, mutta tämä voi muuttua uuden tutkimuksen myötä, joka on tehty Carnegie Mellon -yliopistossa (CMU). Tutkijaryhmä löysi, että robottien havainnontaito voi parantua kuulemisen avulla.

Tutkimus oli ensimmäinen laajamittainen tutkimus äänen ja robottitoiminnan vuorovaikutuksesta, tutkijoiden mukaan CMU:n Robotics Instituutissa. Ryhmä löysi, että ääni voi pelata roolia auttaessaan robottie erottamaan objekteja. Kuulemisen avulla robotit voivat myös määrittää, minkälaista toimintaa aiheutti ääni, ja äänet voivat auttaa ennustamaan uusien objektien fyysisiä ominaisuuksia.

Lerrel Pinto on roboticsin tohtorikoulutettava CMU:ssa ja tulee olemaan osa New Yorkin yliopiston henkilöstöä syksyllä.

“Paljon esitutkimusta muilla aloilla osoitti, että ääni voi olla hyödyllinen, mutta ei ollut selvää, kuinka hyödyllinen se olisi robotiikassa”, sanoi Pinto.

Pinto ja tutkijaryhmä löysivät, että suorituskykyprosentti oli melko korkea, erityisesti 76 prosentin tarkkuusaste robotien käytön äänen avulla luokitella objekteja.

Koska tulokset vastasivat sitä, mitä ryhmä etsi, he tulevat nyt tutkimaan muita vaihtoehtoja, kuten varustamalla robotit instrumentoiduilla keppiä. Tämä mahdollistaa heidän tunnistaa objekteja koputtelemalla niitä.

Ryhmän löydökset esiteltiin heinäkuussa virtuaalisessa Robotics Science and Systems -konferenssissa. Tiimiin kuului myös Abhinav Gupta, robotiikan apulaisprofessori, ja Dhiraj Gandhi, tutkimussientistti Facebook (META ) Artificial Intelligence Researchin Pittsburghin laboratoriossa.

https://www.youtube.com/watch?v=z38-WCZ7Rb8&feature=emb_title

Tutkimus ja tietokanta

Tutkimus tehtiin luomalla suuri tietokanta ja samanaikaisesti tallentamalla video- ja äänitallenne 60:stä yleisestä objektista. Jotkut näistä objekteista olivat leluja, käsi-työkaluja, omenia, kenkiä ja tennispalloja. Tallennukset tehtiin, kun objektit pyörivät ja törmäilivät lautanen.

Tietokanta julkaistiin luetteloimalla noin 15 000 vuorovaikutusta.

Tilt-Bot

Vuorovaikutukset tallennettiin tiimin kehittämällä laitteella, jota he kutsuvat Tilt-Botiksi, joka on neliönmuotoinen lautanen, joka on kytketty Sawyer-robottiin. Sawyeria käytettiin myös työntämään objekteja pinnalla, keräämällä muita tietoja.

Tutkimus siitä, miten ääni voi vaikuttaa älykkäisiin roboteihin, on ollut olemassa jo jonkin aikaa, mutta uutta on massiivinen tietokanta.

Yksi uusi löytö oli, että robotti voi käyttää kokemustaan ja oppimaansa tietoa tietyn objektiryhmän äänestä ennustamaan uusien, näkemättömien objektien fyysisiä ominaisuuksia.

“Luulen, että se, mikä oli todella jännittävää, oli, kun se epäonnistui, se epäonnistui asioissa, joissa se odotettiin epäonnistuvan”, sanoi Pinto. Esimerkiksi robotti ei voinut käyttää ääntä erottamaan punaista ja vihreää palikkaa. “Mutta jos se oli eri objekti, kuten palikka ja kuppi, se pystyi tunnistamaan sen.”

Tutkimus oli tuettu puolustusministeriön etenkin tutkimus- ja kehitystoiminnan toimistosta (DARPA) ja laivaston tutkimusvirastosta.