Monitapahtumaisen suuren kielen mallien (MLLM) kehittyminen on merkinnyt uuden aikakauden alkua liikkuvien laitteiden edustajille, jotka pystyvät ymmärtämään ja vuorovaikuttamaan maailman kanssa tekstin, kuvien ja äänen kautta. Nämä edustajat edustavat merkittävää edistystaskua perinteiseen tekoälyyn nähden, tarjoten rikkaamman ja intuitiivisemman tavan käyttäjien vuorovaikuttaa laitteidensa kanssa. Hyödyntämällä MLLM:ää, nämä edustajat voivat prosessoida ja syntetisoida valtavat määrät tietoa eri modaliteeteista, mahdollistaen heille tarjota henkilökohtaista apua ja parantaa käyttäjäkokemuksia aiemmin ajattelemattomin tavoin.

Nämä edustajat toimivat viimeisimmän kehityksen mukaisilla koneoppimismenetelmillä ja edistyneillä luonnollisen kielen prosessointikapasiteeteilla, mahdollistaen heille ymmärtää ja generoida ihmismäistä tekstiä sekä tulkita visuaalista ja auditiivista dataa merkittävällä tarkkuudella. Esineiden ja kohtauksien tunnistamisesta kuvissa puhuttujen komentojen ymmärtämiseen ja tekstin mielipiteen analysointiin, nämä monitapahtumaiset edustajat ovat varustettu käsittelemään laajan valikoiman syötteitä vaivattomasti. Tämän teknologian potentiaali on valtava, tarjoten monipuolisempia ja kontekstuaalisesti tietoisia palveluita, kuten virtuaalisia avustajia, jotka ovat sävyttynyt ihmisen tunteisiin, ja koulutusvälineitä, jotka sopeutuvat yksilöllisiin oppimistyyliin. Ne myös voivat vallankumouksellisesti parantaa saavutettavuutta, tekemällä teknologian helpommin lähestyttäväksi kielen ja aistien esteiden yli.

Tässä artikkelissa puhumme Liikkuvista Edustajista, autonomisesta monitapahtumaisesta laitteiden edustajasta, joka hyödyntää visuaalisen havainnon työkaluja tunnistamaan ja sijoittamaan visuaaliset ja tekstuaaliset elementit mobiilisoftwaren käyttöliittymässä tarkasti. Käyttäen tätä havaintojen visuaalista kontekstia, Liikkuvan Edustajan kehys suunnittelee ja hajottaa monimutkaiset toiminnot autonomisesti ja navigoi mobiilien sovellusten läpi askel kohti. Liikkuvan Edustajan kehys eroaa olemassa olevista ratkaisuista, koska se ei riipu mobiilijärjestelmien metatiedoista tai mobiilien sovellusten XML-tiedostoista, jolloin se mahdollistaa paremman sopeutumisen eri mobiilien toimintaympäristöihin visuaalisessa keskeisyydessä. Liikkuvan Edustajan kehyksen käyttämä lähestymistapa poistaa tarpeen järjestelmäkohtaisille mukautuksille, johtuen parantuneesta suorituskyvystä ja laskemalla laskennalliset vaatimukset.

Liikkuvat Edustajat: Autonominen Monitapahtumainen Liikkuvan Laite Edustaja

Mobiiliteknologian nopeasti kehittyvässä maailmassa uraauurtava käsite nousee esiin: suuret kielen mallit, erityisesti monitapahtumaiset suuret kielen mallit (MLLM), jotka pystyvät generoimaan laajan valikoiman tekstiä, kuvia, videoita ja puhetta eri kielillä. MLLM-kehysten nopea kehittyminen viime vuosina on antanut syntyä uudelle ja voimakkaalle MLLM-sovellukselle: autonomisille mobiiliedustajille. Autonomiset mobiiliedustajat ovat ohjelmallisia entiteettejä, jotka toimivat, liikkuvat ja toimivat itsenäisesti ilman suoraa ihmisen ohjausta, suunniteltuina kulkemaan verkkoon tai laitteisiin suorittamaan tehtäviä, keräämään tietoa tai ratkaisemaan ongelmia.

Mobiiliedustajat on suunniteltu toimimaan käyttäjän mobiililaitteella käyttäjän ohjeiden ja näytön visuaalisten elementtien perusteella, tehtävä, joka vaatii edustajilta sekä semanttista ymmärrystä että visuaalista havaintokykyä. Kuitenkin olemassa olevat mobiiliedustajat ovat kaukana täydellisyydestä, koska ne perustuvat monitapahtumaisiin suuriin kielen malleihin, ja jopa nykyisen GPT-4V-kehys, yksi nykyisistä MLLM-kehysistä, puuttuu visuaalisen havainnon kyvystä, jota tarvitaan tehokkaan mobiiliedustajan toiminnalle.

Tämän ongelman ratkaisemiseksi jotkut kehykset valitsivat hyödyntäänsä käyttöliittymän layout-tiedostoja avustamaan GPT-4V:ää tai muita MLLM:ää sijaintitietojen kanssa, joillakin kehyksillä onnistuen löytämään toimivat sijainnit näytöllä pääsemällä sovellusten XML-tiedostoihin, kun taas toiset kehykset valitsivat käyttää web-sovellusten HTML-koodia. Kuten voidaan nähdä, useimmat näistä kehyksistä riippuvat perustuvat pääsyyn sovellusten tai verkkosovellusten paikallisiin tiedostoihin, mikä tekee menetelmän melkein tehottomaksi, jos kehys ei pääse näihin tiedostoihin. Ratkaistakseen tämän ongelman ja poistamaan paikallisten edustajien riippuvuuden paikallisista tiedostoista sijaintitapausten suhteen, kehittäjät ovat työskennelleet Liikkuvan Edustajan parissa, autonomisessa mobiiliedustajassa, jolla on vaikuttavat visuaalisen havainnon ominaisuudet. Liikkuvan Edustajan visuaalisen havainnon moduuli käyttää mobiililaitteen näytönkaappauksia sijaintien tarkan määrityksen mahdollistamiseksi.

Lisäksi Liikkuvan Edustajien kehys pyrkii hyödyntämään MLLM-kehysten kontekstuaalisten kykyjen etuja, kuten GPT-4V, saavuttaakseen itsesuunnittelukyky, joka mahdollistaa mallille suunnitella tehtäviä operaatiohistorian, käyttäjän ohjeiden ja näytönkaappauksen perusteella kokonaisvaltaisesti. Edelleen parantamaan edustajan kykyä tunnistaa epätäydelliset ohjeet ja virheelliset toiminnot, Liikkuvan Edustajan kehys esittää itsereflektiomenetelmän. Huolellisesti suunniteltujen ohjeiden johdolla, edustaja reflektoidaan virheellisiin ja epävalidiin toimiin jatkuvasti ja pysäyttää toiminnot, kun tehtävä tai ohje on suoritettu.

Yleisesti ottaen, Liikkuvan Edustajan kehyspanoksen voidaan tiivistää seuraavasti:

1. Liikkuvat Edustajat toimivat autonomisina mobiiliedustajina, jotka käyttävät visuaalisen havainnon työkaluja operaatioiden sijainnin määrittämiseen. Se suunnittelee jokaisen askelen systemaattisesti ja osallistuu itsearviointiin. Merkittävästi, Liikkuvat Edustajat riippuvat ainoastaan laitteen näytönkaappauksista, ilman järjestelmäkoodin käyttöä, esittäen ratkaisun, joka perustuu pelkästään visuaalisiin menetelmiin.
2. Liikkuvat Edustajat esittelevät Mobile-Eval-benchmarkin, joka on suunniteltu arvioimaan mobiililaitteiden edustajia. Tämä benchmark sisältää kymmenen yleisimmin käytettyä mobiilisovellusta, yhdessä älykkäiden ohjeiden kanssa näille sovelluksille, jaoteltuna kolmeen vaikeustasoon.

Liikkuvat Edustajat: Arkkitehtuuri ja Menetelmä

Liikkuvan Edustajan kehys perustuu nykyisimpiin monitapahtumaisiin suuriin kielen malleihin, GPT-4V:hen, sekä tekstintunnistusmoduuliin tekstilokalisointitehtäviin. Yhdessä GPT-4V:n kanssa, Liikkuvat Edustajat käyttävät myös ikonilokalisointimoduulia ikonilokalisointiin.

Visuaalinen Havainto

Kuten mainittiin aiemmin, GPT-4V MLLM tarjoaa tyydyttäviä tuloksia ohjeille ja näytönkaappauksille, mutta se epäonnistuu sijainnin tulkitsemisessa, missä toiminnot tapahtuvat. Tämän rajoituksen vuoksi, Liikkuvan Edustajan kehys, joka toteuttaa GPT-4V-mallin, joutuu turvautumaan ulkoisiin työkaluihin operaatioiden sijainnin määrittämiseksi, mahdollistaen toimintojen tulkitsemisen mobiilinäytöllä.

Tekstin Lokalisointi

Liikkuvan Edustajan kehys toteuttaa OCR-työkalun tekstien sijainnin määrittämiseksi, kun edustaja tarvitsee napauttaa tiettyä tekstiä mobiilinäytöllä. On kolme yksilöllistä tekstilokalisointiskenaariota.

Skenaario 1: Ei Määriteltyä Tekstiä Havaittu

Ongelma: OCR ei pysty havaitsemaan määriteltyä tekstiä, mikä voi tapahtua monimutkaisissa kuvissa tai OCR:n rajoitusten vuoksi.

Vastaus: Ohjaa edustajaa joko:

• Uudelleenvalitsemaan tekstiä, jotta OCR:n ylihälytys voidaan korjata manuaalisesti, tai
• Valitsemaan vaihtoehtoisen toiminnon, kuten käyttämällä eri syötteen menetelmää tai suorittamalla toisen tehtävään liittyvän toiminnon.

Perustelu: Tämä joustavuus on välttämätöntä GPT-4V:n satunnaisen epätarkkuuden tai virheiden hallitsemiseksi, varmistaen edustajan edelleen toimivan.

Skenaario 2: Yksi Määritelty Teksti Havaittu

Toiminto: Automaattisesti generoi toiminnon, joka napsauttaa havaitun tekstin keskipistettä.

Perustelu: Kun on vain yksi havaittu tapaus, oikean tunnistamisen todennäköisyys on korkea, joten on tehokasta jatkaa suoraan toiminnolla.

Skenaario 3: Useita Määriteltyjä Tekstejä Havaittu

Arviointi: Arvioi ensin havaittujen tapausten lukumäärää:

Monia Tapauksia: Indikoi ruutua, joka on täynnä samankaltaista sisältöä, mikä hankaloittaa valintaprosessia.

Toiminto: Pyydä edustajaa valitsemaan uudelleen tekstiä, tarkoituksena tarkentaa valintaa tai sopeuttaa hakuparametreja.

Vähän Tapauksia: Halliteltava määrä havaintoja mahdollistaa tarkemman lähestymistavan.

Toiminto: Leikkaa alueita näiden tapausten ympärillä, laajentaen tekstintunnistusruutuja ulospäin, jotta voidaan säilyttää enemmän kontekstia, joka auttaa päätöksenteossa.

Seuraava Vaihe: Piirrä tunnistusruudut leikattuihin kuviin ja esitä ne edustajalle. Tämä visuaalinen apu auttaa edustajaa päättämään, minkä tapauksen kanssa vuorovaikuttaa, perustuen kontekstuaalisiin vihjeisiin tai tehtävän vaatimuksiin.

Tämä järjestelmällinen lähestymistapa optimoi vuorovaikutuksen OCR-tuloksien ja edustajan toimintojen välillä, parantaen järjestelmän luotettavuutta ja sopeutumiskykyä tekstipohjaisissa tehtävissä eri skenaarioissa. Koko prosessi on havainnollistettu seuraavassa kuvassa.

Ikoni Lokalisointi

Liikkuvan Edustajan kehys toteuttaa ikonilokalisointityökalun, joka määrittää ikonin sijainnin, kun edustaja tarvitsee napsauttaa sitä mobiilinäytöllä. Tarkemmin sanottuna, kehys pyytää edustajaa antamaan tiettyjä kuvan ominaisuuksia, kuten muotoa ja väriä, ja sitten kehys toteuttaa Grounding DINO -menetelmän ikonipromptin avulla, jotta voidaan tunnistaa kaikki ikonit, jotka sisältyvät näytönkaappaukseen. Lopuksi, Liikkuvat Edustajat käyttävät CLIP-kehystä laskemaan kuvauksen ja poistetun ikonin välisen samankaltaisuuden, ja valitsevat alueen, jolla on korkein samankaltaisuus, napsauttamista varten.

Ohjeiden Suorittaminen

Toimintojen kääntämiseksi näytön toiminnaksi edustajien toiminnan kautta, Liikkuvan Edustajan kehys määrittää 8 erilaista toimintaa.

• Sovelluksen Käynnistäminen (Sovelluksen Nimi): Käynnistä haluttu sovellus työpöydän käyttöliittymästä.
• Napsauta Tekstiä (Tekstin Leima): Vuorovaikuta ruudun osalla, jossa näkyy leima “Tekstin Leima”.
• Vuorovaikuta Ikonin Kanssa (Ikonin Kuvaus, Sijainti): Kohdistaa ja napsauttaa määriteltyä ikonialuetta, jossa “Ikonin Kuvaus” sisältää ominaisuuksia, kuten väriä ja muotoa. Valitse “Sijainti” vaihtoehdoista, kuten ylä, ala, vasen, oikea tai keski, mahdollisesti yhdistämällä kaksi tarkkuuden parantamiseksi ja virheiden vähentämiseksi.
• Syötä Teksti (Syötettävä Teksti): Syötä annettu “Syötettävä Teksti” aktiiviseen tekstikenttään.
• Scrollaa Ylös & Alas: Selaa ylös tai alas nykyisen sivun sisällön läpi.
• Palaa Takaisin: Palaa edelliseen näkymään.
• Sulje: Siirry suoraan työpöydälle nykyisestä näytöstä.
• Pysäytä: Päätä toiminto, kun tehtävä on suoritettu.

Itsensuunnittelu

Jokainen toiminnon askel suoritetaan iteraatiivisesti kehyksen toimesta, ja ennen kunkin iteraation alkua, käyttäjä on pyydettävä antamaan syötteen ohje, ja Liikkuvan Edustajan malli käyttää ohjetta luomaan järjestelmän ohjepromptin koko prosessille. Lisäksi ennen kunkin iteraation alkua, kehys ottaa näytönkaappauksen ja syöttää sen edustajalle. Edustaja havaitsee näytönkaappauksen, toimintohistorian ja järjestelmäohjeiden perusteella seuraavan toiminnon.

Itsearviointi

Toimintonsa aikana edustaja voi kohtaamaan virheitä, jotka estävät sen suorittamasta ohjetta onnistuneesti. Ohjeiden täyttymisen parantamiseksi on toteutettu itsearviointimenetelmä, joka aktivoituu kahdessa tiettyssä tilanteessa. Aluksi, jos edustaja suorittaa virheellisen tai epävalidin toiminnon, joka pysäyttää edistymisen, kuten kun se tunnistaa, että näytönkaappaus ei ole muuttunut toiminnon jälkeen tai näyttää virheellisen sivun, se ohjataan harkitsemaan vaihtoehtoisia toimintoja tai sopeuttamaan olemassa olevan toiminnon parametreja. Toiseksi, edustaja voi jättää huomiotta joitakin monimutkaisen ohjeen osia. Kun edustaja on suorittanut sarjan toimintoja alkuperäisen suunnitelman mukaan, se ohjataan arvioimaan toimintosarjaa, viimeisintä näytönkaappauksta ja käyttäjän ohjetta, arvioidakseen, onko tehtävä suoritettu. Jos havaitaan epäkohtia, edustaja ohjataan luomaan uusia toimintoja ohjeen täyttämiseksi.

Liikkuvat Edustajat: Kokeet ja Tulokset

Arvioidakseen kykyjään kattavasti, Liikkuvan Edustajan kehys esittää Mobile-Eval-benchmarkin, joka koostuu 10 yleisimmin käytetystä sovelluksesta, ja suunnittelee kolme ohjetta kullekin sovellukselle. Ensimmäinen toiminto on suoraviivainen ja kattaa vain perussovelluksen toiminnot, kun taas toinen toiminto on hieman monimutkaisempi kuin ensimmäinen, koska siinä on joitakin lisävaatimuksia. Lopuksi, kolmas toiminto on monimutkaisin, koska se sisältää abstraktin käyttäjän ohjeen, jossa käyttäjä ei ole selkeästi määritellyt, minkä sovelluksen tai toiminnon käyttää.

Jatkaen, arvioidakseen suorituskykyä eri näkökulmista, Liikkuvan Edustajan kehys suunnittelee ja toteuttaa 4 erilaista mittaria.

• Onnistuminen tai Menestys: Jos mobiiliedustaja suorittaa ohjeet, se katsotaan onnistuneeksi.

• Prosessin Arvosana tai PS: Prosessin arvosana mittaa kunkin askelen tarkkuutta ohjeiden suorittamisen aikana, ja se lasketaan jakamalla oikeiden askelten määrä kaikkien askelten määrällä.

• Suhteellinen Tehokkuus tai RE: Suhteellinen tehokkuus on suhde ihmisen manuaalisen suorittamisen ja edustajan suorittamisen askelten määrän välillä.

• Suorittamisen Astetta tai CR: Suorittamisen aste lasketaan jakamalla ihmisen toimien määrä, jonka kehys suorittaa onnistuneesti, kaikkien ihmisen toimien määrällä. CR:n arvo on 1, kun edustaja suorittaa ohjeen onnistuneesti.

Tulokset on esitetty seuraavassa kuvassa.

Aluksi, kolmelle annetulle tehtävälle, Liikkuvat Edustajat saavuttivat 91%, 82% ja 82% suorittamisen astetta. Vaikka kaikki tehtävät eivät suoritettu virheettömästi, kunkin tehtävän suorittamisen astetta ylitti 90%. Lisäksi, PS-mittari paljastaa, että Liikkuvat Edustajat osoittavat jatkuvasti korkean todennäköisyyden suorittaa oikein tehtävät kolmelle tehtävälle, suorittamisen arvosanalla noin 80%. Lisäksi, RE-mittarin mukaan, Liikkuvat Edustajat osoittavat 80% tehokkuuden suorittaa toimintoja ihmisen optimiin verrattavalla tasolla. Nämä tulokset korostavat yhdessä Liikkuvien Edustajien kykyä toimia mobiililaitteiden avustajina.

Seuraava kuva havainnollistaa Liikkuvien Edustajien kykyä ymmärtää käyttäjän ohjeita ja itsenäisesti koordinoida toimia. Jopa silloin, kun ohjeista puuttuu eksplisiittisiä toimintotietoja, Liikkuvat Edustajat tulkitsivat käyttäjän tarpeet taitavasti ja muunsivat ne toimiviksi tehtäviksi. Tämän ymmärryksen jälkeen, edustaja suoritti ohjeet systemaattisen suunnitteluprosessin kautta.

Lopputulet

Tässä artikkelissa olemme puhuneet Liikkuvista Edustajista, monitapahtumaisesta autonomisesta laitteiden edustajasta, joka aluksi käyttää visuaalisen havainnon teknologioita visuaalisten ja tekstuaalisten komponenttien tarkan sijainnin määrittämiseksi mobiilisoftwaren käyttöliittymässä. Käyttäen tätä visuaalista kontekstia, Liikkuvan Edustajan kehys suunnittelee ja hajottaa monimutkaiset toiminnot autonomisesti, ja navigoi mobiilien sovellusten läpi askel kohti. Tämä kehys erottuu olemassa olevista ratkaisuista, koska se ei riipu mobiilijärjestelmien metatiedoista tai mobiilien sovellusten XML-tiedostoista, mahdollistaen paremman sopeutumisen eri mobiilien toimintaympäristöihin visuaalisessa keskeisyydessä. Liikkuvan Edustajan kehyksen käyttämä lähestymistapa poistaa tarpeen järjestelmäkohtaisille mukautuksille, johtuen parantuneesta suorituskyvystä ja laskemalla laskennalliset vaatimukset. Liikkuvien Edustajien strategia mahdollistaa mobiilien sovellusten XML-tiedostojen kautta suuremman joustavuuden eri mobiilien käyttöjärjestelmissä, visuaalisen prosessoinnin painopisteen kanssa.