Ko nga ahunga whakamua i roto tauira reo nui kua tino whakatere te whanaketanga o te tukatuka o te reo māori, NLP ranei. Ko te whakaurunga o te anga hurihanga i kitea he tohu nui, he whakangawari i te whanaketanga o te ngaru hou o nga tauira reo, tae atu ki te OPT me te BERT, e whakaatu ana i te mohiotanga reo hohonu. I tua atu, ko te tiimatanga o nga tauira GPT, Generative Pre-trained Transformer ranei, i whakaurua he tauira hou me te whakatauira autoregressive me te whakarite tikanga pakari mo te matapae reo me te whakatipuranga. Ko te putanga mai o nga tauira reo penei i te GPT-4, ChatGPT, Mixtral, LLaMA, me etahi atu kua piki ake te whanaketanga tere, me ia tauira e whakaatu ana i te pai ake o te mahi i roto i nga mahi e pa ana ki te tukatuka reo matatini. I roto i nga tikanga o naianei, kua puta ake te whakaraerae ako hei tikanga matua mo te whakamahine i te whakaputanga o nga tauira reo nui kua oti te whakangungu, me te whakauru o enei tauira ki nga taputapu motuhake mo nga mahi ataata kua kitea te urutau me te whakatuwhera i nga kuaha mo nga tono a meake nei. Ka toro atu enei ki tua atu i te tukatuka-a-tuhi tuku iho o nga LLM ki te whakauru i nga taunekeneke multimodal.

I tua atu, na te whakakotahitanga o te tukatuka reo maori me nga tauira tirohanga rorohiko kua puta mai he VLM, he Tauira Reo Tirohanga ranei, e whakakotahi ana i nga tauira reo me nga tauira tirohanga kia tutuki ai te mohiotanga o nga tikanga whakawhiti me te whai whakaaro. Ko te whakaurunga me te putanga mai o nga tauira ataata me te reo kua whai waahi nui ki te ahu whakamua i nga mahi e hiahia ana ki te tukatuka reo me te maarama ataata. Ko te putanga mai o nga tauira hurihuri penei i te CLIP kua whakatiki i te aputa i waenga i nga mahi tirohanga me nga tauira reo, e whakaatu ana i te whaihua me te whaihua o nga tono whakawhiti. Ko nga anga hou ake nei penei i te LLaMA me te BLIP e whakangao ana i nga raraunga tohutohu hei hanga rautaki pai e whakaatu ana i te kaha o te tauira. I tua atu, ko te whakakotahi i nga tauira reo nui me nga putanga atahanga te aronga o te rangahau multimodal o tata nei, me nga tikanga o naianei ka taea te karo i te whakatipuranga tika ma te whakamahi i te huarahi tiki atahanga ki te whakaputa whakaahua me nga tuhinga wawao.

I runga i tera korero, ahakoa te tere haere o nga tauira reo matakite e whakahaere ana i nga whakaaro taketake me nga korero ataata, he nui tonu te waahi i waenga i nga tauira matatau penei i te GPT-4, me nga tauira reo matakite. Ko te Mini-Gemini he ngana ki te whakawhāiti i te āputa i waenga i nga tauira reo matakite me nga tauira matatau ake ma te keri i te kaha o nga VLM kia pai ake ai te mahi mai i nga waahanga e toru: te whakatipuranga aarahi a VLM, nga raraunga kounga teitei, me nga tohu ataata taumira teitei. Hei whakarei ake i nga tohu whakaata, e whakaaro ana te anga Mini-Gemini ki te whakamahi i tetahi atu whakawaehere ataata mo te whakamahine teitei-taumira me te kore e piki ake te tatau o nga tohu tirohanga. Ka hanga ano e te anga Mini-Gemini he huingararaunga kounga teitei hei whakatairanga i te maaramatanga o nga whakaahua me te whakatipuranga whakaaro. I te katoa, ka ngana te anga Mini-Gemini ki te maina i te kaha o nga tauira reo matakite, me te whai ki te whakamana i nga anga o naianei me te whakaaro atahanga, te mohio, me te kaha whakaputa i te wa kotahi. Ko te whainga o tenei tuhinga ki te whakamaarama hohonu i te anga Mini-Gemini, ka tirotirohia e matou te tikanga, te tikanga, te hoahoanga o te anga me tana whakataurite ki te ahua o nga anga toi. Na kia timata tatou. 

Mini-Gemini: Whakatere i nga VLM Tikanga-maha

I roto i nga tau, kua tipu ake nga tauira reo nui, a kei te whakamanamana i naianei mo o raatau kaha-maha, kua noho hei waahanga nui o nga tauira reo matakite o naianei. Heoi ano, he waahi kei waenganui i nga ahuatanga maha o nga tauira reo nui me nga tauira reo matakite me nga rangahau tata nei e rapu ana i nga huarahi hei whakakotahi i te tirohanga me nga tauira reo nui ma te whakamahi i nga whakaahua me nga ataata. Mo nga mahi whakakitenga ake, he mea tino nui te whakatau whakaahua ahakoa te taiao a tawhio noa me te iti o te pohehe. Hei whakatiki i te aputa, kei te whakawhanake nga kairangahau i nga tauira hei whakapai ake i te maaramatanga ataata o naianei tauira reo matakite, me te rua o nga huarahi tino noa ko: te whakanui ake i te whakataunga, me te whakanui ake i te maha o nga tohu ataata. Ahakoa ko te whakanui ake i te maha o nga tohu whakaata me nga whakaahua taumira teitei ake ka whakarei ake i te maaramatanga tirohanga, ka haere tahi te whakanui me te pikinga o nga whakaritenga rorohiko me nga utu e pa ana ina koa ki te tukatuka whakaahua maha. I tua atu, ko nga kaha o nga tauira o naianei, te kounga o nga raraunga o naianei, me te whakaurunga kei te kore e tika mo te tukanga whanaketanga tere, ka waiho nga kairangahau ki te patai, "me pehea te whakatere i te whanaketanga o nga tauira reo matakite me nga utu e whakaaetia ana”?

Ko te anga Mini-Gemini he ngana ki te whakautu i te patai i a ia e ngana ana ki te tuhura i te kaha o nga tauira reo matakite mai i nga waahanga e toru: ko te whakatipuranga a-VLM-arahi ranei i nga tono whakawhanui, nga raraunga kounga teitei, me nga tohu whakaata teitei. Tuatahi, ka whakatinanahia e te anga Mini-Gemini he hoahoanga ConvNet hei whakaputa pai i nga kaitono whakatau teitei ake, me te whakanui ake i nga taipitopito tirohanga i te wa e mau tonu ana nga tatauranga tohu mo te tauira reo nui. Ko te anga Mini-Gemini e whakakotahi ana i nga huingararaunga kounga teitei e waatea ana ki te iwi whanui hei ngana ki te whakarei ake i te kounga o nga raraunga, me te whakauru i enei whakanikotanga ki nga tauira o te toi whakaputa me nga tauira reo nui me te ngana ki te whakarei ake i te mahinga o nga VLM, me te whakapai ake. te wheako kaiwhakamahi. Ko te rautaki maha i whakatinanahia e te anga Mini-Gemini ka taea e ia te tuhura i nga kaha huna o nga tauira reo matakite, me te whakatutuki i nga ahunga whakamua nui me te kitea nga herenga rauemi. 

I te nuinga o te waa, ko te anga Mini-Gemini e whakamahi ana i tetahi ahua ki tetahi tauira na te mea ka taea e ia te whakahaere i nga tuhinga me nga whakaahua hei whakauru me te whakaputa. Ina koa, ko te anga Mini-Gemini e whakaatu ana i te paipa paipa mo te whakarei ake i nga tohu tirohanga mo nga whakaahua whakaurunga, me te whakaatu i te punaha whakawaehere-rua kei roto i nga kaiwhakawaehere mahanga: ko te encoder tuatahi mo nga whakaahua taumira teitei, ko te whakawaehere tuarua mo te iti- te whakaurunga ataata kounga. I te wa o te whakatau, ka mahi nga kaiwhakawaehere i roto i te tikanga aro, i reira ka mahia e te encoder taumira iti nga patai tirohanga, i te wa e tukuna ana e te encoder taumira teitei te matua me nga uara hei tohutoro. Hei whakanui ake i te kounga o te raraunga, ka kohia e te anga Mini-Gemini me te whakaputa i etahi atu raraunga e pa ana ki nga rauemi a te iwi, tae atu ki nga tohutohu mahi-mahi, nga raraunga e pa ana ki te whakatipuranga, me nga whakautu taumira teitei, me te piki haere o te nui me te kounga pai ake hei whakapai ake i te mahi katoa me nga kaha o te tauira. I tua atu, kei te tautoko te anga Mini-Gemini ki te hanga tuhinga me te hanga whakaahua i te wa ano na te whakaurunga o te tauira reo matakite ki nga tauira whakatipuranga matatau. 

Mini-Gemini : Tikanga me te Hangahanga

I tona uho, he maamaa te angamahi Mini-Gemini, e toru nga waahanga kei roto. 

1. Ka whakamahia e te anga nga whakawaehere matakite rua hei whakarato i nga whakaurunga ataata taumira iti me nga kaitono taumira teitei. 
2. E whakaaro ana te anga ki te whakatinana i te keri korero papaki ki te whakahaere maina i te taumata papaki i waenga i nga patai ataata taumira iti, me nga rohe taumira teitei. 
3. Ka whakamahi te anga Mini-Gemini i tetahi tauira reo nui hei marena i nga tuhinga me nga whakaahua mo nga reanga me te maaramatanga i te wa kotahi. 

Whakawaehere Mata-rua

Ka taea e te anga Mini-Gemini te tukatuka i nga whakaurunga tuhinga me nga whakaahua, me te kowhiringa ki te hapai i a raatau takitahi, ma te whakakotahi ranei. Ka whakaatuhia i te ahua e whai ake nei, ka timata te anga Mini-Gemini i te mahi ma te whakamahi i te wawaotanga rua-rua hei whakaputa i te ahua iti-taumira mai i tana ahua taumira teitei. 

Ka tukatukahia e te anga enei atahanga, ka whakawaeheretia ki roto i te whakaurunga tirohanga matiti-maha i roto i nga rerenga whakaahua whakarara e rua. Ko te mea nui ake, ko te anga Mini-Gemini e pupuri ana i te paipa tuku iho mo nga rerenga taumira iti me te whakamahi i te CLIP-pretrained Visual Transformer ki te whakawaehere i nga whakaurunga ataata, me te whakamaarama i te tauira ki te pupuri i te hononga-a-roa i waenga i nga papanga tirohanga mo nga taunekeneke o muri mai i te reo nui. tauira. Mo nga rerenga taumira teitei, ko te anga Mini-Gemini te tango i te CNN, Convolution Neural Networks ranei i runga i te whakawaehere mo te tukatuka whakaahua taumira teitei. 

Patch Info Mining

Na nga kaiwhakawaehere matakite rua e whakaputa ana i nga whakaurunga LR me nga ahuatanga HR, e whakaaro ana te anga Mini-Gemini ki te whakatinana i te maina korero papaki me te whai ki te whakawhānui i te kaha o nga tauira reo matakite me nga tohu whakakitenga whakarei. Kia mau tonu ai te maha o nga tohu ataata mo te whai hua i roto i nga tauira reo nui, ka tangohia e te anga Mini-Gemini nga whakaurunga ataata taumira iti hei patai, me te whai ki te tiki i nga tohu whakaata e tika ana mai i nga kaitono ahuatanga HR, me te anga e tango i te Ko te mapi ahua HR hei matua me te uara.

Ka rite ki te whakaatu i te ahua o runga ake nei, ko te tauira te whakauru i te tukanga o te whakamahine me te whakahiato i nga tohu ataata, e arai atu ai ki te whakaputa i nga tohu tirohanga matatau mo te tukatuka tauira reo nui e whai ake nei. Ko te tukanga e whakarite ana ka taea e te angamahi te here i te maina mo ia patai ki tana rohe-a-rohe e rite ana ki te mapi ahua HR me te tatau o te pika-whakaaro nui, ka hua ake te kaha. Na tenei hoahoa, ka taea e te anga Mini-Gemini te tango i nga korero a te HR me te kore e whakanui ake i te tatau o nga tohu whakaata, me te pupuri i te taurite i waenga i te whaihuatanga rorohiko me te nui o nga korero. 

Whakaputa Kuputuhi me te Whakaahua

Ko te anga Mini-Gemini e hono ana i nga tohu ataata me nga tohu tuhinga whakauru hei whakauru ki nga tauira reo nui mo te whakatipuranga-aunoa. Kaore i rite ki nga tauira reo matakite tuku iho, ko te anga Mini-Gemini e tautoko ana i nga tuhinga-anake tae atu ki te whakaputanga whakaahua-kuputuhi hei whakaurunga me te whakaputanga, ara, ki tetahi whakatau, a, ko te hua tenei o tenei mohiotanga o te ahua-kuputuhi me te kaha whakaaro, te Ka taea e Mini-Gemini te whakaputa whakaahua kounga teitei. Kaore i rite ki nga mahi o naianei e aro ana ki te aputa rohe i waenga i nga whakaurunga tuhinga o nga tauira whakatipuranga me nga tauira reo nui, ka ngana te anga Mini-Gemini ki te arotau i te aputa i roto i te rohe o nga akiaki reo ma te whakamaori i nga tohutohu a nga kaiwhakamahi ki nga akiakinga o te kounga teitei e whakaputa ana i nga whakaahua e tika ana. i roto i nga tauira whakamaoritanga huna. I tua atu, mo te pai ake o te mohio ki te whakatikatika i nga tohutohu, me te whakawhiti i te huarahi whakawhiti, ka kohi te anga Mini-Gemini i nga tauira mai i nga huinga raraunga kounga teitei e waatea ana ki te katoa, me te whakamahi i te anga GPT-4 turbo ki te hanga i tetahi tohutohu 13K e whai ake nei ki te tautoko i te hanga whakaahua. 

Mini-Gemini : Nga Whakamatau me nga Hua

Hei arotake i ana mahi, ka tukuna te anga Mini-Gemini ki te angamahi ConvNext-L i whakangungua-mua mo te encoder matakite HR, me te CLIP-mua-kua whakangungua. Kaihuri Matakite mo te encoder matakite LR. Kia pai ai te whakangungu, ka mau tonu te anga Mini-Gemini i nga encoder whakakitenga e rua, me te arotau i nga kaupapa o te keri korero papaki i nga waahanga katoa, me te arotau i te tauira reo nui i te wa o te atahanga ako. 

Ko te ripanga e whai ake nei ka whakataurite i te mahinga o te anga Mini-Gemini ki te ahua o nga tauira toi puta noa i nga waahi rereke, me te whai whakaaro ano ki nga tauira motuhake. I te mea ka kitea, ko te Mini-Gemini he pai ake i nga anga o naianei puta noa i te whānuitanga o nga LLM i nga wa katoa i runga i te whakataunga noa, me te whakaatu i nga mahi pai ake ina whirihorahia me te Gemma-2B i roto i te waahanga o nga tauira pai. I tua atu, i te wa e whakamahia ana nga tauira reo nui nui, ka kitea te whakahiatotanga o te anga Mini-Gemini. 

Hei arotake i ana mahi i runga i te taumira teitei me nga tohu tirohanga roa, ka mahia nga whakamatautau me te rahi whakaurunga o 672 mo te encoder matakite LR, me te 1536 mo te encoder ataata. Ka rite ki te korero i mua ake nei, ko te kaupapa matua o te encoder ataata HR ko te tuku korero mo te kaitono taumira teitei. Ka taea te kite, ko te anga Mini-Gemini he pai ake te mahi ina whakaritea ki te ahua o nga anga toi. 

I tua atu, ki te aromatawai i te mohiotanga ataata o te anga Mini-Gemini i roto i nga ahuatanga o te ao, ka whakamahi nga kaiwhakawhanake i te tauira ki te maha o nga mahi whakaaro me te maarama e whakaatuhia ana i te ahua e whai ake nei. Ka taea te kite, ka taea e te Mini-Gemini anga ki te whakaoti i te tini o nga mahi uaua na te whakatinanatanga o te keri korero papaki, me nga raraunga kounga teitei. Engari ko te mea whakamiharo ko te mea ko te anga Mini-Gemini e whakaatu ana i te taapiri nui ki nga taipitopito e toro atu ana ki tua atu o te mohiotanga mohio, me te whakamaarama i nga waahanga uaua. 

Ko te ahua e whai ake nei he arotakenga matawhānui o nga kaha whakaputa o te anga Mini-Gemini. 

Ina whakatauritea ki nga tauira hou penei i a ChatIllusion me AnyGPT, ko te anga Mini-Gemini e whakaatu ana i te kaha ake o te mohio ki nga tikanga maha, ka taea e ia te whakaputa. kupu ki te ahua he pai ake nga tapanga e hono ana ki nga tohutohu whakauru, ka puta he ahua ki nga whakautu kuputuhi me te kaha ake o te ahua o te ariā. Ko te mea whakamiharo ko te mea ko te anga Mini-Gemini e whakaatu ana i te tino matatau ki te whakaputa i nga ihirangi kounga teitei ma te whakamahi i nga tohutohu tangata maha-tauira anake me nga raraunga whakangungu tuhinga, he kaha e whakaatu ana i te whakamaoritanga kupu a Mini-Gemini me nga pukenga whakatika whakaahua-kuputuhi. 

Thoughts Final

I roto i tenei tuhinga kua korerohia e matou mo te Mini-Gemini, he anga kaha me te ngawari mo nga tauira reo tirohanga maha. Ko te whainga tuatahi o te anga Mini-Gemini ko te whakamahi i nga kaha huna o nga tauira reo matakite ma te whakamahi i nga raraunga kounga teitei, te hoahoa rautaki o te angamahi, me te whanuitanga o nga mahi. Ko te Mini-Gemini he ngana ki te whakawhāiti i te āputa i waenga i nga tauira reo matakite me nga tauira matatau ake ma te keri i te kaha o nga VLM kia pai ake ai te mahi mai i nga waahanga e toru: te whakatipuranga aarahi a VLM, nga raraunga kounga teitei, me nga tohu ataata taumira teitei. Hei whakarei ake i nga tohu whakaata, e whakaaro ana te anga Mini-Gemini ki te whakamahi i tetahi atu whakawaehere ataata mo te whakamahine teitei-taumira me te kore e piki ake te tatau o nga tohu tirohanga. Ka hanga ano e te anga Mini-Gemini he huingararaunga kounga teitei hei whakatairanga i te maaramatanga o nga whakaahua me te whakatipuranga whakaaro. I te katoa, ka ngana te anga Mini-Gemini ki te maina i te kaha o nga tauira reo matakite, me te whai ki te whakamana i nga anga o naianei me te whakaaro atahanga, te mohio, me te kaha whakaputa i te wa kotahi.