Байрны нүдээр таних системийг ашиглан дотоод хэрэглэгчийн нутагшуулалт

Байрыг нүдээр таних нь тулгын чулуунуудын нэг юм компьютерийн харааг хөгжүүлэх болон робот техник. VPR алгоритмуудын даалгавар бол зураг дээр үндэслэн шалгасан байршлыг тодорхойлох явдал юм. Энэхүү технологи нь бие даасан роботууд болон хүний ​​ажиллах хүчийг дэмжиж, хүрээлэн буй орчныг таньж, хүссэн үйлдлүүдийг гүйцэтгэхэд тусалдаг.

Судлаачид NeuroSYS дээр компьютерийн харааны алгоритмуудыг хөгжүүлсэн AR платформын нэг хэсэг болгон ашигладаг. Nsflow, газар дээр нь сургалтанд хамрагдаж байхдаа хэрэглэгчийн байрлалыг тодорхойлох интерактив ажлын зааварчилгаа, практик сургалтыг идэвхжүүлэх. Энэ тохиолдолд VPR-ийг ашиглах нь өмнөх сургалт, хяналтын хэрэгцээ багассанаас болж элсэх, суралцах үйл явцыг ихээхэн хурдасгахад хүргэдэг.

GPS ашиглан хүний ​​байршлыг олох эсвэл хүссэн газраа олох нь аль хэдийн хуучин мэдээ юм. Гэхдээ хиймэл дагуулд суурилсан навигацийн систем ажиллахгүй бол яах вэ? Дотоод байршил тогтоох систем (IPS) аврах ажилд ирж байна. 

Хадлангаас зүү хайж байхдаа гэрэлт цамхаг, соронзон байрлал тогтоох, хурдатгал хэмжигч болон гироскоп бүхий инерцийн хэмжилтийн нэгж (IMU), хамгийн сүүлд мэдэгдэж буй цэгээс хөдөлгөөнийг хэмжих, wi-fi-д суурилсан байрлал тогтоох гэх мэт янз бүрийн арга техникийг ашиглаж болно. энгийнээр - харааны тэмдэглэгээг ашиглах. 

Дээрх бүх аргууд нь сул талуудтай (жишээ нь, тэмдэглэгээ эсвэл дохио суурилуулах хэрэгцээ, IMU цаг хугацааны явцад хэмжилтийн алдааг нэмэгдүүлж, байршлыг өөрчлөх шаардлагатай) давуу талтай. Чухал асуудалд хариулах шийдэл - ерөнхий хэрэглэгчийн байршлыг хэдхэн метрийн нарийвчлалтайгаар тодорхойлох нь алгоритмын хүрээнд байх болно. 

The газруудыг таних үйл явц хоёр өгөгдлийн сан үүсгэх хоёр алхамт процедурт тулгуурладаг. Эхний ээлжинд зорилтот газрын зургийг авч, тухайн газрын онцлог шинж чанарыг тодорхойлохын тулд тодорхой зүйл, гол цэгүүдийг шинж чанар илрүүлэгчээр тэмдэглэдэг. Дараа нь шошготой цэгүүдийг жишиг зурагтай харьцуулна. Үнэлгээний гол цэгүүдийг онцлог тохируулагч хангалттай төстэй гэж үзсэний дараа зураг нь ижил газрыг харуулсан байх эрхтэй болно. 

The зургийн мэдээллийн сан зорилтот байршлын зургууд, энэ тохиолдолд ажлын талбарууд болон тэдгээрийн өвөрмөц танигч, дараа нь орон нутгийн болон глобал тодорхойлогч зэрэг шинж чанаруудын багцыг нэгтгэдэг. Нөгөө багц, the өрөөний мэдээллийн сан, авч үзсэн орон зайн тодорхой хэсгүүдтэй ганцаарчилсан гол цэгүүдтэй таарч байна. 

Харааны газар таних талбараас SuperPoint, SuperGlue, netVLAD мэдрэлийн сүлжээг ашиглан судлаачид хэрэглэгчийн нутагшуулалтад дээрх процессыг ашигласан. SuperPoint болон SuperGlue мэдрэлийн гүн сүлжээнүүд нь мэдээллийн сангаас мэдээлэл гаргаж, шинж чанарыг илрүүлэх, тааруулах чиглэлээр хамтран ажилладаг. 

Глобал дүрслэгч нар тайзан дээр гарна

Энэ үйл явц нь тухайн газрыг ялгах векторын үүрэг гүйцэтгэж, тодорхойгүй байдлаар газар нутгийг тодорхойлох глобал тодорхойлогчдыг шаарддаг. Үүргээ биелүүлэхийн тулд векторууд нь гэрэлтүүлэгтэй, харах өнцөг-агностик байх ёстой - хэтийн төлөв, гэрэлтүүлгийн нөхцөл байдлаас үл хамааран дэлхийн тодорхойлогч нь янз бүрийн зураг дээрх газруудыг ялгахдаа эргэлзээ төрүүлэхгүй байх ёстой. 

Нэмж дурдахад, сонирхлын талбарт байгаа хувьсах объектууд нь газар нутгийг ялгах шинж чанаруудын хувьд глобал тодорхойлогчоор холбогдож болохгүй. Тавилга, тоног төхөөрөмж гэх мэт зүйлс нь өөрчлөлтөд өртөмтгий байдаг (засварлах, задлах), өөрөөр хэлбэл тэд байгаа газраараа тодорхойлогддоггүй. 

Компьютерийн алсын хараагаар ажилладаг газар таних Хаалга, цонх, шат болон удаан эдэлгээтэй бусад өвөрмөц эд зүйлс зэрэг шалгагдсан байршлын байнгын элементүүдэд тулгуурладаг. Судалгааны явцад NetVLAD гүн мэдрэлийн сүлжээг тооцоололд ашигласан бөгөөд үр дүнд нь тогтоосон шаардлагад нийцсэн векторуудыг харуулсан. Глобал тодорхойлогчийг тааруулах явцад шинж чанар бүхий зангуу цэг бүрийн хоорондох зайг тооцоолсны дараа хамгийн төстэй векторуудын зургийг боловсруулдаг. 

Өрөөний мэдээллийн сан ба нөгөө нь гол цэгүүд болон глобал тодорхойлогчдыг агуулсан хоёр мэдээллийн санг боловсруулахдаа систем нь зургийн шинж чанаруудтай харьцдаг. Ижил төстэй байдал болон хамгийн богино зайн тооцоог хийсний дараа хоёр дахь мэдрэлийн сүлжээ SuperGlue нь байршлын зургийг тодорхойлдог. VPR ашигладаг систем нь товчхондоо тохирох гол цэгүүдийн тоонд тулгуурлан хэрэглэгчийг нутагшуулах боломжийг олгодог. 

Алгоритмууд програмыг олсон AI ба AR платформ, хэрэглэгчдэд ухаалаг нүдний шилээр тоноглогдсон сургалт явуулахад тусалдаг. VPR нь дадлагажигчдыг ажлын байранд нутагшуулах, тодорхой цэгүүдэд хуваарилагдсан зохих зааварчилгаа, гарын авлагыг эхлүүлэх, аюулгүй байдлыг сайжруулж, шууд хяналт тавих хэрэгцээг багасгах боломжийг олгодог. 

Ухаалаг өсөлтийн үйл ажиллагааны хөтөлбөрийн хүрээнд Европын бүс нутгийн хөгжлийн сангийн хүрээнд Европын холбооны сангаас хамтран санхүүжүүлсэн төсөл. Судалгаа, хөгжлийн үндэсний төвийн хүрээнд хэрэгжиж буй төсөл: Хурдан зам.