Pixelmator нь хиймэл оюун ухаанд суурилсан супер нягтралыг хэрэглэгчиддээ авчирдаг

Pixelmator саяхан Pixelmator Pro, зураг боловсруулах програмыг эзэмшигчдэд хиймэл оюун ухаанаар ажилладаг хэт нарийвчлалтай хэрэгслийг ашиглах боломжийг олгосон.

Хэт нягтрал нь бүдэг, бага нарийвчлалтай зургийг сайжруулж, зургийн нягтралыг сайжруулах боломжийг олгодог. Хэт нягтралтай технологи нь гэмт хэргийн шоунд ихэвчлэн харагддаг "сайжруулах" тропийг ихэвчлэн төрүүлж, гайхалтай нөлөө үзүүлэхийн тулд зургийг хурцалж чаддаг. Pixelmator саяхан "ML Super Resolution" хэрэглүүрээ зураг засварлах программынхаа Pro хувилбарт оруулснаа зарлав. Зарим үр дүнгийн Pixelmator-ийн үзүүлэнг харж болно энд.

Хэрэгслийн эхний туршилтууд нь текст, гэрэл зураг, дүрслэл зэрэг олон төрлийн зургийн бүдэгрэлтийг багасгах чадвартай болохыг харуулж байна. гэх мэт гэж The Verge мэдээлэв, програмын үүсгэсэн үр дүн нь хамгийн ойрын хөршүүд болон хоёр шугаман алгоритмууд гэх мэт алгоритмуудыг ихэвчлэн ашигладаг дүрсийг томруулах бусад хэрэгслээс илүү дээр юм шиг санагддаг.

Google, Microsoft, Nvidia зэрэг олон төрлийн технологийн компаниуд супер нягтралын судалгааг явуулсан. Хэд хэдэн компаниуд өөрсдийн супер нягтралын алгоритмыг зохион бүтээсэн боловч хэт нарийвчлалтай төхөөрөмжүүдийн ялгааг сургахад ашигладаг арга нь ижил үндсэн зарчмуудыг ашигладаг.

ML Super Resolution болон бусад супер нягтралтай хэрэгслүүдийг бага нягтралтай, өндөр нарийвчлалтай хос дүрс ашиглан сургадаг. Бага нарийвчлалтай зургууд нь ердийн, өндөр нарийвчлалтай зургуудын зөвхөн жижигрүүлсэн хувилбарууд юм. Бага нягтралтай болон өндөр нарийвчлалтай зургуудын хооронд харьцуулалт хийдэг бөгөөд машин сургалтын алгоритмууд нь өндөр нарийвчлалтай зураг дээрх пикселийн бүсүүд бага нягтралтай зургуудаас хэрхэн ялгаатай болохыг олж мэддэг. Үүний зорилго нь мэдрэлийн сүлжээ нь пикселийн хэв маягийг ялгаж сурах явдал бөгөөд ингэснээр илүү өндөр нарийвчлалтай дүрс гаргах болно. Дараа нь энэ ялгааны хэв маягийг ашиглан дүрсийг үл үзэгдэх дүрсээр харуулах үед нягтралыг сайжруулахын тулд түүнд хаана пиксел нэмэхийг таамаглах боломжтой.

Хэт нарийвчлалтай програмуудыг янз бүрийн аргаар үүсгэж болно. Тухайлбал, супер нарийвчлалын нэг арга нь ашиглах Өрсөлдөөнт сүлжээ (GANs). GAN нь үнэндээ бие биенийхээ эсрэг байрладаг хоёр мэдрэлийн сүлжээ бөгөөд тоглоомын онолоос тэг нийлбэртэй тоглоом, жүжигчний шүүмжлэгч загвар гэх мэт ойлголтуудыг зээлдэг. Үндсэндээ нэг мэдрэлийн сүлжээний ажил нь хуурамч зураг үүсгэх, нөгөө сүлжээний ажил нь эдгээр хуурамч зургуудыг илрүүлэх явдал юм. Хуурамч зүйлийг үүсгэдэг сүлжээг генератор гэж нэрлэдэг бол тэдгээрийг илрүүлдэг сүлжээг ялгаварлагч гэж нэрлэдэг.

Pixelmator-ийн Super-Resolution хэрэгслийн хувьд, эвдэрсэн мэдрэлийн сүлжээ бий болсон Энэ нь мөн "томруулах" блокыг хэрэгжүүлсэн бөгөөд энэ нь зургийг 29 давхаргын сканнердсаны дараа зургийг дээшлүүлдэг. Томруулсан зургийн массивыг дараа нь боловсруулж, сайжруулсан нарийвчлалтай уламжлалт зураг болгон хувиргадаг. Сүлжээ нь мөн дүрсийг бүдгэрүүлэх, шахалтын олдворуудыг шийдвэрлэх функцуудыг агуулдаг бөгөөд ингэснээр зургийн эдгээр талыг дээшлүүлдэггүй. Pixelmator-ийн алгоритмууд нь Pixelmator Pro програмд ​​багтаж, янз бүрийн төхөөрөмж дээр ажиллах боломжтой тул судалгааны тохиргоонд ашигладаг алгоритмуудаас хамаагүй бага байдаг. Сургалтын өгөгдлийн багц нь ижил төстэй хэрэглээнд ашигладаг бусад өгөгдлийн багцтай харьцуулахад маш бага бөгөөд алгоритмыг сургахад ердөө 15000 дээж ашигласан.

The Verge-ийн мэдээлснээр хэрэглэгчид ашиглах боломжтой бусад супер нягтаршилтай хэрэгслүүд байдаг. Жишээлбэл, Adobe нь Adobe Camera цуглуулгадаа өөрийн супер нягтралтай хэрэгсэлтэй боловч Pixelmator-ийн хэрэгсэл нь хамгийн тогтвортой, өндөр чанартай зургийг гаргадаг бололтой.