Майкрософт компанийн Orca-2 AI загвар нь яагаад тогтвортой хиймэл оюун ухаанд томоохон алхам хийсэн бэ?

Сүүлийн XNUMX жилийн хугацаанд хиймэл оюун ухаан гаргасан томоохон дэвшлийг үл харгалзан стратегийн тоглоомуудад хүний ​​аваргуудыг ялж чадсан. Шатар ба GO болон уургийн 3D бүтцийг урьдчилан таамаглах, өргөн хүрээнд нэвтрүүлэх том хэлний загварууд (LLMs) парадигмын өөрчлөлтийг илэрхийлдэг. Хүн-компьютерийн харилцан үйлчлэлийг өөрчлөхөд бэлэн байгаа эдгээр загварууд нь боловсрол, харилцагчийн үйлчилгээ, мэдээлэл хайх, програм хангамж боловсруулах, хэвлэл мэдээлэл, эрүүл мэндийн үйлчилгээ зэрэг янз бүрийн салбарт зайлшгүй шаардлагатай болсон. Эдгээр технологийн дэвшил нь шинжлэх ухааны ололт амжилтыг нээж, аж үйлдвэрийн өсөлтийг дэмжиж байгаа ч манай гаригийн хувьд мэдэгдэхүйц сул тал бий.

LLM-ийг сургах, ашиглах үйл явц нь асар их эрчим хүч зарцуулдаг бөгөөд үүний үр дүнд нүүрстөрөгчийн ул мөр, хүлэмжийн хийн ялгаруулалт ихэссэнээр байгаль орчинд ихээхэн нөлөөлөл үзүүлдэг. Массачусетсийн Амхерстийн Их Сургуулийн Мэдээлэл, Компьютерийн Шинжлэх Ухааны Коллежийн саяхан хийсэн судалгаагаар LLM-д сургах нь илүү их ялгардаг болохыг харуулжээ. 626,000 фунт нүүрстөрөгчийн давхар исэл, ойролцоогоор таван машины ашиглалтын хугацаанд ялгарах хорт утаатай тэнцэхүйц байна. AI-ийн гарааны Hugging Face компани оны эхээр эхлүүлсэн том хэлний загвар болох BLOOM-ийг сургасны үр дүнд 25 метр тонн нүүрстөрөгчийн давхар ислийн ялгарлын . Үүний нэгэн адил Facebook-ийн хиймэл оюун ухаантай загвар болох Meena нь нүүрстөрөгчийн ул мөрийг нэгээс илүү хугацаагаар жолоодох нь байгаль орчинд үзүүлэх нөлөөлөлтэй тэнцэх хэмжээний хуримтлуулдаг. 240,000 миль сургалтын үйл явцын туршид.

LLM-ийг сургаж байгаа хэдий ч LLM-ийн хувьд чухал ач холбогдолтой үүлэн тооцооллын эрэлт хэрэгцээ одоо хувь нэмрээ оруулж байна илүү их ялгаруулалт бүх агаарын тээврийн салбараас илүү. Ганц дата төв нь аль болох их эрчим хүч хэрэглэж болно 50,000 байшин. Өөр нэг судалгаа нь нэг том хэлний загварыг сургах нь илүү ихийг гаргаж чадна гэдгийг онцолж байна Таван машин шиг CO2 амьдралынхаа туршид эрчим хүчийг ашигладаг. Урьдчилан таамаглаж буйгаар хиймэл оюун ухааны ялгаруулалт өсөх болно 300 он гэхэд 2025%, хиймэл оюун ухааны ахиц дэвшлийг байгаль орчны хариуцлагатай тэнцвэржүүлж, хиймэл оюун ухааныг илүү байгальд ээлтэй болгох санаачилга гаргах нь нэн чухал болохыг онцолж байна. AI дэвшлийн байгаль орчинд үзүүлэх сөрөг нөлөөллийг арилгахын тулд тогтвортой хиймэл оюун ухаан нь судалгааны чухал талбар болж байна.

Тогтвортой хиймэл оюун ухаан

Тогтвортой хиймэл оюун ухаан нь байгаль орчинд үзүүлэх нөлөөллийг багасгах, ёс суртахууны үүднээс авч үзэх, урт хугацааны нийгэмд үзүүлэх үр өгөөжийг бууруулахад чиглэгдсэн хиймэл оюун ухааны системийг хөгжүүлэх, нэвтрүүлэхэд гарсан парадигмын өөрчлөлтийг илэрхийлдэг. Энэхүү арга барил нь эрчим хүчний хэмнэлттэй, байгаль орчинд ээлтэй, хүний ​​үнэт зүйлд нийцсэн ухаалаг системийг бий болгоход чиглэгддэг. Тогтвортой хиймэл оюун ухаан нь шударга, ил тод шийдвэр гаргахын тулд компьютерт цэвэр эрчим хүч ашиглах, бага эрчим хүч хэрэглэдэг ухаалаг алгоритм, ёс зүйн удирдамжийг дагаж мөрдөхөд чиглэдэг. Энэ хооронд ялгаа байгааг анхаарах нь чухал юм Тогтвортой байдал, тогтвортой хиймэл оюун ухаанд зориулсан AI; Эхнийх нь одоо байгаа үйл явцыг байгаль орчин, нийгэмд үзүүлэх үр дагаврыг тооцохгүйгээр оновчтой болгохын тулд хиймэл оюун ухааныг ашиглахтай холбоотой байж болох бол хоёр дахь нь хиймэл оюун ухааны хөгжлийн загвараас эхлээд нэвтрүүлэх хүртэлх бүх үе шатуудад тогтвортой байдлын зарчмуудыг идэвхтэй нэгтгэж, дэлхий дээр эерэг, урт хугацааны нөлөөг бий болгож, мөн. нийгэм.

LLM-ээс жижиг хэлний загвар руу (SLMs)

Тогтвортой хиймэл оюун ухааныг эрэлхийлэхийн тулд Майкрософт том хэлний загвар (LLMs) -ийн чадавхитай нийцүүлэхийн тулд Жижиг хэлний загвар (SLMs) боловсруулахаар ажиллаж байна. Энэ хүчин чармайлтаар тэд саяхан танилцуулсан Орка-2, гэх мэт үндэслэл гаргах зорилготой GPT-4. Өмнөх Орка-1-ээс ялгаатай нь 13 тэрбум параметртэй, Orca-2 нь хоёр үндсэн техникийг ашиглан 7 тэрбум параметрийг агуулдаг.

1. Заавар тохируулах: Orca-2 нь жишээнүүдээс суралцаж, агуулгын чанар, XNUMX цохилтын чадвар, янз бүрийн даалгавруудыг бодох чадвараа сайжруулснаар сайжирдаг.
2. Тайлбар тааруулах: Зааварт тааруулах хязгаарлалтыг хүлээн зөвшөөрч Orca-2 нь Тайлбар тохируулгыг нэвтрүүлж байна. Үүнд багшийн загварт зориулсан нарийвчилсан тайлбарыг бий болгох, үндэслэлийн дохиог баяжуулах, ерөнхий ойлголтыг сайжруулах зэрэг орно.

Orca-2 нь эдгээр аргуудыг ашиглан өндөр үр ашигтай үндэслэлийг бий болгоход ашигладаг бөгөөд LLM-ийн бусад олон параметрүүдтэй харьцуулах боломжтой. Гол санаа нь тухайн загвар нь хурдан хариулт өгөх, эсвэл алхам алхмаар эргэцүүлэн бодох эсэхээс үл хамааран асуудлыг шийдэх хамгийн сайн арга замыг олох боломжийг олгох явдал юм. Майкрософт үүнийг "болгоомжтой үндэслэл" гэж нэрлэдэг.

Orca-2-г сургахын тулд Майкрософт FLAN тэмдэглэгээ, Orca-1, Orca-2 өгөгдлийн багцыг ашиглан сургалтын шинэ мэдээллийн багцыг бүтээдэг. Тэд хялбар асуултуудаар эхэлж, төвөгтэй асуултуудыг нэмж, дараа нь илүү ухаалаг болгохын тулд ярьдаг загваруудын өгөгдлийг ашигладаг.

Orca-2 нь үндэслэл, текстийн бөглөх, үндэслэл, үнэн зөв, аюулгүй байдлыг хамарсан нарийн үнэлгээнд хамрагддаг. Судалгааны үр дүн нь тусгай сургалтаар дамжуулан ТТМ-ийн үндэслэлийг сайжруулах боломжтойг харуулж байна синтетик өгөгдөл. Зарим хязгаарлалтыг үл харгалзан Orca-2 загварууд нь ирээдүйд үндэслэл, хяналт, аюулгүй байдлыг сайжруулах амлалтыг харуулж, сургалтын дараа загварыг сайжруулахад стратегийн хувьд синтетик өгөгдлийг ашиглах нь үр дүнтэй болохыг нотолж байна.

Тогтвортой хиймэл оюун ухаанд чиглэсэн Orca-2-ийн ач холбогдол

Orca-2 нь тогтвортой хиймэл оюун ухаан руу чиглэсэн томоохон үсрэлт болж байгаа бөгөөд зөвхөн том загварууд нь эрчим хүчний их хэрэглээтэй, хиймэл оюун ухааны чадавхийг үнэхээр хөгжүүлж чадна гэсэн ноёрхож буй итгэл үнэмшлийг эсэргүүцэж байна. Энэхүү жижиг хэлний загвар нь өөр хэтийн төлөвийг харуулж байгаа бөгөөд хэлний загварт өндөр амжилтанд хүрэхийн тулд асар их өгөгдлийн багц, өргөн хэмжээний тооцоолох хүчин чадал шаарддаггүй гэдгийг харуулж байна. Үүний оронд ухаалаг дизайн, үр дүнтэй интеграцчлалын ач холбогдлыг онцолж байна.

Энэхүү нээлт нь хиймэл оюун ухааныг зүгээр л томруулахаас эхлээд бид үүнийг хэрхэн зохион бүтээхдээ анхаарлаа төвлөрүүлэх хүртэл анхаарлаа хандуулах замаар шинэ боломжуудыг нээж өгч байна. Энэ нь дэвшилтэт хиймэл оюун ухааныг илүү өргөн хүрээний хэрэглэгчдэд хүртээмжтэй болгох, инновацийг хамарсан, өргөн хүрээний хүмүүс, байгууллагуудад хүрэх чухал алхам болж байна.

Orca-2 нь ирээдүйн хэлний загваруудыг хөгжүүлэхэд чухал нөлөө үзүүлэх чадвартай. холбоотой ажлуудыг сайжруулах эсэх байгалийн хэл боловсруулах эсвэл төрөл бүрийн салбаруудад хиймэл оюун ухааны илүү боловсронгуй хэрэглээг идэвхжүүлснээр эдгээр жижиг загварууд нь мэдэгдэхүйц эерэг өөрчлөлтүүдийг авчрахад бэлэн байна. Түүгээр ч зогсохгүй тэд технологийн дэвшлийг байгаль орчны хариуцлагатай нийцүүлэх, хиймэл оюун ухааны илүү тогтвортой туршлагыг сурталчлах анхдагчдын үүрэг гүйцэтгэдэг.

Доод мөр:

Майкрософт компанийн Orca-2 нь зөвхөн том загварууд хиймэл оюун ухааныг хөгжүүлж чадна гэсэн итгэл үнэмшлийг эсэргүүцэж, тогтвортой хиймэл оюун ухаан руу чиглэсэн шинэ алхамыг илэрхийлж байна. Хэмжээнээс илүү ухаалаг дизайныг урьтал болгосноор Orca-2 шинэ боломжуудыг нээж, хиймэл оюун ухааны дэвшилтэт хөгжилд илүү хүртээмжтэй, байгаль орчинд ээлтэй хандлагыг санал болгож байна. Энэхүү өөрчлөлт нь ухаалаг системийн дизайны шинэ парадигм руу чиглэсэн чухал алхам юм.