Вештачка општа интелигенција
Еволуциониот пејзаж на генеративната вештачка интелигенција: Истражување на мешавина од експерти, мултимодалност и потрага по AGI
Областа на вештачката интелигенција (ВИ) забележа огромен раст во 2023 година. Генеративната вештачка интелигенција, која се фокусира на создавање реални содржини како слики, аудио, видео и текст, беше во првите редови на овие достигнувања. Моделите како DALL-E 3, Stable Diffusion и ChatGPT покажаа нови креативни способности, но исто така предизвикаа загриженост околу етиката, предрасудите и злоупотребата.
Како што генеративната вештачка интелигенција продолжува да се развива со брзо темпо, мешавините на експерти (МО), мултимодалното учење и аспирациите кон вештачката општа интелигенција (AGI) изгледаат подготвени да ги обликуваат следните граници на истражување и апликации. Оваа статија ќе обезбеди сеопфатно истражување за моменталната состојба и идната траекторија на генеративната вештачка интелигенција, анализирајќи како иновациите како Gemini на Google и очекуваните проекти како OpenAI Q* го трансформираат пејзажот. Ќе ги испита импликациите во реалниот свет во здравството, финансиите, образованието и другите домени, додека на површина ќе се појават предизвиците околу квалитетот на истражувањето и усогласеноста на вештачката интелигенција со човечките вредности.
Објавувањето на ChatGPT кон крајот на 2022 година конкретно предизвика возбуда и загриженост околу вештачката интелигенција, од неговата импресивна моќ на природниот јазик до нејзиниот потенцијал да шири дезинформации. Во меѓувреме, новиот модел на Google Gemini демонстрира значително подобрена способност за разговор во однос на претходниците како LaMDA преку напредок како што е вниманието на шилестата и плочата. Проектите за шпекулации како Q* на OpenAI укажуваат на комбинирање на разговорната вештачка интелигенција со учењето за засилување.
Овие иновации сигнализираат промена на приоритетот кон мултимодални, разновидни генеративни модели. Натпреварите, исто така, продолжуваат да се вжештуваат меѓу компании како Google, Meta, Anthropic и Cohere кои се борат да ги поместат границите во одговорниот развој на вештачката интелигенција.
Еволуцијата на истражувањето на вештачката интелигенција
Како што растеа способностите, трендовите и приоритетите на истражувањето исто така се менуваа, често одговарајќи на технолошките пресвртници. Подемот на длабокото учење повторно го разгоре интересот за невронските мрежи, додека обработката на природниот јазик се зголеми со моделите на ниво на ChatGPT. Во меѓувреме, вниманието на етиката и понатаму останува како постојан приоритет во услови на брз напредок.
Складиштата за претходно печатење како arXiv, исто така, забележаа експоненцијален раст на поднесоците за вештачка интелигенција, овозможувајќи побрзо ширење, но намалувајќи го прегледот од колегите и зголемувајќи го ризикот од непроверени грешки или пристрасност. Интеракцијата помеѓу истражувањето и влијанието во реалниот свет останува сложена, што бара повеќе координирани напори за да се насочи напредокот.
Министерството за економија и мултимодални системи - следниот бран на генеративна вештачка интелигенција
За да се овозможи поразноврсна, софистицирана вештачка интелигенција во различни апликации, два пристапа добиваат важност се мешавините на експерти (МО) и мултимодалното учење.
Архитектурите на Министерството за економија комбинираат повеќе специјализирани „експерти“ на невронска мрежа оптимизирани за различни задачи или типови на податоци. Близнаците на Google го користи Министерството за економија за да ги совлада долгите разговорни размени и концизното одговарање на прашања. MoE овозможува ракување со поширок опсег на влезови без големина на модел на балон.
Мултимодалните системи како Gemini на Google поставуваат нови одредници со обработка на различни модалитети надвор од само текст. Сепак, реализацијата на потенцијалот на мултимодалната вештачка интелигенција бара надминување на клучните технички пречки и етички предизвици.
Близнаци: Редефинирање на одредниците во мултимодалноста
Gemini е мултимодална разговорна вештачка интелигенција, дизајнирана да ги разбере врските помеѓу текст, слики, аудио и видео. Нејзината двојна структура на енкодер, вкрстено модално внимание и мултимодално декодирање овозможуваат софистицирано контекстуално разбирање. Се верува дека Близнаците ги надминуваат системите за единечни кодери во поврзувањето на текстуалните концепти со визуелните региони. Со интегрирање на структурирано знаење и специјализирана обука, Gemini ги надминува претходниците како GPT-3 и GPT-4 во:
- Ширината на ракувани модалитети, вклучувајќи аудио и видео
- Изведба на репери како масивно разбирање јазик со повеќе задачи
- Генерирање кодови низ програмските јазици
- Приспособливост преку приспособени верзии како Gemini Ultra и Nano
- Транспарентност преку оправдување за аутпути
Технички пречки во мултимодални системи
Реализацијата на робусната мултимодална вештачка интелигенција бара решавање на проблеми во различноста на податоците, приспособливост, евалуација и интерпретабилност. Неурамнотежените збирки на податоци и недоследностите на прибелешките доведуваат до пристрасност. Обработката на повеќе струи на податоци ги оптоварува пресметковните ресурси, барајќи оптимизирани архитектури на модели. Потребен е напредок во механизмите и алгоритмите за внимание за да се интегрираат контрадикторни мултимодални влезови. Проблемите со приспособливоста постојат поради големите пресметковни трошоци. Рафинирањето на метриката за евалуација преку сеопфатни одредници е од клучно значење. Зголемувањето на довербата на корисниците преку објаснета вештачка интелигенција, исто така, останува од витално значење. Решавањето на овие технички пречки ќе биде клучно за отклучување на можностите на мултимодалната вештачка интелигенција.
Напредните техники за учење, како што се само-надгледуваното учење, мета-учењето и дотерувањето се во првите редови на истражувањето на вештачката интелигенција, зголемувајќи ја автономијата, ефикасноста и разновидноста на моделите со вештачка интелигенција.
Само-надгледувано учење: Автономија во обуката за модели
Само-надгледуваното учење го нагласува автономниот модел на обука со користење на неозначени податоци, со што се намалуваат напорите за рачно етикетирање и предрасудите на моделот. Инкорпорира генеративни модели како автоенкодери и GAN за учење на дистрибуција на податоци и реконструкција на влезот, и користи контрастни методи како SimCLR и MoCo за да се направи разлика помеѓу позитивните и негативните парови на примероци. Стратегиите за само-предвидување, инспирирани од НЛП и подобрени од неодамнешните Vision Transformers, играат значајна улога во само-надгледуваното учење, покажувајќи го својот потенцијал во унапредувањето на способностите за автономна обука на вештачката интелигенција.
Мета-учење
Мета-учењето, или „учење за учење“, се фокусира на опремување на модели со вештачка интелигенција со способност брзо да се приспособат на новите задачи користејќи ограничени примероци на податоци. Оваа техника е критична во ситуации со ограничена достапност на податоци, обезбедувајќи моделите брзо да се приспособат и да извршуваат различни задачи. Истакнува генерализација на неколку снимки, овозможувајќи ВИ да се справи со широк опсег на задачи со минимални податоци, нагласувајќи ја нејзината важност во развојот на разновидни и приспособливи системи за вештачка интелигенција.
Фино подесување: Приспособување на вештачката интелигенција за специфични потреби
Дотерувањето вклучува прилагодување на претходно обучените модели на одредени домени или кориснички преференции. Нејзините два примарни пристапи вклучуваат фино подесување од крај до крај, кое ги прилагодува сите тежини на енкодерот и класификаторот, и фино подесување со екстракција на карактеристики, каде што тежините на енкодерот се замрзнати за надолна класификација. Оваа техника осигурува дека генеративните модели се ефективно приспособени на специфичните потреби на корисниците или барањата на доменот, зголемувајќи ја нивната применливост во различни контексти.
Усогласување на човечката вредност: Усогласување на вештачката интелигенција со етиката
Усогласувањето на човечката вредност се концентрира на усогласување на моделите на вештачка интелигенција со човечката етика и вредности, осигурувајќи дека нивните одлуки ги одразуваат општествените норми и етичките стандарди. Овој аспект е од клучно значење во сценаријата каде што вештачката интелигенција е во тесна интеракција со луѓето, како што се здравствената заштита и личните асистенти, за да се осигура дека системите за вештачка интелигенција донесуваат одлуки кои се етички и општествено одговорни.
Развој на АГИ
AGI се фокусира на развој на вештачка интелигенција со способност за сеопфатно разбирање и сложено расудување, усогласување со човечките когнитивни способности. Оваа долгорочна аспирација континуирано ги поместува границите на истражувањето и развојот на вештачката интелигенција. AGI Safety and Containment ги опфаќа потенцијалните ризици поврзани со напредните системи за вештачка интелигенција, нагласувајќи ја потребата од ригорозни безбедносни протоколи и етичко усогласување со човечките вредности и општествените норми.
Иновативното МЕ
Архитектурата на моделот Mixture of Experts (MoE) претставува значаен напредок во јазичните модели базирани на трансформатори, нудејќи неспоредлива приспособливост и ефикасност. Моделите на Министерството за економија, како што се Switch Transformer и Mixtral, брзо ги редефинираат скалата и перформансите на моделот во различни јазични задачи.
Основен концепт
Моделите на Министерството за економија користат архитектура заснована на скудност со повеќе стручни мрежи и механизам за обучување, оптимизирајќи ги пресметковните ресурси и прилагодувајќи се на сложеноста на задачите. Тие покажуваат значителни предности во брзината на пред-тренинг, но се соочуваат со предизвици во дотерувањето и бараат значителна меморија за заклучување.
MoE моделите се познати по нивната супериорна брзина на пред-тренинг, со иновации како што се DeepSpeed-MoE оптимизирање на заклучокот за да се постигне подобра латентност и економичност. Неодамнешните достигнувања ефикасно се справија со тесно грло во комуникацијата од сите до сите, зголемувајќи ја ефикасноста на обуката и заклучоците.
Составување на градежни блокови за вештачка општа интелигенција
AGI ја претставува хипотетичката можност за совпаѓање или надминување на човечката интелигенција на ВИ во кој било домен. Додека модерната вештачка интелигенција се истакнува во тесните задачи, AGI останува далеку и контроверзна со оглед на неговите потенцијални ризици.
Сепак, зголемениот напредок во областите како што се учењето за пренос, обуката со повеќе задачи, способноста за разговор и апстракцијата е многу поблиску до возвишената визија на AGI. Шпекулативниот Q* проект на OpenAI има за цел да го интегрира учењето за зајакнување во LLM како уште еден чекор напред.
Етичките граници и ризиците од манипулирање со модели со вештачка интелигенција
Џејлбрејковите им овозможуваат на напаѓачите да ги заобиколат етичките граници поставени за време на процесот на дотерување на вештачката интелигенција. Ова резултира со генерирање на штетни содржини како дезинформации, говор на омраза, е-пошта за кражба на идентитет и злонамерен код, што претставува ризик за поединци, организации и општеството во целина. На пример, џеилбрејкуван модел би можел да произведе содржина која промовира расколни наративи или поддржува сајбер-криминални активности. (Дознај повеќе)
Иако сè уште нема пријавени сајбер напади со користење на џеилбрејк, повеќекратните џеилбрејкови со доказ за концепт се лесно достапни на интернет и се продаваат на темната мрежа. Овие алатки обезбедуваат инструкции дизајнирани да манипулираат со модели на вештачка интелигенција како ChatGPT, потенцијално овозможувајќи им на хакерите да протекуваат чувствителни информации преку чет-ботови на компанијата. Ширењето на овие алатки на платформи како форумите за сајбер криминал ја нагласува итноста за справување со оваа закана. (Прочитај повеќе)
Ублажување на ризиците од Jailbreak
За да се спротивставиме на овие закани, неопходен е повеќестран пристап:
- Цврсто фино подесување: Вклучувањето разновидни податоци во процесот на дотерување ја подобрува отпорноста на моделот на противнички манипулации.
- Обука за противници: Обуката со спротивставени примери ја подобрува способноста на моделот да препознае и да се спротивстави на манипулираните влезови.
- Редовна евалуација: Континуираното следење на резултатите помага во откривање на отстапувања од етичките упатства.
- Човечки надзор: Вклучувањето на човечки рецензенти додава дополнителен слој на безбедност.
Закани од вештачка интелигенција: експлоатација на халуцинации
Халуцинацијата со вештачка интелигенција, каде што моделите генерираат излези кои не се втемелени во нивните податоци за обука, може да се вооружат. На пример, напаѓачите манипулираа со ChatGPT за да препорачаат непостоечки пакети, што доведе до ширење на малициозен софтвер. Ова ја нагласува потребата за континуирана будност и силни контрамерки против таквата експлоатација. (Истражувајте понатаму)
Додека етиката за следење на AGI останува преполна, нејзината аспиративна потрага продолжува да влијае на генеративните насоки за истражување на вештачката интелигенција - без разлика дали сегашните модели личат на отскочни камења или заобиколувања на пат кон вештачка интелигенција на ниво на луѓе.
