Почему модель ИИ Orca-2 от Microsoft представляет собой значительный шаг в направлении устойчивого ИИ?

Несмотря на заметные достижения, которых достигли искусственный интеллект в последнее десятилетие, включая победы над человеческими чемпионами в стратегических играх, таких как шахматы и Го, и предсказание трехмерной структуры белков, широкое внедрение больших языковых моделей (LLM) означает сдвиг парадигмы. Эти модели, которые готовы преобразовать взаимодействие между человеком и компьютером, стали незаменимыми в различных секторах, включая образование, обслуживание клиентов, поиск информации, разработку программного обеспечения, средства массовой информации и здравоохранение. Хотя эти технологические достижения открывают научные прорывы и стимулируют промышленный рост, существенный недостаток для планеты существует.

Процесс обучения и использования LLM потребляет огромное количество энергии, что приводит к значительному воздействию на окружающую среду, характеризующемуся увеличением выбросов углекислого газа и парниковых газов. Недавнее исследование Колледжа информатики и компьютерных наук Университета Массачусета в Амхерсте показало, что обучение LLM может привести к выбросу более 626 000 фунтов углекислого газа, что примерно эквивалентно выбросам пяти автомобилей за их整个 срок службы. Стартап Hugging Face, занимающийся ИИ, обнаружил, что обучение BLOOM, большой языковой модели, запущенной ранее в этом году, привело к 25 метрическим тоннам выбросов углекислого газа. Аналогично, модель ИИ Facebook Meena накапливает выбросы углекислого газа, эквивалентные воздействию на окружающую среду от вождения автомобиля более 240 000 миль в течение процесса обучения.

Несмотря на обучение LLM, спрос на облачные вычисления, которые необходимы для LLM, теперь способствует большим выбросам парниковых газов, чем вся авиационная промышленность. Один центр обработки данных может потреблять столько же энергии, сколько 50 000 домов. Другое исследование подчеркивает, что обучение одной большой языковой модели может привести к выбросу столько же углекислого газа, сколько пять автомобилей за весь срок службы. Прогнозы предполагают, что выбросы ИИ увеличатся на 300% к 2025 году, подчеркивая необходимость балансирования прогресса ИИ с ответственностью за окружающую среду и стимулирования инициатив по повышению экологичности ИИ. Для решения проблемы негативного воздействия на окружающую среду достижений ИИ появляется область устойчивого ИИ.

Устойчивый ИИ

Устойчивый ИИ представляет собой сдвиг парадигмы в разработке и развертывании систем искусственного интеллекта, фокусирующийся на минимизации воздействия на окружающую среду, этических соображениях и долгосрочных социальных выгодах. Этот подход направлен на создание интеллектуальных систем, которые являются энергоэффективными, экологически ответственными и соответствуют человеческим ценностям. Устойчивый ИИ фокусируется на использовании чистой энергии для компьютеров, умных алгоритмов, которые используют меньше энергии, и соблюдении этических руководств, чтобы обеспечить справедливые и прозрачные решения. Важно отметить, что существует разница между ИИ для устойчивости и устойчивым ИИ; первое может включать использование ИИ для оптимизации существующих процессов без учета их воздействия на окружающую среду или социальных последствий, тогда как второе активно интегрирует принципы устойчивости на каждом этапе разработки ИИ, от проектирования до развертывания, чтобы создать положительное и долгосрочное воздействие на планету и общество.

От LLM к малым языковым моделям (SLM)

В стремлении к устойчивому ИИ Microsoft (MSFT ) работает над разработкой малых языковых моделей (SLM), чтобы соответствовать возможностям больших языковых моделей (LLM). В этом усилии они недавно представили Orca-2, предназначенную для рассуждений, как GPT-4. В отличие от своего предшественника, Orca-1, которая имеет 13 миллиардов параметров, Orca-2 содержит 7 миллиардов параметров, используя два ключевых метода.

1. Настройка инструкций: Orca-2 улучшается за счет обучения на примерах, повышения качества контента, нулевых возможностей и навыков рассуждения при выполнении различных задач.
2. Настройка объяснений: Признавая ограничения настройки инструкций, Orca-2 вводит настройку объяснений. Это включает создание подробных объяснений для моделей учителей, обогащение сигналов рассуждения и улучшение общего понимания.

Orca-2 использует эти методы для достижения высокоэффективных рассуждений, сравнимых с теми, которые достигаются LLM с многими более параметрами. Основная идея заключается в том, чтобы позволить модели выяснить лучший способ решения проблемы, будь то быстрый ответ или тщательное рассмотрение. Microsoft называет это “Осторожным рассуждением”.

Для обучения Orca-2 Microsoft создает новый набор обучающих данных, используя аннотации FLAN, Orca-1 и набор данных Orca-2. Они начинают с простых вопросов, добавляют некоторые сложные, а затем используют данные от моделей разговора, чтобы сделать ее еще умнее.

Orca-2 проходит тщательную оценку, охватывающую рассуждения, завершение текста, основу, истинность и безопасность. Результаты показывают потенциал улучшения рассуждений SLM посредством специализированного обучения на синтетических данных. Несмотря на некоторые ограничения, модели Orca-2 показывают перспективы для будущих улучшений рассуждений, контроля и безопасности, доказывая эффективность применения синтетических данных в усовершенствовании модели после обучения.

Значимость Orca-2 для устойчивого ИИ

Orca-2 представляет собой значительный шаг в направлении устойчивого ИИ, бросая вызов преобладающему мнению о том, что только более крупные модели, с их значительным энергопотреблением, могут действительно продвигать возможности ИИ. Эта малая языковая модель представляет собой альтернативную точку зрения, предполагая, что достижение совершенства в языковых моделях не обязательно требует огромных наборов данных и обширных вычислительных мощностей. Вместо этого она подчеркивает важность умного проектирования и эффективной интеграции.

Этот прорыв открывает новые возможности, выступая за сдвиг фокуса – от простого увеличения ИИ к концентрации на том, как мы его проектируем. Это знаменует собой важный шаг в том, чтобы сделать передовой ИИ более доступным для более широкой аудитории, гарантируя, что инновации являются инклюзивными и достигают более широкого круга людей и организаций.

Orca-2 имеет потенциал существенно повлиять на разработку будущих языковых моделей. Будь то улучшение задач, связанных с обработкой естественного языка, или обеспечение более сложных приложений ИИ в различных отраслях, эти более мелкие модели готовы принести значительные положительные изменения. Кроме того, они выступают в качестве пионеров в продвижении более устойчивых практик ИИ, соответствующих технологическому прогрессу с приверженностью к экологической ответственности.

Итог:

Модель ИИ Orca-2 от Microsoft представляет собой прорывной шаг в направлении устойчивого ИИ, бросая вызов мнению о том, что только более крупные модели могут продвигать ИИ. Отдавая приоритет умному проектированию над размером, Orca-2 открывает новые возможности, предлагая более инклюзивный и экологически ответственный подход к разработке передового ИИ. Этот сдвиг знаменует собой значительный шаг в сторону новой парадигмы в проектировании интеллектуальных систем.