Рост и обрезка стратегии ИИ,似乎 уменьшает потребление энергии ИИ

Человеческий мозг работает по стратегии “рост и обрезка”, изначально начинающейся с огромного количества нейронных связей, а затем обрезая неиспользуемые связи со временем. Недавно команда исследователей ИИ применила этот подход к системам ИИ и обнаружила, что он может существенно уменьшить количество энергии, необходимой для обучения ИИ.

Команда исследователей из Принстонского университета недавно создала новый метод обучения систем искусственного интеллекта. Этот новый метод обучения, кажется, способен соответствовать или превосходить отраслевые стандарты точности, но он может сделать это, потребляя намного меньше вычислительной мощности, и, следовательно, меньше энергии, чем традиционные модели машинного обучения. В течение двух разных статей исследователи Принстона продемонстрировали, как вырастить сеть, добавляя к ней нейроны и связи. Неиспользуемые связи затем обрезались со временем, оставив только наиболее эффективные и эффективные части модели.

Нирадж Джха, профессор электротехники в Принстоне, объяснил Принстонской газете, что модель, разработанная исследователями, работает на “парадигме роста и обрезки”. Джха объяснил, что мозг человека является наиболее сложным на третьем году жизни, и после этого момента мозг начинает обрезать неиспользуемые синаптические связи. В результате полностью развитый мозг может выполнять все чрезвычайно сложные задачи, которые мы делаем каждый день, но он использует примерно половину всех синапсов, которые он имел на пике. Джха и другие исследователи模имировали эту стратегию для улучшения обучения ИИ.

Джха объяснил:

“Наш подход – это то, что мы называем парадигмой роста и обрезки. Это похоже на то, что делает мозг от рождения до трех лет. В третьем году человеческий мозг начинает обрезать связи между клетками мозга. Этот процесс продолжается во взрослом возрасте, так что полностью развитый мозг работает примерно на половине своего синаптического пика. Взрослый мозг специализируется на том, чему мы его обучили. Он не так хорош для общего обучения, как мозг ребенка.”

Благодаря технике роста и обрезки можно сделать равноценные прогнозы о закономерностях в данных, используя только часть вычислительной мощности, которая была ранее необходима. Исследователи стремятся найти методы уменьшения потребления энергии и вычислительной стоимости, поскольку это является ключом к тому, чтобы bringen машинное обучение на небольшие устройства, такие как телефоны и смарт-часы. Уменьшение количества энергии, потребляемой алгоритмами машинного обучения, также может помочь отрасли уменьшить свой углеродный след. Сяолиан Дай, первый автор статей, объяснил, что модели необходимо обучать локально из-за того, что передача в облако требует много энергии.

В течение первого исследования исследователи попытались разработать инструмент создания нейронных сетей, который они могли бы использовать для проектирования нейронных сетей и воссоздания некоторых из наиболее эффективных сетей с нуля. Инструмент назывался NeST (Инструмент синтеза нейронных сетей), и когда он предоставляется с несколькими нейронами и связями, он быстро увеличивается в сложности, добавляя больше нейронов к сети. Как только сеть достигает выбранного эталона, она начинает обрезать себя со временем. Хотя предыдущие модели сетей использовали техники обрезки, метод, разработанный исследователями Принстона, был первым, кто взял сеть и смоделировал стадии развития, переходя от “ребенка” к “молодому человеку” и, наконец, к “взрослому мозгу”.

В течение второй статьи исследователи сотрудничали с командой из Калифорнийского университета в Беркли и Facebook (META ), чтобы улучшить свою технику с помощью инструмента под названием Chameleon. Chameleon может начинаться с желаемого результата, желаемых исходов, и работать назад, чтобы построить правильный тип нейронной сети. Это устраняет большую часть работы по настройке сети вручную, давая инженерам точки начала, которые, вероятно, будут сразу же полезны. Chameleon предсказывает производительность различных архитектур в различных условиях. Объединение Chameleon и фреймворка NeST может помочь исследовательским организациям, которые не имеют тяжелых вычислительных ресурсов, воспользоваться мощью нейронных сетей.