Исследователи используют мемристоры для создания более энергоэффективных нейронных сетей

Одна из менее привлекательных сторон искусственного интеллекта заключается в том, что он часто требует большого количества вычислительной мощности и, следовательно, имеет большой энергетический след. Недавние исследования, проведенные исследователями в Университете колледжа Лондона (UCL), определили метод улучшения энергоэффективности ИИ.

Нейронные сети и машинное обучение – это мощные инструменты, но наиболее впечатляющие достижения искусственного интеллекта обычно имеют большую энергетическую стоимость. Например, когда OpenAI научил роботизированную руку манипулировать кубиком Рубика, было оценено, что это достижение потребовало около 2,8 гигаватт-часов электричества.

Согласно TechExplore, исследователи в UCL разработали новый метод генерации искусственных нейронных сетей. Новый метод использует мемристоры для генерации сети, которые примерно в 1000 раз более энергоэффективны, чем сети, созданные традиционными методами. Мемристоры – это устройства, которые могут вспомнить количество электрического заряда, которое последний раз протекало через них, сохраняя это состояние памяти после того, как они были выключены. Это означает, что они могут запомнить свое состояние даже в случае потери питания. Хотя мемристоры были впервые теоретически описаны около 50 лет назад, только в 2008 году был создан реальный мемристор.

Мемристоры иногда называют “нейроморфными” устройствами или “устройствами, вдохновленными мозгом”. Мемристоры похожи на строительные блоки, которые мозг использует для обработки информации и создания воспоминаний. Они высокоэффективны по сравнению с большинством современных компьютерных систем. Эти устройства мемристора обладают свойствами конденсаторов и резисторов, и за последнее десятилетие или около того они были изготовлены и использованы в различных устройствах памяти. Исследовательские команды UCL надеются, что их исследования помогут использовать эти устройства для создания систем ИИ в течение нескольких лет.

Несмотря на их повышенную энергоэффективность, мемристоры традиционно намного менее эффективны, чем обычные нейронные сети, но исследователи UCL нашли способ увеличить точность мемристора. Исследователи обнаружили, что при использовании многих мемристора они могут быть разделены на несколько подгрупп, а затем их расчеты усреднены. Усреднение расчетов помогает устранить недостатки в подгруппах и найти более актуальные закономерности.

Доктор Аднан Мехоник и аспирант Довидас Йокшас (оба – Электронная и электрическая инженерия UCL) и их соавторы протестировали этот подход усреднения на различных типах мемристора и обнаружили, что эта техника, кажется, улучшает точность во всех протестированных мемристорах, а не только в одном или двух из них. Улучшения точности применяются ко всем группам, которые были протестированы, независимо от типа материала, из которого изготовлен мемристор.

Согласно доктору Мехонику, как цитируется в TechExplore:

“Мы надеялись, что могут быть более общие подходы, которые улучшают не устройство, а поведение системы, и мы считаем, что нашли один. Наш подход показывает, что, когда речь идет о мемристорах, несколько голов лучше, чем одна. Организация нейронной сети в несколько меньших сетей, а не в одну большую сеть, привела к большей точности в целом.”

Исследовательская команда была рада применить компьютерный метод и применить его к мемристорам, а также использовать обычную технику избежания ошибок (усреднение расчетов) для увеличения точности мемристорных нейронных сетей. Соавтор исследования профессор Тони Кеньон из Электронной и электрической инженерии UCL считает, что мемристоры могут “играть ведущую роль” в создании более энергоэффективных устройств краевого вычисления и устройств Интернета вещей.

Мемристоры не только более энергоэффективны, чем традиционные модели нейронных сетей, но также могут быть легко включены в ручное, мобильное устройство. Это, как ожидается, будет иметь все большее значение в ближайшем будущем, поскольку создается и передается все больше данных, даже если трудно увеличить пропускную способность за определенный предел. Мемристоры могут помочь облегчить передачу больших объемов данных при доле энергетической стоимости.