Исследователи используют мемристоры для создания более энергоэффективных нейронных сетей

Одним из менее гламурных аспектов искусственного интеллекта является то, что он часто требует большого количества вычислительной мощности и, следовательно, имеет большой энергетический след. Недавние исследования, проведенные исследователями в Университете колледжа Лондона, определили метод улучшения энергоэффективности ИИ.

Нейронные сети и машинное обучение – это мощные инструменты, но наиболее впечатляющие достижения искусственного интеллекта обычно имеют большую энергетическую стоимость. Например, когда OpenAI научила роботизированную руку манипулировать кубиком Рубика, было оценено, что это достижение потребовало около 2,8 гигаватт-часов электричества.

Согласно TechExplore, исследователи в Университете колледжа Лондона разработали новый метод генерации искусственных нейронных сетей. Новый метод использует мемристоры для генерации сети, которые примерно в 1000 раз более энергоэффективны, чем сети, созданные традиционными методами. Мемристоры – это устройства, которые могут вспомнить количество электрического заряда, которое последний раз протекало через них, сохраняя это состояние памяти после отключения питания. Это означает, что они могут запомнить свое состояние даже если устройство потеряет питание. Хотя мемристоры были впервые теоретически описаны около 50 лет назад, только в 2008 году был создан реальный мемристор.

Мемристоры иногда называют “нейроморфными” устройствами или “устройствами, вдохновленными мозгом”. Мемристоры похожи на строительные блоки, которые использует мозг для обработки информации и создания воспоминаний. Они очень эффективны по сравнению с большинством современных компьютерных систем. Эти устройства мемристоров обладают свойствами конденсаторов и резисторов, и за последнее десятилетие они были изготовлены и использованы в различных устройствах памяти. Исследовательские команды Университета колледжа Лондона надеются, что их исследования помогут использовать эти устройства для создания систем ИИ в течение нескольких лет.

Несмотря на свою повышенную энергоэффективность, мемристоры традиционно гораздо менее эффективны, чем обычные нейронные сети, но исследователи Университета колледжа Лондона нашли способ увеличить точность мемристоров. Исследователи обнаружили, что при использовании многих мемристоров их можно разделить на несколько подгрупп, а затем их расчеты усреднить. Усреднение расчетов помогает устранить ошибки в подгруппах и найти более актуальные закономерности.

Доктор Аднан Мехоник и аспирант Довидас Йокшас (оба – Электротехнический и электронный факультет Университета колледжа Лондона) и их соавторы протестировали этот подход усреднения на различных типах мемристоров и обнаружили, что метод, кажется, улучшает точность во всех протестированных мемристорах, а не только в одном или двух из них. Улучшения точности применяются ко всем группам, которые были протестированы, независимо от материала, из которого был изготовлен мемристор.

Согласно доктору Мехонику, как цитируется в TechExplore:

“Мы надеялись, что может быть более общий подход, который улучшит не поведение устройства, а поведение системы, и мы считаем, что нашли его. Наш подход показывает, что когда речь идет о мемристорах, несколько голов лучше, чем одна. Организация нейронной сети в несколько меньших сетей вместо одной большой сети привела к большей точности в целом.”

Исследовательская команда была рада применить компьютерный метод к мемристорам, используя также обычный метод избежания ошибок (усреднение расчетов) для увеличения точности мемристорных нейронных сетей. Соавтор исследования, профессор Тони Кеньон из Электротехнического и электронного факультета Университета колледжа Лондона, считает, что мемристоры могут “играть ведущую роль” в создании более энергоэффективных устройств для краевой вычислительной техники и Интернета вещей.

Мемристоры не только более энергоэффективны, чем традиционные модели нейронных сетей, но также могут быть легко включены в ручное, мобильное устройство. Это, как ожидается, будет иметь все большее значение в ближайшем будущем, поскольку создается и передается все больше данных, даже если трудно увеличить пропускную способность за определенный предел. Мемристоры могут помочь облегчить передачу больших объемов данных при доле энергетической стоимости.