Исследователи используют мемристоры для создания более энергоэффективных нейронных сетей

Одним из менее привлекательных аспектов искусственного интеллекта является то, что он часто требует большой вычислительной мощности и, следовательно, имеет большой энергетический след. Недавняя работа, проделанная исследователями UCL, определила метод повышения энергоэффективности ИИ.

Нейронные сети и машинное обучение — мощные инструменты, но самые впечатляющие достижения искусственного интеллекта обычно связаны с большими затратами энергии. Например, когда OpenAI научила роботизированную руку манипулировать кубиком Рубика, было подсчитано, что этот подвиг потребовалось около 2.8 гигаватт-часов электроэнергии.

По данным TechExploreИсследователи из UCL разработали новый метод создания искусственных нейронных сетей. В новом методе для создания сети используются мемристоры, которые примерно в 1000 раз более энергоэффективны, чем сети, созданные традиционными подходами. Мемристоры Это устройства, которые могут вспомнить количество электрического заряда, прошедшего через них в последний раз, сохраняя это состояние памяти после того, как они были отключены. Это означает, что они могут запомнить свое состояние, даже если устройство отключится. Хотя теория о мемристорах была впервые предложена около 50 лет назад, настоящий мемристор был создан только в 2008 году.

Мемристоры иногда называют «нейроморфными» вычислительными устройствами или «мозговыми» устройствами. Мемристоры похожи на строительные блоки, которые мозг использует для обработки информации и создания воспоминаний. Они очень эффективны по сравнению с большинством современных компьютерных систем. Эти мемристорные устройства обладают элементами конденсаторов и резисторов, и за последнее десятилетие или около того они были произведены и использованы в различных запоминающих устройствах. Исследовательская группа UCL надеется, что их исследования помогут использовать эти устройства для создания систем искусственного интеллекта в течение нескольких лет.

Несмотря на повышенную энергоэффективность, мемристоры традиционно гораздо менее эффективны, чем обычные нейронные сети, но исследователи UCL нашли способ повысить точность мемристоров. Исследователи обнаружили, что при использовании многих мемристоров их можно разделить на несколько подгрупп, а затем их вычисления усреднить. Усреднение вычислений помогает недостаткам в подгруппах компенсировать друг друга и обнаруживать более релевантные закономерности.

Доктор Аднан Мехоник и доктор философии. студент Довидас Йоксас (UCL Electronics и Electrical Engineering) и их соавторы протестировали этот подход к усреднению для различных типов мемристоров и обнаружили, что этот метод, по-видимому, повышает точность для всех протестированных мемристоров, а не только для одного или двух из них. Повышение точности применялось ко всем протестированным группам, независимо от типа материала, из которого был изготовлен мемристор.

По словам доктора Мехоника, как цитирует TechExplore:

«Мы надеялись, что могут быть более общие подходы, улучшающие поведение не на уровне устройства, а на уровне системы, и мы считаем, что нашли один из них. Наш подход показывает, что когда речь идет о мемристорах, несколько головок лучше, чем одна. Организация нейронной сети в несколько меньших сетей, а не в одну большую сеть, привела к большей точности в целом».

Исследовательская группа была взволнована тем, что взяла технику информатики и применила ее к мемристорам, а также использовала распространенную технику предотвращения ошибок (вычисления усреднения) для повышения точности мемристивных нейронных сетей. Соавтор исследования профессор Тони Кеньон из UCL Electronic & Electrical Engineering считает, что мемристоры могут «сыграть ведущую роль» в создании более энергоэффективных периферийных вычислительных устройств и устройств IoT.

Мемристоры не только более энергоэффективны, чем традиционные модели нейронных сетей, но и могут быть легко включены в портативное мобильное устройство. Прогнозируется, что в ближайшем будущем это будет иметь все большее значение, поскольку постоянно создается и передается все больше данных, даже несмотря на то, что трудно увеличить пропускную способность сверх определенной точки. Мемристоры могут помочь обеспечить передачу больших объемов данных с минимальными затратами энергии.