Новая система направлена на решение проблемы потребления энергии ИИ

Компьютеры, которые полагаются на искусственный интеллект (ИИ), требуют много энергии, и это требование вычислительной мощности примерно удваивается каждые три-четыре месяца. Когда речь идет о центрах обработки данных в облаке, которые используются приложениями ИИ и машинного обучения, они используют больше электрической мощности в год, чем некоторые небольшие страны. Многие исследователи предупреждают, что эта система неустойчива.

Команда этих исследователей под руководством Университета Вашингтона разработала решение, чтобы помочь решить эту проблему – новое оптическое вычислительное оборудование для ИИ и машинного обучения. Это оборудование быстрее и намного более энергоэффективно, чем традиционная электроника. Оно также помогает решить проблему “шума”, вызванного оптическими вычислениями, который может мешать точности вычислений.

Исследование было опубликовано 21 января в Science Advances.

Использование шума в качестве входных данных

В исследовательской работе команда продемонстрировала, как оптическая вычислительная система для ИИ и машинного обучения может использовать часть шума в качестве входных данных для улучшения творческого вывода искусственной нейронной сети (ИНС) внутри системы.

Чанмин Ву – аспирант Университета Вашингтона по электротехнике и компьютерным наукам и ведущий автор статьи.

“Мы построили оптический компьютер, который быстрее, чем традиционный цифровой компьютер”, – сказал Ву. “И также этот оптический компьютер может создавать новые вещи на основе случайных входных данных, сгенерированных из оптического шума, который большинство исследователей пытались избежать”.

Шум в оптических вычислениях вызван случайными световыми частицами или фотонами. Они производятся лазерами внутри устройства и фоновым тепловым излучением. Чтобы решить проблему шума, команда подключила ядро оптических вычислений к генеративной состязательной сети (ГСС). Затем они протестировали различные методы снижения шума, такие как использование части сгенерированного шума в качестве случайных входных данных для ГСС.

Команда сказала ГСС, чтобы она научилась рукописному написанию цифры “7” как человек, что означало, что она должна была научиться этой задаче, наблюдая за образцами рукописного написания перед практикой снова и снова. Из-за своей формы оптический компьютер должен был генерировать цифровые изображения, имеющие подобный стиль образцов.

Мо Ли – профессор Университета Вашингтона по электротехнике и компьютерным наукам и старший автор статьи.

“Вместо того, чтобы обучать сеть чтению рукописных цифр, мы обучили сеть писать цифры, имитируя визуальные образцы рукописного написания, на которых она была обучена”, – сказал Ли. “Мы, с помощью наших сотрудников по компьютерным наукам в Университете Дьюка, также показали, что ГСС может смягчить негативное влияние шума оптических вычислений, используя алгоритм обучения, устойчивый к ошибкам и шумам. Более того, сеть фактически использует шум в качестве случайного входа, необходимого для генерации экземпляров вывода”.

Когда ГСС продолжала практиковать написание цифры, она развила свой собственный характерный стиль письма. В конечном итоге она смогла написать цифры от 1 до 10 в компьютерных симуляциях.

Строительство устройства большего масштаба

Теперь команда будет работать над созданием устройства большего масштаба с помощью современных технологий производства полупроводников, что улучшит производительность и позволит команде выполнять более сложные задачи.

“Эта оптическая система представляет собой архитектуру компьютерного оборудования, которая может повысить творчество искусственных нейронных сетей, используемых в ИИ и машинном обучении, но что более важно, она демонстрирует жизнеспособность этой системы в крупном масштабе, где шум и ошибки могут быть смягчены и даже использованы”, – сказал Ли. “Применения ИИ растут так быстро, что в будущем их потребление энергии будет неустойчивым. Эта технология имеет потенциал помочь снизить потребление энергии, делая ИИ и машинное обучение экологически устойчивыми – и очень быстрыми, достигая более высокой производительности в целом.