Алгоритм обучения, основанный на мозге, реализует метапластичность в искусственных и импульсных нейронных сетях.
Катастрофическое забывание, врожденная проблема алгоритмов обратного распространения ошибки, является сложной проблемой в исследованиях искусственных и импульсных нейронных сетей (ANN и SNN).
Мозг в некоторой степени решил эту проблему с помощью многомасштабной пластичности. Под действием глобальной регуляции посредством специфических путей нейромодуляторы распределяются по целевым областям мозга , где как синаптическая, так и нейрональная пластичность модулируются нейромодуляторами локально. В частности, нейромодуляторы изменяют способность и свойства нейрональной и синаптической пластичности . Эта модификация известна как метапластичность.
Исследователи под руководством профессора Сюй Бо из Института автоматизации Китайской академии наук и их коллеги предложили новый метод обучения, основанный на мозге (NACA), основанный на пластичности, зависящей от нейронной модуляции, который может помочь смягчить катастрофическое забывание в ANN и SNN. . Исследование было опубликовано в журнале Science Advances 25 августа.
Этот метод основан на структуре сложного пути нейронной модуляции в мозге и опирается на математическую модель пути нейронной модуляции в виде ожидаемого матричного кодирования. После получения стимулирующего сигнала генерируются дофаминовые контролирующие сигналы разной силы, которые в дальнейшем влияют на локальную синаптическую и нейрональную пластичность.
NACA поддерживает использование методов обучения с прямой прямой связью для обучения как ANN, так и SNN. Благодаря поддержке глобальной диффузии дофамина он синхронизируется с входным сигналом и даже распространяет информацию вперед перед входным сигналом. В сочетании с выборочной регулировкой пластичности, зависящей от времени всплеска, NACA демонстрирует значительные преимущества в быстрой конвергенции и смягчении катастрофического забывания.
В двух типичных задачах по распознаванию изображений и речевых образов исследовательская группа оценила точность алгоритма NACA и вычислительные затраты. В тестах с использованием стандартных наборов данных классификации изображений (MNIST) и распознавания речи (TIDigits) NACA достигла более высокой точности классификации (приблизительно 1,92%) и меньшего энергопотребления на обучение (приблизительно 98%).
Более того, исследовательская группа сосредоточилась на проверке способности NACA к непрерывному обучению в классе и расширила нейронную модуляцию до диапазона пластичности нейронов.
В пяти основных задачах непрерывного обучения из разных категорий (включая непрерывные рукописные числа MNIST, непрерывные рукописные буквы алфавита, непрерывные рукописные математические символы MathGreek, непрерывные естественные изображения Cifar-10 и непрерывные динамические жесты DvsGesture) NACA показало более низкое энергопотребление по сравнению с обратным распространением ошибки . и алгоритмы эластичной консолидации веса и могут значительно смягчить катастрофические проблемы забывания.
«NACA — это биологически правдоподобный алгоритм глобальной оптимизации, который использует макроскопическую пластичность для дальнейшего «модулирования» локальной пластичности, что можно рассматривать как метод «пластичности пластичности» с интуитивной функциональной согласованностью с методами «обучение обучению» и «метаобучение»», — сказал профессор Сюй.
Теги: IT, ИИ
