Спайковые нейронные сети (SNN) охватывают наиболее важные аспекты обработки информации мозгом. Они считаются многообещающим подходом к искусственному интеллекту следующего поколения. Однако самой большой проблемой, ограничивающей разработку SNN, является алгоритм обучения.
Чтобы решить эту проблему, исследовательская группа под руководством профессора Цзэн И из Института автоматизации Китайской академии наук предложила обратное распространение (BP) с биологически правдоподобной пространственно-временной регулировкой для обучения нейронных сетей с глубокими пиками .
Соответствующее исследование было опубликовано в Patterns 2 июня.
Обучение на основе обратного распространения расширило SNN до более сложных сетевых структур и задач. Однако традиционный дизайн BP игнорирует динамические характеристики SNN и не является биологически правдоподобным.
Вдохновленные нейронными механизмами в мозге, исследователи предложили биологически правдоподобную пространственно-временную адаптацию, чтобы заменить традиционный искусственный дизайн.
«После переосмысления взаимосвязи между мембранным потенциалом и спайками мы предложили биологически правдоподобную пространственную настройку градиентов для разных временных шагов. Она точно контролирует обратное распространение ошибки по пространственному измерению», — сказал профессор Цзэн И, корреспондент исследования. .
Чтобы преодолеть проблему временной зависимости традиционных спайковых нейронов в пределах одного периода спайка, исследователи предложили биологически правдоподобную временную корректировку, чтобы ошибка распространялась по спайкам во временном измерении, по словам Шэня Гобиня, первого автора исследования.
Корректировка улучшает производительность SNN и снижает потребление энергии и задержку. По сравнению с другими алгоритмами суррогатного градиента алгоритм, предложенный в этом исследовании, обеспечивает повышение точности на 4,34% и 6,36% при примерно половине энергопотребления на DVS-Gesture и DVS-CIFAR10, типичных наборах данных для последовательной обработки информации во времени.
«Теоретически, по сравнению с искусственными нейронными сетями той же структуры, предлагаемый алгоритм использует только около 3% энергии для достижения конкурентной точности классификации», — сказал доцент Чжао Дунчэн.
Это исследование является частью проекта Cognitive Intelligence Engine, вдохновленного мозгом (BrainCog), инициированного командой профессора Цзэн И, продолжающегося научного исследования инфраструктуры искусственного интеллекта, вдохновленного мозгом.
Теги: ИИ, энергия
