Известно, что биологические синапсы хранят несколько воспоминаний друг над другом в разных временных масштабах, подобно представлениям о ранних методах написания рукописей, известных как « палимпсест », когда аннотации могут накладываться на следы более раннего письма.
Консолидация биологических палимпсестов происходит посредством скрытых биохимических процессов , которые определяют синаптическую эффективность при разной продолжительности жизни. Устройство может облегчить перезапись незанятых воспоминаний, не забывая их, при этом кратковременно используя ранее невидимые воспоминания. Встроенный искусственный интеллект может значительно выиграть от такой функциональности; однако аппаратное обеспечение еще предстоит продемонстрировать на практике.
В новом отчете, опубликованном в журнале Science Advances , Христос Джотис и группа ученых в области электроники и компьютерных наук из Саутгемптонского и Эдинбургского университетов, Великобритания, показали, как внутренние свойства летучих мемристоров на основе оксидов металлов имитируют этот процесс. биологического палимпсеста консолидации.
Мемристоры — это устройства, которые могут регулировать поток электрического тока в цепи, запоминая протекающий по ней заряд. Без выполнения специальных инструкций экспериментальные мемристорные синапсы демонстрировали удвоенную емкость, защищая консолидированную память , поскольку до сотен некоррелированных кратковременных воспоминаний временно перезаписывали ее. Результаты показали, как новые технологии памяти могут эффективно расширить возможности аппаратного обеспечения искусственного интеллекта для концептуализации памяти для обучения.
Биологический интеллект против искусственного интеллекта (ИИ)
Нейронные сети в коре головного мозга используют примерно от 10 13 до 10 14 синапсов для создания ряда когнитивных способностей , их реконструированные аналоги требуют такого же количества обучаемых параметров для гораздо более узких приложений.
Чтобы объяснить эту разницу в способности к обучению между биологическим интеллектом и искусственным интеллектом, исследователи ИИ предполагают, что синапсы могут объединять несколько воспоминаний, которые раскрываются в разных временных масштабах, подобно палимпсесту. В то время как синапсы могут помнить долгосрочные события пластичности, они могут выражать измененные состояния в краткосрочной перспективе. В результате мозг может использовать один и тот же ресурс для целого ряда вычислительных процессов. Эта гибкость может предложить нейроморфному оборудованию важную веху для интеграции ИИ в широкий спектр современных, постоянно обучающихся систем.
Во время экспериментов исследователи ранее разработали синапсы, которые в значительной степени основаны на материалах памяти с фазовым переходом , и мемристоры на основе резистивной памяти с произвольным доступом (RRAM) для реализации метапластичности для настройки скорости обучения искусственных синапсов в нейронных сетях.
Джотис и его команда построили это исследование на основе предыдущей работы, чтобы соединить синаптическую пластичность с автоматической консолидацией и защитой памяти выученных воспоминаний от синаптических модификаций — жизненно важного элемента для эффективного онлайн-обучения. Команда исследовала характеристики изменчивости RRAM , чтобы имитировать скрытые биохимические процессы, способствующие консолидации палимпсеста в биологическом интеллекте. Они реализовали две консолидированные шкалы времени в одном устройстве, чтобы создать технологию, способную защитить сильную память при ее долговременном хранении с уникальными характеристиками, без особых предубеждений или функциональной сложности.
Кандидаты на изменчивые воспоминания для палимпсестной консолидации
Процесс консолидации биологического палимпсеста предполагает, что скрытые переменные, такие как сложные биохимические процессы, могут вызывать изменения синаптической эффективности в разных временных масштабах. Хотя эти процессы еще предстоит отобразить, их фенотипический ответ можно смоделировать с помощью диффузии жидкости . Исследователи использовали диоксид титана .на основе летучих мемристивных устройств для изучения потенциала консолидации палимпсестов и демонстрации процесса на одном мемристивном синапсе. Результаты показали, как искусственный синапс защищает скрытую память, сохраняя при этом гибкость для выражения другой памяти поверх нее, чтобы удвоить объем памяти. Благодаря высокому соотношению летучих и нелетучих изменений пластичности, что является ключевым функциональным параметром системы, продукт является хорошим кандидатом.
Работа с системой памяти
Джотис и его команда построили мемристивную сеть, состоящую из шести синапсов, для усиления или консолидации двух конкурирующих сигналов. Они проиллюстрировали экспериментальную установку, в которой каждый бит воспоминаний был записан в соответствующем мемристивном синапсе, и изучили, как два сигнала памяти взаимодействуют через синапсы. Синапсы прошли через несколько стадий консолидации, и ученые продолжили макроскопически исследовать производительность памяти. Они объяснили все более успешное представление конкретной памяти ее способностью перезаписывать конкурирующую память с влиянием шума как решающего фактора.
Они провели дополнительные эксперименты и симуляции, чтобы количественно определить, как шум влияет на производительность памяти, и результаты показали, что характеристики устройства способствуют консолидации палимпсестов, обеспечивая обратимость состояний кратковременной памяти к состояниям долговременной памяти. Сеть также продемонстрировала способность вспоминать знакомые, чтобы определить, было ли ранее представлено несколько воспоминаний. Они охарактеризовали время жизни кратковременной памяти как период, когда сигнал кратковременной памяти преобладает над долговременной памятью. Работа проливает свет на компромисс между емкостью и точностью воспоминаний, а также на метапластические свойства, реализуемые через синапсы. Исследователи показали, как высокие уровни консолидации защищают долговременную память от сотен поступающих краткосрочных воспоминаний.
Зрительная рабочая память
Команда дополнительно исследовала зрительную память на основе концепций кратковременного внимания и неконтролируемого построения памяти в системе. Во время экспериментов они черпали вдохновение из существующих теорий рабочей памяти , чтобы построить зрительную сеть с краткосрочным вниманием, дополняющим ее возможности памяти. Они также изучали, может ли система определять статистическую значимость без надзора. Когда они сравнили трассировку долговременной памяти с последующими снимками, они отметили, что сеть может автоматически удалять шумы из консолидированных сигналов.
Перспектива
Таким образом, Христос Джотис и его коллеги сосредоточились на бинарных синапсах , которые, как известно, поддерживают обучение в математических моделях и алгоритмах глубокого обучения . Взаимодействие между интенсивной двунаправленной летучестью и небольшими нелетучими остатками способствовало палимпсестным возможностям устройства. Будущие реализации исследования не ограничиваются выбранным материалом технологии диоксида титана и могут быть изучены в соответствии с конкретными потребностями приложения. Установка продемонстрировала переходы от долговременной памяти к кратковременной памяти, а также напоминала механизмы кратковременного внимания с обещанием более сложных алгоритмов ИИ . Двойная временная емкость устройств напоминает бистабильное переключение, известноерегулируют синаптическую пластичность . Команда приравнивает функциональность пластичности ядра к биологическому процессу механизма кальций/кальмодулин-зависимой протеинкиназы II ; механизм первичной биологической молекулярной памяти.
Теги: ИИ
