Новые самообучающиеся машины, основанные на физике, могут заменить существующие искусственные нейронные сети и сэкономить энергию.
Искусственный интеллект не только обеспечивает впечатляющую производительность, но и создает значительный спрос на энергию. Чем сложнее задачи, для выполнения которых он обучен, тем больше энергии он потребляет.
Виктор Лопес-Пастор и Флориан Марквардт, двое ученых из Института науки о свете Макса Планка в Эрлангене, Германия, представляют метод, с помощью которого искусственный интеллект можно обучать гораздо эффективнее. Их подход основан на физических процессах , а не на используемых в настоящее время цифровых искусственных нейронных сетях. Работа опубликована в журнале Physical Review X.
Количество энергии, необходимое для обучения GPT-3, что делает ChatGPT красноречивым и, очевидно, хорошо информированным чат-ботом, не было раскрыто Open AI, компанией, создающей этот искусственный интеллект (ИИ). По данным немецкой статистической компании Statista, для этого потребуется 1000 мегаватт-часов — примерно столько, сколько ежегодно потребляют 200 немецких домохозяйств с тремя и более людьми. Хотя эти затраты энергии позволили GPT-3 узнать, будет ли слово «глубина» с большей вероятностью сопровождаться словом «море» или «обучение» в его наборах данных , судя по всему, он не понял основного значения таких слов. фразы.
Нейронные сети на нейроморфных компьютерах
Чтобы снизить энергопотребление компьютеров и особенно приложений искусственного интеллекта, в последние несколько лет несколько исследовательских институтов исследовали совершенно новую концепцию того, как компьютеры могут обрабатывать данные в будущем. Эта концепция известна как нейроморфные вычисления. Хотя это звучит похоже на искусственные нейронные сети, на самом деле это не имеет к ним никакого отношения, поскольку искусственные нейронные сети работают на обычных цифровых компьютерах.
Это означает, что программное обеспечение, или, точнее, алгоритм, моделируется по принципу работы мозга, но в качестве аппаратного обеспечения служат цифровые компьютеры. Они выполняют этапы вычислений нейронной сети последовательно, один за другим, различая процессор и память.
« Передача данных только между этими двумя компонентами потребляет большое количество энергии, когда нейронная сеть обучает сотни миллиардов параметров, то есть синапсы, с объемом данных до одного терабайта», — говорит Марквардт, директор Института науки Макса Планка. Света и профессор Эрлангенского университета.
Человеческий мозг устроен совершенно по-другому и, вероятно, никогда не был бы эволюционно конкурентоспособным, если бы он работал с энергоэффективностью, аналогичной эффективности компьютеров с кремниевыми транзисторами. Скорее всего, он вышел из строя из-за перегрева.
Мозг характеризуется тем, что выполняет многочисленные этапы мыслительного процесса параллельно, а не последовательно. Нервные клетки, или, точнее, синапсы, представляют собой одновременно процессор и память. Различные системы по всему миру рассматриваются как возможные кандидаты на роль нейроморфных аналогов наших нервных клеток , включая фотонные схемы, использующие свет вместо электронов для выполнения вычислений. Их компоненты служат одновременно переключателями и ячейками памяти.
Самообучающаяся физическая машина самостоятельно оптимизирует свои синапсы.
Вместе с Лопесом-Пастором, докторантом Института науки о свете Макса Планка, Марквардт разработал эффективный метод обучения нейроморфных компьютеров. «Мы разработали концепцию самообучающейся физической машины», — объясняет Флориан Марквардт. «Основная идея состоит в том, чтобы провести обучение в форме физического процесса, при котором параметры машины оптимизируются самим процессом».
При обучении обычных искусственных нейронных сетей необходима внешняя обратная связь для корректировки силы многих миллиардов синаптических связей. «Отсутствие такой обратной связи делает обучение намного более эффективным», — говорит Марквардт. Внедрение и обучение искусственного интеллекта на самообучающейся физической машине позволит не только сэкономить энергию, но и время вычислений.
«Наш метод работает независимо от того, какой физический процесс происходит в самообучающейся машине, и нам даже не нужно знать точный процесс», — объясняет Марквардт. «Однако процесс должен удовлетворять нескольким условиям. Самое главное, он должен быть обратимым, то есть иметь возможность двигаться вперед или назад с минимальными потерями энергии».
«Кроме того, физический процесс должен быть нелинейным, то есть достаточно сложным», — говорит Марквардт. Только нелинейные процессы могут выполнять сложные преобразования между входными данными и результатами. Пинбол, катящийся по тарелке, не сталкиваясь с другой, представляет собой линейное действие. Однако если ему мешает другой, ситуация становится нелинейной.
Практический тест на оптическом нейроморфном компьютере
Примеры обратимых нелинейных процессов можно найти в оптике. Действительно, Лопес-Пастор и Марквардт уже сотрудничают с экспериментальной группой, разрабатывающей оптический нейроморфный компьютер. Эта машина обрабатывает информацию в виде наложенных световых волн, при этом подходящие компоненты регулируют тип и силу взаимодействия. Цель исследователей — реализовать на практике концепцию самообучающейся физической машины.
«Мы надеемся, что сможем представить первую самообучающуюся физическую машину за три года», — говорит Флориан Марквардт. К тому времени должны появиться нейронные сети, которые думают, используя гораздо больше синапсов, и обучаются на значительно больших объемах данных, чем сегодня.
Как следствие, вероятно, возникнет еще большее желание реализовать нейронные сети за пределами обычных цифровых компьютеров и заменить их эффективно обученными нейроморфными компьютерами. «Поэтому мы уверены, что самообучающиеся физические машины имеют большие шансы быть использованы в дальнейшем развитии искусственного интеллекта», — говорит физик.
Теги: IT, ИИ, киборг, суперкомпьютер
