Connect with us

Hi, what are you looking for?

Наука и технологии

Как мозг принимает решения, основанные на вознаграждении

Как мозг принимает решения, основанные на вознаграждении

Как и у многих коллекционеров пластинок, у зятя Джеймса Фицджеральда есть любимый магазин, где он постоянно находит лучшие винилы для своей коллекции. Но бывают случаи, когда он часами проводит в магазине и приходит пустым. Он также знает, что время от времени ему следует отправиться в музыкальный магазин на другом конце города, где он иногда находит редко встречающийся драгоценный камень, который был в наличии со времени его последнего визита.

Зять Фицджеральда делает расчет: взвешивает вероятные результаты, чтобы определить свое поведение. Его любимый магазин пластинок награждает его чаще, поэтому он посещает его чаще всего. Магазин второго уровня вряд ли вознаградит его, поэтому он посещает его лишь изредка.

Гленн Тернер, который, как и Фицджеральд, является нейробиологом и руководителем группы в исследовательском кампусе Джанелия при HHMI, говорит, что эта привычка «рекордного поиска пищи» является прекрасным примером типа поведения, называемого соответствием, который широко распространен в животном мире . Вместо винила животные, не относящиеся к хипстерам, такие как мыши и мухи, добывают пищу, используя сенсорные сигналы, такие как запахи, для оценки качества еды на расстоянии.

Но хотя совпадение наблюдалось у всех — от голубей до мышей и людей, было неясно, как мозг осуществляет такое принятие решений на основе ценностей. Ранее исследователи предлагали теорию того, как это может произойти, но эта идея не была проверена в реальном мире.

Теперь команда исследователей Джанелии, в которую входят Фицджеральд, Тернер, аспирант Джанелии Адитья Раджагопалан, бывший научный сотрудник Джанелии Ран Даршан и специалист по исследованиям Карен Хиббард, подтвердили, что предложенная теория работает . Эксперименты Раджагопалана показали, что, как и зять Фицджеральда, плодовые мушки могут принимать решения, основываясь на своих ожиданиях относительно вероятности получения награды. Команда также определила участок в мозгу мухи, где производятся эти корректировки значений, что позволило им напрямую проверить эту теорию на уровне нейронных цепей.

«Мы обнаружили, что мухи используют ожидания, чтобы придать ценность своему миру», — говорит Тернер. «Это также очень хорошо связано с этой теоретической работой, которая была такой элегантной и объясняет это широко распространенное явление».

Выяснение того, как мозг мухи осуществляет такое повсеместное поведение, может помочь ученым лучше понять, как подобное принятие решений происходит в мозгу более крупных животных, включая человека. Принятие решений нарушается при таких заболеваниях, как зависимость, поэтому, по мнению исследователей, понимание того, как этот процесс работает в более простом мозге, имеет большое значение.

«Те идеи и теоретическая основа , которые мы определили в этой статье, кажутся семенами для эволюции, которые можно будет развивать в более крупных организмах, где добавляется больше слоев, чтобы обеспечить более сложное поведение», — говорит Раджагопалан, первый автор исследования. новый документ с описанием работы.

Исследование соответствующего поведения

Плодовые мухи, чей мозг хорошо изучен и нанесен на карту, оказались привлекательным выбором для изучения сопоставления и лежащих в его основе механизмов. Но сначала команде пришлось разработать способ наблюдения за решениями, принимаемыми дрозофилами.

Раджагопалан, пришедший в лабораторию Тернера по совместной аспирантуре с Университетом Джонса Хопкинса, возглавил проект. Он разработал эксперимент, в котором одна муха проникает в одно плечо симметричной Y-образной арены. Запахи перекачиваются в два других плеча Y. Муха выбирает следовать тому или иному запаху и получает вознаграждение — в данном случае активацией нейронов, чувствительных к сахару, — но с разной вероятностью: один запах может превратиться в вознаграждение. В 80 процентах случаев, тогда как другой запах может принести награду в 20 процентах случаев.

Исследователи обнаружили, что муха научилась ожидать вознаграждений в тех же пропорциях, в которых они были представлены, а затем сделала свой выбор, основываясь на этих ожиданиях. Эти действия дали название соответствующему поведению: в 80 процентах случаев муха выбирала запах, который дает 80 процентов вознаграждения. И в 20 процентах случаев он выбирал запах, который приносит 20 процентов вознаграждения.

Команда отследила поведение конкретных синапсов в теле гриба — области мозга мухи , ответственной за обучение и память. Это позволило им создать модель того, как мозг осуществляет такое поведение, на основе теории сопоставления.

В этой теории ценности, связанные с различными вариантами выбора, усваиваются посредством изменения силы синапсов: синаптические связи усиливаются или ослабляются пропорционально разнице между ожидаемым и полученным вознаграждением. Модель команды, основанная на этой теории, и поведение мухи позволили им продемонстрировать, как изменяются отдельные синапсы, чтобы обеспечить принятие решений на основе ценностей.

Новая работа подчеркивает важную взаимосвязь между экспериментом и теорией, сводящуюся к описанию правил, управляющих обучением животных – результат, который, по словам исследователей, удовлетворяет как на концептуальном, так и на механистическом уровне.

«Возможность увидеть, что вы можете получить эти сложные экономические решения с помощью этого простого механистического объяснения того, как изменяются синапсы, является прекрасной иллюстрацией того, что может означать механистическая когнитивная нейробиология», — говорит Фицджеральд. «Мы берем это универсальное свойство и используем сильные стороны этих маленьких животных, чтобы по-настоящему реализовать его механистически».

Как мозг принимает решения, основанные на вознаграждении

В тренде