Connect with us

Hi, what are you looking for?

Наука и технологии

Движения человеческого тела могут обеспечить автоматическое распознавание эмоций

Движения человеческого тела могут обеспечить автоматическое распознавание эмоций
Движения человеческого тела могут обеспечить автоматическое распознавание эмоций

Человек может поднести руки к лицу, когда ему грустно, или подпрыгнуть в воздух, когда он чувствует себя счастливым. По мнению группы исследователей из Пенсильванского университета, движения человеческого тела передают эмоции, которые играют решающую роль в повседневном общении. Объединив компьютерные технологии, психологию и исполнительское искусство, исследователи разработали аннотированный набор данных о движениях человека, который может улучшить способность искусственного интеллекта распознавать эмоции, выражаемые посредством языка тела.

Работа, возглавляемая Джеймсом Вангом, выдающимся профессором Колледжа информационных систем и технологий (IST), и выполненная в первую очередь Чэньян Ву, аспирантом из группы Ванга, была опубликована 13 октября в печатном издании Patterns и была опубликована 13 октября в печатном издании Patterns . изображен на обложке журнала.

«Люди часто двигаются, используя определенные двигательные модели, чтобы передать эмоции, и эти движения тела несут важную информацию об эмоциях или психическом состоянии человека», — сказал Ван. «Описывая конкретные движения, общие для людей, используя их основные модели, известные как двигательные элементы, мы можем установить связь между этими двигательными элементами и телесно выражаемыми эмоциями».

По словам Ванга, улучшение понимания машинами телесных эмоций может помочь улучшить общение между вспомогательными роботами и детьми или пожилыми пользователями; предоставить психиатрам количественную диагностическую и прогностическую помощь; и повысить безопасность, предотвращая сбои при взаимодействии человека и машины.

«В этой работе мы представили новую парадигму понимания телесно выраженных эмоций, которая включает анализ двигательных элементов», — сказал Ван. «Наш подход использует глубокие нейронные сети — тип искусственного интеллекта — для распознавания двигательных элементов, которые впоследствии используются в качестве промежуточных функций для распознавания эмоций».

Команда создала набор данных о том, как движения тела указывают на эмоции (моторные элементы тела), используя 1600 человеческих видеоклипов. Каждый видеоклип был аннотирован с использованием анализа движения Лабана (LMA) — метода и языка для описания, визуализации, интерпретации и документирования движений человека .

Затем Ву разработал двухветвевую сеть анализа движений с двумя задачами , способную использовать размеченный набор данных для прогнозирования как телесно выраженных эмоций, так и меток LMA для новых изображений или видео.

«Метки элементов Emotion и LMA связаны, и метки LMA легче изучать глубоким нейронным сетям», — сказал Ву.

По словам Ванга, LMA может изучать двигательные элементы и эмоции, одновременно создавая «высокоточный» набор данных, демонстрирующий эффективное изучение движений человека и выражения эмоций.

«Включение функций LMA эффективно улучшило понимание эмоций, выражаемых телом», — сказал Ван. «Обширные эксперименты с использованием реальных видеоданных показали, что наш подход значительно превзошел базовые показатели, которые учитывали только элементарные движения тела, что дает надежду на дальнейшее развитие в будущем».

Теги: ИИ, распознавание

В тренде