Человек может поднести руки к лицу, когда ему грустно, или подпрыгнуть в воздух, когда он чувствует себя счастливым. По мнению группы исследователей из Пенсильванского университета, движения человеческого тела передают эмоции, которые играют решающую роль в повседневном общении. Объединив компьютерные технологии, психологию и исполнительское искусство, исследователи разработали аннотированный набор данных о движениях человека, который может улучшить способность искусственного интеллекта распознавать эмоции, выражаемые посредством языка тела.
Работа, возглавляемая Джеймсом Вангом, выдающимся профессором Колледжа информационных систем и технологий (IST), и выполненная в первую очередь Чэньян Ву, аспирантом из группы Ванга, была опубликована 13 октября в печатном издании Patterns и была опубликована 13 октября в печатном издании Patterns . изображен на обложке журнала.
«Люди часто двигаются, используя определенные двигательные модели, чтобы передать эмоции, и эти движения тела несут важную информацию об эмоциях или психическом состоянии человека», — сказал Ван. «Описывая конкретные движения, общие для людей, используя их основные модели, известные как двигательные элементы, мы можем установить связь между этими двигательными элементами и телесно выражаемыми эмоциями».
По словам Ванга, улучшение понимания машинами телесных эмоций может помочь улучшить общение между вспомогательными роботами и детьми или пожилыми пользователями; предоставить психиатрам количественную диагностическую и прогностическую помощь; и повысить безопасность, предотвращая сбои при взаимодействии человека и машины.
«В этой работе мы представили новую парадигму понимания телесно выраженных эмоций, которая включает анализ двигательных элементов», — сказал Ван. «Наш подход использует глубокие нейронные сети — тип искусственного интеллекта — для распознавания двигательных элементов, которые впоследствии используются в качестве промежуточных функций для распознавания эмоций».
Команда создала набор данных о том, как движения тела указывают на эмоции (моторные элементы тела), используя 1600 человеческих видеоклипов. Каждый видеоклип был аннотирован с использованием анализа движения Лабана (LMA) — метода и языка для описания, визуализации, интерпретации и документирования движений человека .
Затем Ву разработал двухветвевую сеть анализа движений с двумя задачами , способную использовать размеченный набор данных для прогнозирования как телесно выраженных эмоций, так и меток LMA для новых изображений или видео.
«Метки элементов Emotion и LMA связаны, и метки LMA легче изучать глубоким нейронным сетям», — сказал Ву.
По словам Ванга, LMA может изучать двигательные элементы и эмоции, одновременно создавая «высокоточный» набор данных, демонстрирующий эффективное изучение движений человека и выражения эмоций.
«Включение функций LMA эффективно улучшило понимание эмоций, выражаемых телом», — сказал Ван. «Обширные эксперименты с использованием реальных видеоданных показали, что наш подход значительно превзошел базовые показатели, которые учитывали только элементарные движения тела, что дает надежду на дальнейшее развитие в будущем».
Теги: ИИ, распознавание
