Технология распознавания речи и языка — это быстро развивающаяся область, которая привела к появлению новых систем речевого диалога, таких как Amazon Alexa и Siri. Важной вехой в развитии диалоговых систем искусственного интеллекта (ИИ) является добавление эмоционального интеллекта. Система, способная распознавать эмоциональные состояния пользователя, в дополнение к пониманию языка, будет генерировать более чуткий ответ, что приведет к более захватывающему опыту для пользователя.
«Мультимодальный анализ настроений» — это группа методов, составляющих золотой стандарт диалоговой системы ИИ с определением настроений. Эти методы могут автоматически анализировать психологическое состояние человека по его речи, цвету голоса, выражению лица и позе и имеют решающее значение для систем искусственного интеллекта, ориентированных на человека. Этот метод потенциально может реализовать эмоционально интеллектуальный ИИ с нечеловеческими способностями, который понимает чувства пользователя и генерирует соответствующий ответ.
Однако современные методы оценки эмоций фокусируются только на наблюдаемой информации и не учитывают информацию, содержащуюся в ненаблюдаемых сигналах, таких как физиологические сигналы. Такие сигналы являются потенциальной золотой жилой эмоций, которые могут значительно повысить эффективность оценки настроений.
В новом исследовании, опубликованном в журнале IEEE Transactions on Affective Computing, физиологические сигналы были впервые добавлены к мультимодальному анализу настроений исследователями из Японии, совместной группой, состоящей из доцента Сёго Окада из Японского передового института науки и технологий (JAIST) и профессора Казунори Коматани из Института научных и промышленных исследований. в Осакском университете. «Люди очень хорошо умеют скрывать свои чувства. Внутреннее эмоциональное состояние пользователя не всегда точно отражается содержанием диалога, но поскольку человеку сложно сознательно контролировать свои биологические сигналы, такие как частота сердечных сокращений, может быть полезно использовать их для оценки их эмоционального состояния. Это может привести к созданию ИИ с возможностями оценки настроений, недоступными человеку», — объясняет доктор Окада.
Команда проанализировала 2468 диалогов с помощью диалогового ИИ, полученных от 26 участников, чтобы оценить уровень удовольствия, которое испытывает пользователь во время разговора. Затем пользователя попросили оценить, насколько приятным или скучным он считает разговор. Команда использовала мультимодальный набор диалоговых данных под названием «Hazumi1911», который уникальным образом сочетал в себе распознавание речи, датчики цвета голоса, определение выражения лица и позы с кожным потенциалом, формой определения физиологической реакции.
«При сравнении всех отдельных источников информации биологическая сигнальная информация оказалась более эффективной, чем голос и мимика. Когда мы объединили языковую информацию с биологической сигнальной информацией для оценки самооценки внутреннего состояния во время разговора с системой, Производительность ИИ стала сравнима с человеческой», — взволнованно комментирует доктор Окада.
Эти результаты показывают, что обнаружение физиологических сигналов у людей, которые обычно остаются скрытыми от нашего взгляда, может проложить путь к высокоэмоционально интеллектуальным диалоговым системам на основе ИИ, обеспечивающим более естественное и приятное взаимодействие человека и машины. Более того, эмоционально интеллектуальные системы искусственного интеллекта могут помочь выявлять и контролировать психические заболевания, ощущая изменения в повседневных эмоциональных состояниях. Они также могут пригодиться в образовании, где ИИ может определить, заинтересован ли учащийся в предмете обсуждения и взволнован ли им, или ему скучно, что приводит к изменениям в стратегии обучения и более эффективным образовательным услугам.
Теги: ИИ, распознавание
