Исследователи лаборатории естественного языка НИУ ВШЭ вместе со специалистами Санкт-Петербургского федерального исследовательского центра РАН и Центра практического ИИ Сбербанка создали нейросеть, которая одновременно определяет эмоциональное состояние человека, оценивает воспринимаемые особенности его личности и обнаруживает неуверенное либо противоречивое поведение.
Как сообщили в петербургской пресс-службе НИУ ВШЭ, искусственный интеллект получает сведения сразу из нескольких источников. Модель изучает видеозапись, голос и смысл произносимых фраз, а также автоматически сформированное описание мимики, направления взгляда, положения тела и жестов. Благодаря комплексному анализу система способна распознавать эмоции, определять воспринимаемые личностные характеристики и фиксировать проявления амбивалентности.
Доцент Школы информатики, физики и технологий НИУ ВШЭ — Санкт-Петербург Дмитрий Рюмин рассказал, что обучение нейросети проводилось на вузовском суперкомпьютере «Харизма». Для решения трех поставленных задач применялись отдельные наборы данных, каждый из которых имел собственную систему разметки.