ИИ научили анализировать эмоции участников онлайн-событий

Российские ученые НИУ ВШЭ разработали новый нейросетевой метод распознавания эмоций людей. Алгоритмы работают на основе анализа видеоизображений лиц и превосходят по точности все известные аналоги. Такие модели также совместимы с мобильными устройствами. Итоги исследования были опубликованы в IEEE Transactions on Affective Computing.

Практическая польза от этой разработки велика: алгоритмы ИИ могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников.

Из-за пандемии COVID-19 разработка по усовершенствованию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning) стала более активной. Технологии искусственного интеллекта могут помочь преподавателям даже дистанционно контролировать вовлеченность учащихся. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования.

Исследователи обучили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее значимых областей лица.

Суть метода не так сложна: сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника.

Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.

Благодаря изобретению, например, можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber.

Ранее группа ученых из Оксфордского университета и подразделения Google под названием DeepMind, занимающегося искусственным интеллектом, опубликовала научную работу, в которой заявила, что одна из разновидностей ИИ — модель GAN — способна в будущем уничтожить человечество.