Современные системы умеют распознавать отдельные эмоциональные сигналы пользователя, но чаще всего рассматривают их как изолированные признаки, не учитывая взаимность эмоционального обмена, возникающую в реальном диалоге. Предложенная архитектура позволяет формировать более согласованные эмоциональные реакции системы с учётом контекста.
➡️ Фреймворк объединяет текстовые, аудио- и визуальные данные для оценки эмоционального состояния участников и генерации ответов. Это даёт возможность исследовать, как эмоции влияют на принятие решений в динамике общения.
«Мультимодальный подход позволяет объединять различные источники информации — текст, голос и визуальные сигналы — для более точной интерпретации эмоционального состояния пользователя и генерации согласованных ответов системы», — отметил Владислав Педашенко, младший научный сотрудник Центра искусственного интеллекта МГУ.
Платформа уже используется для экспериментов в игровых сценариях теории игр, где анализируется влияние эмоционального контекста на доверие, кооперацию и стратегическое поведение. Фреймворк поддерживает три типа взаимодействия: человек–человек, человек–алгоритм и алгоритм–алгоритм.
Результаты исследования представлены на международной конференции ACM Multimedia (ACM MM) в Дублине. Работа выполнена совместно с Институтом искусственного интеллекта (AIRI) и Центром практического ИИ Сбербанка (Sber AI Lab).
#ИНТЦ_МГУ_информация
🎓ИНТЦ МГУ Воробьевы горы