Новая задача для разработчиков - VR-игры с голосовым управлением

В Институте информационных технологий и интеллектуальных систем прошла III Всероссийская конференция разработчиков видеоигр «Homo Ludens» («Человек играющий»). Она объединила профессиональное сообщество для обсуждения ключевых вопросов создания и развития игровых проектов – от технологий и организации разработки до методологии и качества решений.

Магистрант 2 курса ИТИС Ксения Васильева подготовила доклад на тему “Разработка инструментария для создания голосовых интерфейсов в VR-играх”. Она считает, что голосовые интерфейсы становятся ключевым элементом иммерсивных VR-приложений. А исследования показывают, что использование естественного языка снижает порог вхождения и повышает удобство взаимодействия с игровым миром.

«Особенно это актуально для сценариев, где традиционное управление с помощью контроллеров недоступно — например, при ограниченной подвижности или занятости рук. В таких случаях голос становится универсальным инструментом для управления.» - отмечает Ксения Васильева.  

Существует множество VR-игр с поддержкой голосового управления. Но главными проблемами остаются - задержки распознавания речи, шаблонность формулировок голосовых команд, неточность в распознавании фразы и отсутствие контекстного понимания. Ксения Васильева взялась решить эти задачи. Для этого измерялись интервалы времени между произнесением фразы и получением результата, было создано пользовательское окно с функционалом для настройки голосовых команд, реализован поиск команды по распознанной фразе и др.

«Каждый человек формулирует свои мысли по-разному, соответственно, трудно предугадать, какая точная формулировка голосовой команды будет использована.» - уточнила Ксения.

Решение данной проблемы магистрант ИТИС видит в конфигурации как можно большего числа фраз. На данный момент остается еще несколько недостатков существующих методов внедрения голоса игрока, которые необходимо «обойти», чтобы разработать инструментарий внутри платформы Unity, упрощающего для разработчиков интеграцию функции голосового управления в игры.

Такой метод поможет не только в играх, говорят исследователи, но в различных обучающих симуляторах в различных областях, так называемых «серьезных играх»*. А VR-обучение применяется даже в медицине. Так, например, один из участников конференции поделился опытом и результатами исследований по обучающим тренажёрам, применяемым в преподавании и практической подготовке в медицинском образовании.

Также магистранты, аспиранты кафедры Индурстрии разработки видеоигр (зав.кафедры, к.т.н. Влада Кугуракова) и приглашенные гости рассказали об оценке перспективности гибридного моделирования визуального восприятия игровых агентов и использованием отрисовки текстур, алгоритмах динамического ценообразования видеоигр, методике обнаружения и анализа аномальных всплесков интереса к видеоиграм, новой компетенции пользователей в играх с открытым миром (сторителлинг), разработке современного, иммерсивного VR-тренажера для обучения ПДД и др.

*Серьёзные игры (Serious Games) — это особая категория цифровых игр. Они создаются не для развлечения, а решения конкретных задач из реальной жизни, а также обучения или развития навыков. К ним можно отнести симуляторы, разработанные в образовательных целях.