В фантастических фильмах можно увидеть андроидов, способных понимать человеческую речь так, как это делают обычные люди. Кроме того, умные механизмы также умеют воспроизводить мимику и эмоции. Российские программисты рассказали о технологии будущего, интегрирующей цифровые изображения с мимикой и эмоциями обычных людей и позволяющей создать виртуальные «говорящие головы».
Новая технология разрабатывается российскими специалистами. Она основана на двух алгоритмах. Первый — переводит текстовую информацию в речь. Сама идея уже не нова и активно используется в разных операционных системах и приложениях, позволяя тем самым людям с проблемами со зрением воспринимать информацию на слух.
Вторая технология основана на 3D-проекции лица на основе звукового сигнала. Для этой цели необходима нейросеть, переводящая аудиоинформацию в звуковой сигнал, подкрепляя его понятной зрителю мимикой и копируя модель общения, принятую у людей. Как сообщается, последовательность кадров динамической текстуры лицевой маски 3D-проекции будет определяться на основе последовательности изображений частотного спектра аудиофайла.
Круг использования новой разработки действительно широк. Это могут быть показы рекламы, визуальные шоу и спектакли, создание 3D-фильмов и анимации, а также создание на базе этой технологии виртуальных ассистентов, служащих для помощи людям в общественных местах.
Стоит уточнить, что это пока только патент и о сроках воплощения технологии в реальность ничего не сообщается.
Источник: 4pda.ru