Автоматическая речевая мимика

 

 

 

 

 

 

 

 

 

 

 

 

 

 

    
    
Новости
    Опубликованы утилиты HuntUtilities v4.03 для 3D Studio MAX. Утилиты можно свободно скачать со странички поддержки www.speechanimator.ru/HuntUtilities/.

    Технология SpeechAnimator™
    Данная технология позволяет создавать синхронную речевую мимику в больших объёмах и работает в реальном времени (в т.ч.прямо "с микрофона"). Технология успешно работает с 2000 года и нашла применение во многих творческих коллективах на телевидении, в рекламе, у разработчиков игр и т.д. При участии технологии на телеканале Ren-TV выпускаются телевизионные передачи и производится мультипликационный сериал "Dyatlow's".

    Возможности технологии
-    Преобразование звукового потока в анимацию лица, в т.ч в реальном времени - см программу SpeechAnimator Pro Real-Time
-    Обработка любых языков, в т.ч. неизвестных программе.
-    Обработка неречевых голосовых звуков, издаваемых человеком, например, хохот, цоканье и др.
-    Учёт уровня шума, громкости голоса (например, шёпот, крик), и инерционности разговора (резче, нормально, плавнее и т.д.).
-   Импорт из 3D Studio MAX и MAYA модели пользователя и ее визуальная анимация - см программу SpeechAnimator Pro
-   Автоматическое создание НЕРЕЧЕВОЙ мимики на основе функциональной зависимости от речевых морфем, темпа речи и др. параметров, например, моргание и т.д.
-    Экспорт готовой анимации в 3D Studio MAX и MAYA - см программу SpeechAnimator Pro
-    Быстрая автоматическая обработка большого количества звуковых файлов с выдачей готовой анимации в текстовый формат для дальнейшей обработки в движках пользователя и для мультипликации - см программу StreamAnimator

    Представленные программы используют технологию SpeechAnimator™, основанную на "транскрибировании" звукового потока. Транскрибирование - определение текущих звуковых образов - происходит автоматически. Первоначально на основании большого количества звуковых образов строится дифференциальная база звуков, определяющая различия между представленными группами образов. На ее основании определяется, в какой пропорции распределяются веса групп для текущего воспроизводимого звука и ближайшая к нему группа. Таким образом, в каждый момент времени имеется набор коэффициентов подобия звука нашим категориям. После этого информация о следовании звуков трансформируется в информацию о следовании визуальных образов согласно таблице соответствий.

    Технология SpeechAnimator™ используется во многих приложениях, например, в художественном динамическом оформлении выступлений артистов и музыкальных групп и при создании видеоклипов. В этом случае на сцене или в видеоклипе создаются уникальные визуальные образы, соответствующие текущим звукам или сигналам. И, меняя во времени темы воспроизводящегося таким образом визуального образа, достигается необходимый в этом случае психологический настрой у зрителей.

    Используя основополагающий принцип технологии, программа SpeechAnimator Pro создает анимацию лица говорящего человека по голосу. Для этого была создана дифференциальная база, построенная по порядка 20000 звуковых примеров 30 голосов. База определяет 56 типов различающихся между собой речевых человеческих звуков. Для достижения мультиязычности набор суммирует в себе звуки английской и русской речи и, таким образом, включает в себя большинство речевых звуков человеческих языков. Опытным путем определено, что данного набора достаточно для генерации речевой мимики не только для этих двух языков, а также многих других, например, европейских или азиатских а также для обработки неречевых звуков, издаваемых человеком - цоканья, хохота и т.д. Программа автоматически учитывает громкость исходного звука и увеличивает амплитуду выходных коэффициентов визем для громких звуков. Метод не использует текстовые "подсказки", и поэтому имеет гораздо бо'льшую область применения чем многие из представленных на рынке программ. SpeechAnimator Pro является отдельной программой и по внешнему протоколу общается со своими плугинами для различных программ, например, 3D Studio MAX или MAYA.

    Для обработки большого объема звука, например, для игровых движков и мультфильмов, разработана специальная программа - StreamAnimator. Эта программа создает текстовые файлы с текущими коэффициентами морфем для набора звуковых файлов. Данная программа дополняет SpeechAnimator Pro и может использовать его проекты и настройки.

    Технология SpeechAnimator™ позволяет создавать речевую мимику в реальном времени (в т.ч. "с микрофона"), например как в программе SpeechAnimator Pro Real-Time.
   
    Для более качественного автоматического распознавания создаются "персональные базы" для конкретных голосов. Базы создаются на основании звуковых примеров и содержат информацию о звуковых различиях с учетом конкретного голоса.

    Автор открыт для использования технологии SpeechAnimator™ в Ваших приложениях.

   

©2001-2005 Александр Охота