Краткий обзор существующих технологий

Откуда все появилось

Считается, что история motion capture начинается на студии Уолта Диснея в середине 70-х. Аниматоры Диснея перерисовывали своих героев с реальных актёров на плёнке и вставляли в фрагменты мультфильма. Основой была технология ротоскопинга, предполагающая наличие специализированных станков, на которых аниматоры рисовали микки-маусов и русалок прямо поверх людей. Это был фактически ручной motion capture. Новая технология по-прежнему требовала времени, но позволяла сделать первый шаг к реальным движениям нереальных персонажей.

Второй важный шаг в освоении технологии сделало медицинское сообщество в начале 80х, конкретно врачи-кинесиологи, изучающие динамику движения человеческого тела. Профессору Тому Калверту первому пришла мысль, закрепив на тело потенциометры, оцифровать информацию о собственных движениях. Метод тут же взяли на вооружение разнообразные клиники и хореографические студии. Профессиональные группы от 3D-графики очень скоро стали использовать коммерческие системы оптического слежения, основанные на светодиодных маркерах, такие как SelSpot и Op-Eye, и в 1983 году специалисты лаборатории Массачусетского технологического института разработали первую скриптовую систему Graphical Marionette, которая использовала Op-Eye. Предназначалась она для рендеринга мокап-анимированного персонажа. Но низкая скорость рендера и высокая цена аппаратной части так и не позволили марионетке стать хорошим решением.

В 1988 году компания Silicon Graphics представила свои достижения в motion capture, сделав «Майка-говорящую голову» - трёхмерного персонажа, управляемого в реальном времени с помощью специальной перчатки. Их партнёры по разработке Майка, Pacific Data Images, поздней сами разработали «exoskeleton» - пластиковую конструкцию-одежду для актёра в качестве динамических элементов motion capture. Система также не стала идеалом из-за шумов и размеров, но успела послужить для захвата движений во многих проектах.

На телевидении motion capture впервые применили в 1991 году. Привидение по имени Мат под управлением системы всего с одной камерой, общалось со знаменитостями, приглашёнными в студию. Управляли Матом целая команда кукловодов. А в 1992 году были сделаны первые шаги в направлении обработки мимики человеческого лица. Компания SimGraphics разработала систему "face waldo", где использовались механические датчики, прикрепленные к губам, бровям, щекам и подбородку актера и электромагнитные датчики на шлеме. Система переводила движение актёра в движение 3D – персонажа.

 

Принцип работы Motion Capture

Первые комплексы Motion Capture были оптическими, и основной принцип работы таких систем не изменился по сей день. Заключается он в том, что несколько камер, расположенных под разными углами к движению, снимают динамику маркеров-отражателей или светодиодов распределенных по телу движущегося «актёра». Далее специальное ПО вычисляет координаты каждого маркера в пространстве в определенные моменты времени, соотнося данные с каждой камеры. Маркеры имеют три степени свободы, а информация о вращении вычисляется из относительной ориентации трёх или более маркеров (например, плечо, локоть и маркеры запястья, дающие угол локтевого сгиба).

Есть оптические системы с пассивными и активными маркерами. Первые используют маркеры-отражатели (когда-то были системы с катафотами) и идентифицируют каждый маркер с учётом кинематических ограничений и различных алгоритмов интерполяции. Именно такие в основном используются для нужд индустрии развлечений. Такие системы могут отслеживать огромное количество датчиков и давать впечатляющую область захвата (с футбольное поле и больше) что, правда, требует увеличения количества камер. В отличие от активных оптических и магнитных сисем, пассивные системы не требуют, чтобы актёр носил провода или электронное оборудование. Пассивные маркеры – обычно сфера или полушария, сделанные из пластмассы или или пены со специальной отражающей лентой. Системы такого типа делают фирмы Vicon-Peak, Motion Analysis, BTS и др.

Преимущество активных систем в том, что нет сомнений какой маркер является каким. Но результирующее число fps обратно зависит от количества маркеров – например, если исходных 5000 fps при 100 маркерах, в итоге будет всего 50 fps. Подобные системы находят применение на рынке биомеханики, два примера Optotrak от Northern Digital и Visualeyez system от PhoeniX Technologies.

Магнитные системы вычисляют положение и ориентацию маркеров с помощью магнитных полей трёх ортогональных катушек на передатчике и на каждом приёмнике. Отношение напряженностей полей трех катушек позволяет вычислять и расстояния и ориентацию маркеров. Маркеры не перекрываются совсем, но восприимчивы к магнитным полям, создаваемым проводкой, электроприборами и металлическими объектами вроде арматуры в бетонных стенах. Реакция датчиков нелинейна около границы области захвата, а сама область значительно меньше чем у оптических систем. Магнитные системы делятся на системы постоянного тока DC и AC - с синусоидальными волнами. Примеры магнитных систем - Ascension technology и Polhemus.

Инерционные системы используют устройства типа акселерометров или гироскопов, чтобы измерить позиции и углы. Они часто используются в комбинации с другими системами чтобы обеспечить глобальную привязку.

 

Краткий обзор существующих технологий.

В настоящее время существует немалое количество теоретических и практических предложений по реализации систем захвата движения. Рассмотрим их классификацию и некоторые особенности.

По использованию датчиков системы можно разделить на активные и пассивные.

Активные системы используют датчики, которые передают информацию о своем состоянии, для анализа движения объекта. Например, на корабль, спущенный на воду, можно установить радио-датчики для исследования параметров его остойчивости. Для анализа движения человека можно использовать механический костюм. Это тоже пример системы с активными датчиками, потому что информация о движении формируется непосредственно в узлах костюма при помощи отслеживания изменения углов между звеньями. Такие системы отличаются простотой и точностью обработки полученной информации. Однако далеко не всегда системы такого рода удобны. Активные датчики зачастую имеют большой размер и, поэтому могут затруднять само движение объекта либо не обеспечивать требуемую полноту данных о движении. Тем не менее, практические реализации систем захвата движения с использованием активных датчиков существуют. Более того, рассматриваемая область развивается и имеет ряд преимуществ перед архитектурой с пассивными датчиками. Одним из самых больших преимуществ пассивных датчиков является сравнительная простота алгоритмов обработки получаемых данных, вследствие чего система может обеспечивать намного менее дискретное получение информации об объекте, чем системы с пассивными датчиками.

Датчики системы называются пассивными, если они не формируют данных о движении исследуемого объекта, а просто получают какую-либо натуральную информацию об объекте, например, его изображение. Дальнейшая обработка производится программными средствами. Например, мимику при распознавании речи по губам было бы сложно анализировать при помощи множества механических датчиков на лице человека. В этом случае пользуются изображением, поступающим с видео- или инфракрасных камер. Системы этого вида зачастую проще с точки зрения аппаратной реализации, но математическая обработка данных значительно усложняется, особенно, в тех случаях, когда необходима высокая точность анализа.

По распознаванию ключевых областей системы захвата движения подразделяются на системы однозначного распознавания и распознавания с использованием средств искусственного интеллекта. Набором ключевых областей назовем совокупность деталей изображения объекта, по которым возможно достаточно корректно восстановить картину движения. Кроме того, должно выполняться условие возможности однозначного распознавания ключевых областей. По использованию разного типа ключевых областей системы можно разделить на три группы:

Системы с однозначно распознаваемыми маркерами. В таких системах ключевые области объекта помечаются маркерами. А сами маркеры в этом случае представляют собой области, которые можно однозначно распознать по цвету или форме, не используя при этом сложных алгоритмов искусственного интеллекта.

Системы с использованием однотипных маркеров. Ключевые области так же, как и в предыдущей группе реализаций захвата движения, помечаются маркерами. Но отличие в том, что маркеры уже не отличаются друг от друга внешним видом. Такая архитектура позволяет существенно расширить возможности системы за счет увеличения количества маркеров. Кроме того, может быть существенно упрощена аппаратная часть – снижаются требования к пассивным датчикам. Например, можно использовать монохромные камеры невысокого разрешения, вместо цветных. Но в такой системе появляется довольно сложная дополнительная задача – задача распознавания маркеров. Система должна в каждом наборе снимков определить каждый маркер, иначе она не сможет судить о движении объекта, даже имея все данные о положении всех маркеров.

Третья группа систем захвата движения вообще не использует маркеры. Распознавание ключевых областей производится при помощи исследование характеристик корреляции на последовательностях кадров. При распознавании с использованием корреляции анализируется взаимное расположение неоднородных частей изображения объекта. Такой анализ, естественно, требует более сложных вычислений с использованием законов статистики. Но имеет существенное преимущество: становится доступной вся информация о структуре объекта, так как ни какая область не замещается маркерами. Кроме того любая область объекта может стать в любой момент ключевой, и для этого ее не нужно помечать маркером.

По количеству степеней свободы, с которыми работает система.

Существуют двумерные системы. Они анализируют перемещение объекта на плоскости. Например, так реализуются системы наблюдения аэрофотосъемкой. В таком случае просто невозможно отследить изменения по третьей координате, потому что наблюдаемая плоскость расположена перпендикулярно лучу зрения и удалена на большое расстояние.

В большинстве случаев используются трехмерные системы захвата движения. Они дают более детальную информацию об объекте. Но, конечно, сложнее в реализации.

Третьим видом систем являются гибридные архитектуры. В таких системах данных недостаточно, чтобы точно обрабатывать объект в пространстве. Но, имея представление о структуре самого объекта, возможно восстановить взаимное расположение его участков и по третьей, ненаблюдаемой, координате. К примеру, можно довольно точно восстановить походку человека на трехмерной модели, имея в распоряжении только данные с боковой камеры, потому что имеются дополнительные данные о самой модели.

Таковы общие различия систем захвата движения. Существуют и другие, о них будет сказано ниже.

Процесс обработки данных обобщенной системой захвата движения можно разделить на несколько этапов:

- начальная инициализация системы;

- трекинг, отслеживание ключевых областей;

- распознавание положения и формы;

- распознавание действия;

- ответ системы.

Рассмотрим их более детально.