Суровый российский Motion Capture

Автор: Юрий Ильин

Опубликовано 19 мая 2010 года

В московской компании iPi Soft разработали уникальную систему захвата движений iPi Desktop Motion Capture, которая не требует оборудования, стоящего десятки, если не сотни тысяч долларов. Специальные костюмы Motion Capture с датчиками и метками тоже не нужны. Всё это заменяют алгоритмы машинного зрения, распознающие людей на видео, снятом обычными камерами.

Технология Motion Capture или, если по-русски, "захват движений" позволяет оцифровать движения актёра и использовать их для управления трёхмерной моделью персонажа. Захват движения активно используется и в компьютерных играх, и в анимации, и в кинематографе. "Удивительный случай с Бенджамином Баттоном", "Рождественская история" и "Аватар" - наиболее свежие примеры интенсивного использования Motion Capture.

Впрочем, у создателей iPi Desktop Motion Capture не было опыта работы в кино или игровой индустрии. "Изначально мы занимались разработкой программного обеспечения для бизнеса, - рассказывает основатель iPi Soft Михаил Никонов. - А эта идея возникла как-то спонтанно. Началось всё с того, что я раздумывал о разработке компьютерной игрушки - сугубо в качестве хобби. Меня поразило, насколько сложно сейчас делается захват движения".

Типичная система захвата движения "промышленного уровня" - это немаленький зал, внушительное количество специализированных камер (порой - десятки) и производительные серверы для обработки поступающих данных (формирование и обработка снятого "облака точек" в режиме реального времени требует более чем серьёзных мощностей). Стоимость полного комплекта оборудования - это пяти-, а то и шестизначные суммы в долларах.

В iPi Soft попытались разработать систему, которая позволяла бы осуществлять захват движения с помощью самых что ни на есть бытовых устройств - мощного ноутбука и нескольких обыкновенных цифровых видеокамер. Цена тоже куда доступнее: стоимость программного обеспечения iPi Soft составляет 500 долларов.

Распознавание образов

Системы захвата движения бывают разные, но почти каждую из них можно отнести к одному из двух типов: первый основан на обработке видео, а в другом используются специальные датчики. Те из них, которые не требуют датчиков, по объективным причинам вышли в лидеры.

Обрабатывать видео тоже можно по-разному. Некоторые системы требуют использования маркеров - особо выделенных областей на специальных костюмах для Motion Capture. Отыскать маркеры в отснятых кадрах относительно нетрудно - это не требует сложных алгоритмов. Существуют и безмаркерные системы - они, как можно догадаться по названию, не требуют маркеров и основаны на распознавании образов.

Считается, что безмаркерные системы прогрессивнее, и (по крайней мере с технической точки зрения) это чистая правда: технологии, лежащие в их основе, более сложные и наукоёмкие. Компьютер нужно научить отличать левую и правую стороны персонажа, а бликующие поверхности (например, блестящая ткань) способны сбить безмаркерные системы с толку. Фактически тут требуется полноценное машинное зрение, а данная область остаётся всё ещё недоразведанной территорией.

В системе iPi Soft маркеры не используются из принципа: это слишком долго и утомительно. Одна только подготовка и калибровка маркерной системы занимает полчаса-час, то есть студию захвата движения приходится резервировать на целый съёмочный день - а это стоит тысячи долларов. Вдобавок, как рассказал Михаил Никонов, в студиях Motion Capture, где применяются маркерные системы, часто во всех ролях снимаются одни и те же актёры, и требуется специальная одежда под маркеры, а наборов этой спецодежды всегда ограниченное количество.

iPi Desktop Motion Capture подготовить к работе можно куда быстрее. Правда, к одежде есть свои требования, но куда более простые. Оптимальный вариант - это чёрный свитер, синие джинсы и чёрные ботинки, при этом и верх и низ должны быть однотонными, без узоров и без блёсток.

Как работает iPi Desktop Motion Capture

Всё начинается со съёмки видео, причём, желательно, с разных точек. "Восстановить трёхмерную сцену с помощью нескольких камер несложно, - говорит Никонов. - Поскольку мы видим пиксели с разных точек, с помощью триангуляции мы можем восстановить трёхмерную картинку. Основная сложность - в той части технологии, которая отвечает за распознавание образов. Программе нужно понять, где человек и где какие части тела".

У iPi Soft есть и однокамерный вариант, но он работает куда хуже: все, кто пробовал эту систему, решили, что лучше всё-таки использовать многокамерную. "Поэтому теперь мы все силы бросили на неё, - говорит Никонов. - Единственное, что нам мешает выпустить однокамерный вариант, это то, что с обычными камерами система работает плохо, а подходящих трёхмерных камер пока нет на рынке".

Небольшая стереобаза нынешних стереокамер, по словам Никонова, не позволяет создать карту глубины нужной точности. "Они все настроены, в основном, на съёмку с расстояния метр-два, то есть чтобы в упор человека снимать. А нам нужно расстояние хотя бы четыре-пять метров от камеры до актёра".

Триангуляция по данным с нескольких камер происходит быстро и надёжно. Проблемы начинаются, когда система путает левую и правую руку, например. Оптимальный вариант в таких случаях - использовать сразу три камеры: две по бокам и одна посередине. Тогда актёр виден со всех сторон.

Одной из ключевых проблем систем Motion Capture часто оказывается огромный объём генерируемых ими данных, особенно, если создаётся "облако точек". Эта проблема некоторым образом присутствует и в данном случае: дело в том, что изначально снимается просто большое количество многокамерного видеоматериала (а он занимает немало места), и уже затем система высчитывает трёхмерный "скелет".

"Структура скелетов персонажей может быть очень разная, но у нас в системе используется своего рода "технологический скелет", заточенный под распознавание 3D, и перенести его - не проблема, - рассказывает Никонов. - Получающаяся анимация оказывается довольно компактной - объём совсем небольшой, в тысячи раз меньше объёма исходного видео". Впрочем, сохранять исходное видео в качестве референсов всё же стоит - на тот случай, если потребуются какие-то доработки.

Полученные движения легко "перепривязываются" к скелетной системе Biped в редактор трёхмерной графики Autodesk 3ds Max, а также к Second Life и некоторым играм - в первую очередь, производства Valve (Half-Life 2, Counter-Strike: Source и др.) Видимо, именно поэтому iPi Desktop Motion Capture так полюбили авторы машинимы - мультфильмов, снимаемых на игровых движках. Эту систему использует автор машинима-сериала Civil Protection Росс Скотт, с её помощью снимается и известная машинима Clear Skies про мир EVE Online.

Что дальше

Впрочем, любители - не единственные клиенты iPi Soft. "Мы пока в основном работаем с американскими аниматорами, - говорит Михаил Никонов. - Вообще, у нас две страны выбились - США и Бразилия, там нашу систему используют больше всего. Нашу систему используют три голливудские студии - насколько я понимаю, в режиме эксперимента - главным образом для превизуализации".

Программу уже приобрели несколько западных студий, занимающихся спецэффектами для кино (некоторые из них в прошлом участвовали в работе над фильмами "Битва титанов", "Суррогаты" и "Властелин колец"), канадское министерство обороны, испанский производитель роботов PAL Technology Robotics, военно-промышленная корпорация Northrop Grumman.

Пока iPi Desktop Motion Capture позволяет оцифровывать лишь движения человеческого тела, но не мимику. "Для лицевой анимации у нас будет немного другое решение: небольшая "лицевая" камера будет надеваться примерно как микрофонная гарнитура; у неё будет светодиодная подсветка, и скорее всего, актёр на поясе будет носить небольшой нетбук, синхронизированный по WiFi с записью с остальных камер" - пояснил глава iPi Soft Михаил Никонов.

Похожие лицевые комеры использовались при съёмке фильма "Аватар". Мог ли Джеймс Кэмерон предположить, насколько быстро появятся столь доступные аналоги суперсовременных технологий, созданных его командой?