Трекинг твердых тел

Для студии мы используем свои внутренние наработки.

Один из наиболее важных алгоритмов, связывающий весь процесс обработки скелета – трекинг твердых тел. К записи прилагаю видео, демонстрирующее работу трекинга в наборе точек.

Трекинг твердых тел с одной стороны не очень и сложный алгоритм, по сути это своего рода реализация ICP (итеративная ближайшая точка). Сложность решения напрямую зависит от плотности рассматриваемого поля и логических вспомогательных правил, таких как например привязка к текущему положению тела, динамические ограничения изменения трансформации за кадр и т.п.

В процессе обработки мокап точек данный алгоритм находится условно в центре. Обработка точек -> обработка твердых тел -> обработка скелета.

Кроме самого персонажа, данный вид трекинга используется для определения трансформации вспомогательных объектов, таких как, например, оружие в руках актера. При этом если не брать во внимание связанность твердых тел, то для более успешного трекинга желательно, чтобы точки тела были расположены как можно более асимметричней и уникальней.

Кстати говоря само понятие твердости тела весьма условное. Ведь маркеры размещены на одежде актера и при движении набор маркеров может сжиматься или наоборот разжиматься. Это тоже приходится учитывать, такой определенный коэффициент эластичности.

Надеюсь в скором времени поделиться еще некоторыми интересными моментами из внутренней работы студии.

Разное MoCap, RigidBody, Tracking