1. 모션 캡쳐의 역사

기술적으로 모션 캡쳐가 발달해온 역사는 약간 따로 다루어져야 할 것 같고요, 저는 콘텐츠 제작 분야에서 어떻게 모션 캡쳐가 다루어져 왔는가 아주 간략하게만 말씀드릴게요.

1920년대 미국 애니메이션을 중심으로 사용되던 로토스코핑(Rotoscoping) 기법을 흔히들 모션 캡쳐의 시작으로 보고 있습니다. 로토스코핑은 먼저 실사 배우의 액션을 비디오로 촬영한 다음, 그 위에 애니메이션 캐릭터를 한 프레임 한 프레임 그대로 트레이싱하여 그림으로써 최대한 사실적인 움직임을 만들어내는 기법입니다. 아래 동영상은 로토스코핑 기법을 설명하는 짧은 동영상입니다.



이후로 대학이나 업체에서 여러 방면으로 모션 캡쳐 기술을 발전시켰는데요, 콘텐츠적으로 좀 중요하다 싶은 사례중 하나는 1985년에 만들어진 TV 광고인 ‘Brilliance’ 를 들 수 있습니다. 광고는 아래와 같고요,



제작 과정도 유투브에서 검색하실수 있는데 따로 이 글에 올리지는 않을게요. 여자 배우의 몸에 트래킹할 수 있는 점을 찍어 놓은 다음, 영상을 촬영해서 점의 움직임으로부터 캐릭터의 모션을 생성해내는 무려 ‘이미지 기반 모션캡쳐’ 기법을 사용하였습니다. 당시 상당히 센세이셔널한 반응이었다고 하네요.

이후에 본격적으로 우리가 알고 있는 수준의 모션 캡쳐가 영화에 사용된건 1990년작 ‘토탈 리콜’ 이었습니다. X레이 검색대를 통과하는 장면에서 디지털 해골들이 걸어다니는 장면을 제작하기 위해 사용했다고 하네요. 그리고 2004년에 개봉한 ‘폴라 익스프레스’ 가 최초로 대부분의 캐릭터의 움직임을 모션 캡쳐 기술로 만들어낸 장편 애니메이션이었습니다. (언캐니 밸리의 대표사례가 된건 함정…)

그 이후야 여러분들께서 잘 아시는 ‘아바타’, ‘반지의 제왕’, ‘킹콩’, ‘혹성탈출’ 같은 영화들의 주연급 캐릭터를 모션 캡쳐한 디지털 캐릭터가 맡으면서 이제 실사영화 산업에서는 필수적인 기술이 되었습니다. (어느 한 스튜디오 작품만 있는것 같은데 기분탓이야…)


2. 모션 캡쳐의 응용분야

모션 캡쳐의 응용분야는 실로 다양한데요, 여러분들이 잘 아시다시피 영화 및 애니메이션이 모션 캡쳐가 주로 사용되는 가장 대표적인 분야입니다.

또한 작년 GOTY 를 휩쓴 ‘Last of Us’ 를 비롯하여 실로 다양한 게임에서 모션 캡쳐가 폭넓게 사용되고 있는데요, 최근에는 신체 모션을 넘어서 디테일한 페이셜 애니메이션까지 캡쳐한 후 게임 캐릭터에 적용되는 것을 볼 수 있습니다. 아래 영상은 앨렌 페이지가 주연해서 화제가 된 ‘Beyond two souls’ 의 모션 캡쳐 작업 영상입니다. 8분짜리여서 좀 길긴 한데, 모캡-게임 비교영상뿐만 아니라 실제 제작영상도 확인할 수 있으니 좀 넘겨가면서 보시면 재미있으실 거에요.



이 외에도 모션 캡쳐의 응용분야는 다양합니다. 산업체에서는 어떻게 하면 노동자의 최적의 동작 및 동선(...) 을 만들수 있는가 연구하는데 쓰이기도 하고요, 좋은 사례중의 하나는 자동차 경주의 피트인 타이어 교체때 최소한의 모션을 고안하기 위하여 모션 캡쳐를 응용했던 사례가 있습니다.
이외에 운동 선수들의 운동량이나 자세 등을 교정하기 위하여 모션 캡쳐가 쓰이는 사례는 워낙 많고요, 바이올린같은 악기 연주자들이 바른 자세로 악기를 연주할 수 있도록 모션 캡쳐를 통해 가르치고 바로잡아주는 연구 사례도 있습니다.
이 밖에도 요즈음은 모션을 센싱할 수 있는 다양한 도구들이 개발되어서 광고나 홍보 등 상업적으로나 실생활에 필요한 도구들에 폭넓게 활용되고 있습니다.


3. 모션 캡쳐의 종류

모션 캡쳐를 하는 방식 또한 한두가지는 아닙니다. 모션 캡쳐의 핵심은 ‘신체의 움직임을 가상의 공간에서 디지털화’ 시키는 데 있고, 사실 이 목적만 이룬다면 어떤 방법도 상관없죠. 일단 우리가 가장 흔히 알고 있는 방식이 쫄쫄이 입고 마커 붙이고 하는 광학식(Optical) 방식인데, 이에 대해서는 챕터를 따로만들어서 나중에 좀더 구체적으로 설명을 드릴게요.



위 그림으로 하나씩 설명을 드리는데요, 가장 왼쪽에 있는 그림은 기계식 모션 캡쳐 방식입니다. 그림과 같은 기계를 몸에 입은 다음 움직이면 몸에 붙어있는 기계의 센서가 데이터를 측정해서 기록하는 방식인데요, 상대적으로 공간이나 환경의 제약을 안받는다는 장점은 있지만 워낙 불편해서 잘 안쓰이는 방식이에요.

두번째 그림에서 위쪽 그림은 전자식(Magnetic) 모션캡쳐 방식입니다. 복잡한 전선들이 있는데 저 전선들에서 일정한 자기장이 형성되고, 그 안에서 손가락이 어떻게 움직이는가를 트래킹할 수 있어요. 두번째 그림에서 아래 그림은 광섬유(Optical fiber)를 이용한 방식인데 광섬유가 얼마나 구부려지는가를 측정해서 손가락의 모션을 캡쳐합니다. 사실 손가락과 같은 작고 복잡한 신체부분은 광학식으로 모캡하기가 쉽지않은데, 이 방식들은 여기에 대해서는 장점을 가지고 있어요. 근데 보시다시피 워낙 거추장스러워서 흔히 쓰이는 방식은 아닙니다.

세번째 위쪽 그림은 소리를 이용해서 모션을 캡쳐하는 방식이에요. 공간 속에서 일정하게 정해진 도구로 소리를 내고 각각의 소리센서에 들리는 시간차나 소리의 종류 등을 파악해서 위치를 알아내는 방식인데, 실용성보다는 연구목적이었다고 봐도 무방합니다. 세번째 아래 그림은 키넥트인데요, 키넥트와 같은 깊이정보 카메라(Depth camera) 를 이용해서 간단한 모션을 캡쳐한 후 게임의 컨트롤러로 요즘 많이 사용하고 있습니다. 디테일한 모션 캡쳐까지는 안된다지만 기술적으로 보정해서 키넥트가지고 모캡컨텐츠를 만든 사례도 꽤 되고요. 물론 좋은 장점은 별도의 슈트나 마커가 필요없다는 것이겠죠? 하지만 아직 영화나 애니메이션같은 고품질 프로덕션 모션캡쳐를 하기에는 부족합니다.

네번째 그림은 요즘 모캡회사들에서 많이 밀고있는 가속도 센서 방식 모캡슈트에요. 기본적은 개념은 기계식과 비슷한데 가속도 센서가 소형화되고 발달하면서 이것을 모캡 슈트 안에 넣어서 활동성도 편하고 공간 및 환경제약에 강건한 모캡을 장점으로 하고 있습니다. 단점중의 하나는 아직까지는 가격대가 높고, 이것 하나만으로는 고품질 캡쳐가 어려워서 가속도 센서 모캡슈트+광학식마커 이런 식으로 요즘 해외 스튜디오에서는 많이 작업한다고 하네요.

마지막 그림은 모캡이 나아가야할 길(...) 인 이미지 기반 모션캡쳐입니다. 뭘 자꾸 붙이고 입고 하는건 콘텐츠 제작 특성상 상당히 불편한 일인데, 이미지 기반은 그냥 카메라로 촬영해서 그 이미지정보를 바탕으로 모션을 캡쳐해내는 기술입니다. 하지만 이 이미지 처리라는게 생각만큼 쉽지않고 변수도 너무 많아서 안정적인 결과물을 내기까지는 해야 할 일들이 꽤 많은 분야입니다. 그래도 요즘에는 통제된 상황에서의 이미지 기반 모션캡쳐는 상당한 수준에 올라 있는데, 아래 영상은 그 사례를 보여주고 있습니다.




4. 광학식 모션 캡쳐

현재 헐리우드 및 해외 유명 스튜디오에서 가장 많이 사용하고 있는 모션 캡쳐 방식은 광학식 모션 캡쳐 방식입니다. 흔히들 보는 쫄쫄이에 덕지덕지 마커 붙여서 모션 캡쳐 하는 방식이지요. 가격 대비 성능이 우수해서 많이들 사용합니다.

기본적으로 광학식 모션 캡쳐는 카메라에서 적외선을 쏴서, 마커에 맞고 돌아오는 빛을 감지하는 방식을 이용합니다. 이러한 방식을 패시브(Passive) 방식이라고 하는데요, 이 외에 마커 자체가 직접 신호를 발산하는 액티브(Active) 방식도 있습니다. 두 방식의 차이는 캡쳐 결과물에서 이 마커가 무슨 마커인지 항상 보장되고 보장되지 않고의 차이가 있습니다. 모션 캡쳐의 특성상 마커가 가려졌다가 나타났다가 하는데, 패시브의 경우에는 마커의 이름이 서로 꼬일수도 있고 이마커가 무슨마커인지 모를수도 있고 골치아픈 경우가 자주 생깁니다. (모션캡쳐 후반작업하는 아티스트들 부들부들하는소리…) 액티브는 이런 걱정은 없는데 비용문제도 있고 뭐 헐리우드 스튜디오 대부분 그냥 패시브 쓴다네요.

광학식 모션 캡쳐의 장비들을 하나 하나 짚어가면서 설명을 드리도록 하겠습니다.

[모캡 슈트] - 흔히 알고있는 까만색 쫄쫄이 옷인데요, 보기민망한 쫄쫄이를 입는 이유는 펄럭이는 옷을 입으면 마커가 움직여서 제대로 된 모션을 캡쳐할 수 없기 때문입니다. 슈트가 까만색인 이유는 빛을 활용하는 모캡의 특성상 빛을 반사를 최소화하는게 유리하기 때문이에요. 그리고 보통 마커 뒷편에는 찍찍이가 붙어있는데 이 찍찍이를 붙이기 쉬운 재질로 되어있습니다.

[모캡 마커] - 모캡 마커는 빛을 반사하는 재질로 되어있는데, 다름아니라 도로표지판 같은데서 흔히 볼수있는 야광 재질이에요. (그래놓고 마커하나에 만원씩 받아먹겠지) 목적에 따라 크기가 다양한데, 대충 몸체 모션을 캡쳐하기 위한 마커, 얼굴 모션을 캡쳐하기 위한 작은 마커 이렇게 구분해도 무방할것 같습니다.

[모캡 카메라] - 모캡 카메라는 적외선을 발사하는 장치와 적외선을 받아들이는 장치 2가지로 나뉘어져 있어요. 그래서 적외선을 쏜 다음 맞고 돌아오는 적외선을 감지하는데, 그 결과물은 까만 화면에 마커는 흰 점이 박혀있는 2D 이미지입니다. 결국 각 모캡 카메라는 이 흑백 2D 이미지를 계속 촬영하고 있다고 생각하시면 돼요. 이 이미지를 조합해서 3D 정보를 만들어 내는것은 소프트웨어의 몫입니다.

여기서 간단한 퀴즈 하나 낼게요. 하나의 마커가 공간 중에 떠 있고, 우리가 각 카메라의 3D 공간 상에서 (x, y, z) 좌표를 정확하게 알고 있을때, 마커의 3D 공간 좌표를 알기 위해서 최소한 필요한 카메라의 갯수는 몇개일까요? (드래그!)

2개입니다.

맞추셨는지 모르겠네요! 하지만 모션을 하면서 가려지는 경우가 많기 때문에 모캡 카메라는 많으면 많을수록 좋습니다. 해외 스튜디오같은 경우에는 체육관 정도의 넓이에 수백 대의 모션 캡쳐 카메라를 설치해서 운용하고 있지요.

[모캡 소프트웨어] - 보통 모캡 하드웨어를 판매하면서 모캡 소프트웨어도 같이 끼워파는데요, VICON 이니 Xsense 니 다양한 모션 캡쳐 회사와 소프트웨어가 존재합니다. 뭐 당연히 손쉽게 모캡을 할수 있도록 도와주는 역할을 하죠. 모션 캡쳐 셋팅 - 캡쳐 - 후반작업 - 데이터관리 등 모션 캡쳐와 관련된 종합적인 솔루션을 제공합니다. 하지만 모캡 소프트웨어 하나만 가지고 컨텐츠를 제작할 수는 없고요, 모션 캡쳐는 최종적으로 뼈대가 움직이는 모션만을 생성한다고 보시면 되고, 실제로 이것을 가지고 다양한 캐릭터에 옮겨준 다음 콘텐츠를 제작하는건 Maya, 3DS MAX, Unity3D 와 같은 다양한 CG 소프트웨어에서 작업을 하게 되지요.



이... 일단 이정도로 마무리하도록 할게요. 아이고 간단하게 쓴다고 했는데 벌써 분량이 안드로로 날아가는것같은…(;;) 내용이 너무 길어지면 지루하니 상, 하 2편으로 나누어서 올려야겠네요.

다음에는 실제 모션 캡쳐를 하는 과정, 모션 캡쳐의 후반작업(...) 에 대해서 알아보고, 모션 캡쳐가 가지고 있는 한계 및 앞으로 나아가야 할 방향 등에 대해서 마무리하도록 하겠습니다.

감사합니다.