요약
디지털 기술의 발전에 따라 메타버스가 콘텐츠 시장의 주요 트렌드로 자리하면서 고품질의 3D 모델을 생성하는 기술에 대한 수요가 급증하고 있으며, 최근 메타버스를 필두로 하여 혼합현실 서비스 및 콘텐츠 시장이 활성화되면서 디지털 휴먼으로 대표되는 고품질 3D 가상인간에 대한 제작과 관련된 다양한 기술적 발전이 급격히 가속화되고 있다. 정밀한 3D 인체모형을 생성할 수 있는 기술들의 현재 상황과 기술적 사례들을 바탕으로 구성하고자 한다. 1996년 최초의 가상 인간의 등장 이후 가상인간을 통한 다양한 시도가 이루어져 왔으나 기술적 한계로 그 영향력을 발휘하지 못하였다. 그러나 최근 기술의 발전을 통해 가상 인간은 디지털 휴먼으로 다시 등장하게 되었다. 디지털 휴먼은 실제와 구분하기 어려울 정도로 인간의 모습과 행동이 유사한 3D 가상 인간이다. 최근 기술의 발전은 이러한 가상 인간의 제작을 용이하게 만들었고, 이들을 다양한 분야에서 활용할 수 있게 하고 있다. 그러나 다양한 활용 분야와 수요에도 불구하고 현실적인 제작 과정상의 한계로 인하여 아직까지는 디지털 휴먼의 개발과 사용의 범위가 제한되고 있다. 이에 따라 디지털 휴먼에 대한 선행연구의 분석을 통해 디지털 휴먼을 다시 한번 정의하였고, 제작 기법에 대한 연구를 바탕으로 현재의 기술적 한계를 극복하고 혼합현실 환경에 적용할 수 있는 발전된 형태의 디지털 휴먼의 제작을 위한 가능성을 살펴보고자 한다.
I. 디지털 휴먼의 개요
1996년, 일본에서 데뷔한 최초의 사이버 아이돌 다테 쿄코의 등장은 가상 인간(Virtual Humans)의 가능성에 대한 최초의 실증사례였다. 이는 1998년 우리나라의 사이버 가수 아담의 등장으로 이어졌으나 당시 기술의 한계로인하여 얼마가지 못해 사라지게 되었다. 그러나 최근 10여 년간 컴퓨터그래픽스의 발전은 하드웨어의 발전과 더불어 실제와 구분하기 어려운 수준의 결과물을 제작하는 수준에 이르렀다. 초기의 가상 인간의 어색한 움직임은 기술을 통해 모션 캡처를 더욱 정교하고 사람에 가깝게 만들 수 있게 되었다. 이에 사라졌던 가상 인간이 기술 발전에 따라 “디지털 휴먼”(Digital human)이라는 이름으로 다시금 등장하게 되었다.
최근의 디지털 휴먼은 더욱 발전된 콘텐츠 제작 기술을 바탕으로 가상공간에서 등장하여 현실공간을 배경으로활동하는 존재라고 할 수 있다. 가상과 현실의 경계가 허물어지면서 디지털 휴먼을 일상 속에서 활용하는 사례가 점차 늘어나고 있다. 가상의 공간에서 실제 인물을 대체하여 대면 서비스를 제공하는가상 비서 서비스, 실재의 인물을 대신하는 버츄얼 유튜버(Vtuber), 현실의 공간에서는 실존하지 않지만, 가상의 공간에서만 존재하며 영향력을 발휘하는 디지털 인플루언서 등의 활용 사례는 점차 증가하고 있으며 그 영향력은 우리가 생각해 왔던 것보다 훨씬 강력해지고 있다.
코로나 19로 인하여 촉발된 비대면 콘텐츠의 확장과 메타버스를 필두로 하는 혼합현실에 대한 다양한 수요가 증가하는 현재, 디지털 휴먼에 대한 수요 및 적용분야는 지속해서 증가할 것으로 예상한다. 이에 본 연구에서는 “디지털 휴먼”과 관련된 기술 및 활용 사례의 분석을 중심으로 디지털 휴먼을 정의하고, 향 후 디지털휴먼의 발전 방향에 대해 제안하고자 한다.
디지털 휴먼에 대한 정의는 분야에 따라서, 연구자의 목적 또는 연구 형태에 따라서 다르게 이루어질 수 있다. 디지털 휴먼 제작을 위한 가상프로덕션 플랫폼인 Virtuals에서는 디지털 휴먼을 “사실적인 3D 인간 모델”로 정의하면서 그 특징으로
- 피부 음영, 머리카락 표현 등에 있어 사실적인 표현
- 정확한 리깅 및 애니메이션을 바탕으로 한 세밀한 움직임을 제시하였다 1).
그리고 이를 특징으로 가지는 디지털 휴먼의 하위 분류로 가상 인간과 디지털 더블(Digital Doubles)을 제시하였 다. 가상 인간은 사실적으로 표현된 디지털 휴먼에 캐릭터를 부여하여 더욱 “사실적”으로 보일 수 있게 제작된 디지털 휴먼을 의미하며 이러한 사실적인 묘사를 위해 인공지능이 결합되어 설정된 직업과 관련된 회화와 행동, 감정 표현 등을 가능하게 발전될 수 있다. 이에 반해 디지털 더블은 실존하는 인간을 3D 스캔 또는 3D모델링으로 제작한 것을 이야기한다. 디지털 더블은 모션캡처 데이터의 반영을 통해 실제 사람과 비슷한 움직임을 가지며 때로는VFX 기술과의 결합을 통해 대역 배우의 역할을 수행한다. 최근 볼류메트릭 기술의 발전과 이를 활용하는 다양한 딥러닝 기술의 발전으로 다른 기술 분류로 취급되면 가상 인간들 사이의 경계도 허물어지고 있다. 이처럼 디지털 휴먼을 정의하는 방법은 연구의 목적과 그 활용분야에 따라 다르게 나타나지만 공통적으로
- 실제 사람의 외형을 모방
- 실제 사람의 행동양식을 모사
- 사람의 역할을 대체한다는 공통점이 나타난다.
디지털 휴먼의 제작 방식에 따른 분류를 중심으로 진행 하였으며 이러한 예증 들을 통해 디지털 휴먼을 “사람의 역할을 대체할 목적으로 실제 사람의 특징과 외형을 본 떠 만든 3D 인체 모델”로 정의하였다.
II. 디지털 휴먼을 위한 기술
3차원 모델을 표현하는 방법은 크게 두 가지가 있다. 첫 번째는 포인트 클라우드이고, 두 번째는 메쉬이다. 포인트 클라우드(Point Cloud)는 물체를 구성하는 주요 좌표값의 집합을 의미한다. Lidar, RGB-D 카메라 등의 장비를 통해 물체의 표면을 측정하여 데이터를 수집한다. 포인트 클라우드를 통해 획득한 이미지는
<그림 1>과 같이 삼차원 좌표값을 가지는 점들의 군집으로 표현되며 각 점들은 X, Y, Z의 삼차원 좌표값을 가진다. 데이터를 가진 점의 군집으로 표현되는 포인트 클라우드는 그 자체로는 3D 객체로서 활용할 수 없기 때문에 외 부 3D 소프트웨어를 활용하여 변환하는 과정을 거친다.
<그림 2>는 그 과정을 보여준다.
포인트 클라우드에 면을 형성하면 메쉬를 만들 수 있다. 포인트 클라우드를 메쉬의 정점(vertex)으로 취급한다면 포인트 클라우드와 메쉬는 동일한 정보를 표현하는 데이터라고 할 수 있을 것이다.
<그림3>에 깊이 정보와 포인트 클라우드 정보, 그리고 메쉬 정보의 관계를 도식적으로 나타내었다.
앞서 정의한 대로 사용 목적이 있고, 사실적인 디지털 휴먼을 제작하는 방식은
1. 스컬핑 등 3D 모델링을 기반으로 하는 제작 방식(<그림 4>)
2. 실사 모델을 기반으로 하는 제작 방식(<그림 5>)으로 구분된다.
최근에는 이 두 제작 방식을 혼합하여 콘텐츠를 효율적으로 생성하는 하이브리드 방식이 사용되기도 한다.
정밀한 디지털 휴먼을 제작하기 위해서는 다음의 세 가지의 기술을 필요로 한다.
첫째, 정밀한 3D 모델을 만들기 위한 3D 모델링 기술과 리깅(Rigging)이다. 3D 모델링을 위해 기존에 있는 자산(asset)을 활용하여 만들거나, 처음부터 조각(Sculpt)하듯 만드는 스컬핑 또는 실존 모델을 스캔하여 제작하는 3D 스캔 등을 통해 디지털 휴먼의 기초가 되는 3D 모델을 제작한다. 기존의 자산이나 스컬핑을 통한 3D 모델링은 정교한 3D 모델을 만들 수 있는 장점이 있으나 정교한 모델을 얻기 위해서는 많은 인력과 시간을 요구한다. 이는 현재 디지털 휴먼을 제작하기 위한 고품질의 3D 모델 제작에 있어 가장 큰 문제로 인식되고있다. 그에 비해 3D 스캔을 통한 모델 생성은 빠르게 모델링 데이터를 얻을 수 있으나, 스캔을 위한 대량의 하드웨어가 필요하며 3D 스캔을 위한 하드웨어의 구성과 성능에 따라 그 결과물의 편차가 크게 나타나는 문제가 있다.
실사 기반의 디지털 휴먼 제작은 움직임 및 모델의 기본이 되는 인물을 촬영한 뒤, 얼굴과 표정을 3D 맵핑 (mapping)을 통해 합성한다. 이 방법을 통해 빠르게 움직이는 인물에 대한 모션과 영상을 획득할 수 있지만, 최종결과물이 전신이 구현된 3D모델이 아니므로 목적에 맞게 촬영된 영상 이외에는 활용 면에 있어서 제한이 발생한다. 리깅은 3D 모델을 변형할 때 자연스럽게 변형될 수있도록 각 부위를 구분하고 가동 부위를 정의하는 과정으로 뼈대를 심는 과정이다. 제작된 3D 모델의 형태와 관절의 구성에 맞춰 수행되는 리깅이 선행되지 않으면 생성된 3D 모델의 각 부위가 유기적으로 연계하여 움직일 수가 없으며 정밀하게 완료된 리깅은 3D모델의 애니메이션에 대한 완성도를 높이고 이질감을 줄이는 가장 중요한 요소이다.
둘째, 자연스러운 움직임을 재생 또는 구현할 수 있는 모션 캡처 기술이다. 주로 사용되는 모션 캡처의 방식에는 마커(marker)를 통해 움직임을 추적하는 마커 방식과 센서를 이용한 마커리 스(markerless) 방식이 있다. 마커 방식은 주로 광학식이 사용되며 마커리스 방식에는 자이로식이 많이 사용된다. 그 밖에도 카메라를 통해 획득한 이미지를 기반으로 인공지능 기술을 이용하여 움직임을 추정하는 이미지 기반(또는 비전 기반)의 모션 캡처가 있으며 각각의 모션 캡처 기술의 장단점은 <표1>과 같다.
또한, 세밀한 감정 표현, 움직임 표현을 위한 안면의 움직임과 손가락의 움직임을 캡처하기 위한 기술도 필요하다. 안면의 움직임을 캡처하기 위해서는 머리 고정 형 얼굴 모션 캡처 리그(Head Mounted Facial Motion Capture Rig, HMC)가 필요하며, 손가락의 움직임을 캡 처하기 위해서는 글러브 형태의 트래킹 글러브(Finger Tracking Gloves) 또는 센서와 같은 장비를 사용한다.
셋째, 목적에 맞는 인터렉션을 수행하고 3차원 모델 을 변형할 수 있는 인공지능이다. 빅데이터 처리와 데이 터마이닝을 통한 인공지능 고도화, 자연어 입력 및 출력 기술을 통해 디지털 휴먼이 입력된 질문 또는 주어진 상황에 대해 자연스럽게 반응하여 처리할 수 있도록 하며 딥러닝을 통한 이미지 학습과 캡처 정밀도 향상을 통해 자연스러운 움직임을 구현할 수 있도록 움직임을 보정한다. 또한, 인공지능을 통한 이미지 합성을 통해 자동으로 리깅 또는 페이스 리깅을 진행하고 보이스웨어를 통한 음성 출력과 동기화된 자연스러운 입모양을 구현하는 등 세밀한 부분의 정밀도를 올리기 위해서 인공지능을 사용한다.
III. 디지털 휴먼의 개발 사례
현재까지 등장한 디지털 휴먼들의 사례를 통해 볼 때 대부분이 3D 스컬핑 또는 실사 기반의 합성을 통해 디지털 휴먼을 제작하였다. 3D 모델링을 통한 디지털 휴먼 제작은 정밀한 3D 모델을 제작한 뒤 해당 모델을 바탕으로 원하는 다양한 형태로 디지털 휴먼의 구현이 가능하다는 장점이 있지만, 제작에 시간과 비용이 많이 드는 단점이 있다. 이는 다수의 숙련된 제작인력이 필요하며 제작기간의 증가와 인건비 증가로 이어지는 문제점을 가지고 있다. 또한, 애니메이션 적용을 위해 별도의 모션 캡처를 진행하거나 키프레임을 통한 애니메이션을 제작해야 하는 한계가 있다. 실사 기반의 디지털 휴먼 제작은 연기자를 촬영한 실사를 바탕으로 얼굴을 합성하는 방식으로 비교적 제작이 간편하나 제한된 형태의 가공만 가능하다는 단점이 있다. 한번 제작한 콘텐츠의 수정이 불가능하고 다른 구도, 다른 형태로 제작하기 위해서는 처음부터 새로 작업을 해야 하는 한계점을 가지고 있다.
현재 디지털 휴먼은 다양한 분야에서 사용되고 있으며 각 분야의 목적에 맞게 제작되어 활용되고 있다. 최근 주목받고 있는 디지털 휴먼의 대표 사례를 종합하면 <표 3>과 같다.
최근 다양한 분야에서 다양한 목적으로 디지털 휴먼을 제작하고 활용하고 있다. 이러한 사례들을 조사하고, 그 특징들을 분석하였다. 특히 오모션에서는 최근의 디지털 휴먼의 제작 파이프라인 기법에 볼류메트릭 3D 스캔과 모션처리 기술을 도입하여 새로운 콘텐츠 제작 플랫폼을 제시함으로써 고비용 및 많은 시간이 소요되는 디지털 휴먼 제작 시장에 새로운 대안을 제시하고 있다.
IV. 결론
기술 발전과 더불어 혼합현실 환경에서 주요한 콘텐츠로 부상한 디지털 휴먼에 대하여 제작 기법을 중심으로 분석하고 향후 디지털 휴먼의 발전 방향을 탐색하였다. 현재 디지털 휴먼의 제작에 있어서의 가장 큰 장벽은 3D 모델 생성과 움직임 구현이며 이를 위해서 다수의 숙련된 3D 그래픽 디자이너와 맨먼스를 요구한다. 디지털 휴먼 및 유사 콘텐츠의 수요는 지속적으로 증가하고 있는 만큼 해당 장벽을 해결하는 것은 디지털 휴먼의 활용범위를 극적으로 확장 시킬 수 있을 것이다. 이에 본 연구에서는 현재 디지털 휴먼의 제작 방식을 일신하고 더 나은 품질의 3D 모델을 획득함으로써 전방위 관찰이 가능한 3D 콘텐츠를 구현할 수 있는 가능성을 공유하고자 하였다.
앞에서 살펴본 것과 같이 디지털 휴먼은 그 활용 범위가 오프라인에서 온라인 위주로 또한 메타버스로 확장됨에 따라 실시간 상호작용의 필요성이 제기되고 있다. 이에 따라 앞으로 디지털 휴먼은 오프라인에서 벗어나 메타버스 환경에서 요구하는 기술적 요구에 맞춰 실제와 구분이 어려운 수준의 고품질의 모델링 움직임을 가지고 인공지능을 통해 실시간 상호작용이 가능한 독립된 개채로서의 메타휴먼으로 발전할 것으로 예상된다. 따라서 향후에는 디지털 휴먼을 제작하는 새로운 방법론과 관련된 연구를 통해 효율적인 디지털 휴먼의 생성 방법과 적용 방안을 연구가 필요할 것이다.
'기타 3D' 카테고리의 다른 글
| 사전 렌더링과 실시간 렌더링의 차이점 (0) | 2022.06.25 |
|---|---|
| VFX / 3D Animation 제작의 이해 (0) | 2022.06.25 |
