디지털 영상 속 '얼굴 바꿔치기'를 보다 자연스럽게 할 수 있는 기술이 국내에서 개발됐다. 최근 디지털 엔터테인먼트로 주목받고 있는 '버튜버' 분야에서 보다 자연스러운 표정을 캐릭터가 표현할 수 있을 것으로 보여 국내외 업계의 상당한 주목이 예상된다.

카카오브레인은 아이덴티티 임베딩(Identity Embedding) 기능이 향상된 새로운 페이스 스와핑(face-swapping) 기술 '스무스-스왑(Smooth-Swap)' 모델을 개발했다고 9일 밝혔다. 

페이스 스와핑 기술은 사용자들이 틱톡, 스냅챗 등 SNS에서 본인의 얼굴을 촬영한 뒤, 촬영된 얼굴을 다른 얼굴로 바꾸는데 흔히 쓰이는 기술이다.

카카오브레인이 이번에 신규 개발한 스무스-스왑 모델은 보다 단순화된 아키텍처로 구성되어, 기존에 공개된 기술 대비 더 빠르고 안정적인 페이스 스와핑을 가능케하는 기술이다. 특히, 현존하는 페이스 스와핑 시스템 모듈을 하나의 통합된 아이덴티티 임베더(identity embedder)로 대체함으로써 복잡도를 줄였다.

카카오브레인은 페이스 스와핑에 대한 획기적인 연구 성과를 담은 'Smooth-Swap: A Simple Enhancement for Face-Swapping with Smoothness' 논문을 오는 6월에 열리는 글로벌 학술대회 CVPR 20222 오럴 세션에서 발표할 예정이다. 

지난 해에 이어 2년 연속 오럴 세션 발표 기회를 확보한 카카오브레인은 지난해 사물과 사물의 상호작용을 이해하는 모델의 개발 성과를 담은 논문 'HOTR: End-to-End Human-Object Interaction Detection with Transformers'를 CVPR 2021에서 발표했다. 

작년의 경우 상위 4%의 성적을 거둔 논문에게만 CVPR 오럴 세션 발표 기회가 주어졌으며, 특히, 이번 연구 성과는 페이스 스와핑 아키텍처의 복잡성을 크게 줄이는 데 성공했을 뿐만 아니라, 기술 상용화를 위한 높은 잠재력을 보여줬다는 점에서 의미가 크다는게 카카오브레인의 설명이다.

카카오브레인은 하나의 통합된 아이덴티티 임베더(identity embedder)를 구축하고, 안정적이고 일관된 아이덴티티 그래디언트(identity gradient)3를 확보함으로써 자연스러운 페이스 스와핑이 가능하도록 했다.

또한 카카오브레인의 Smooth-Swap 모델은 단순화된 아키텍처와 향상된 성능으로 상용화 가능성과 기술 적용 범위를 넓혔을 뿐만 아니라, 비디오가 재생중인 상황에도 페이스 스와핑이 가능하도록 함으로써 기술의 경쟁력을 더욱 높였다.

추후 빠르고 안정적인 페이스 스와핑이 가능한 카카오브레인의 스무스-스왑 모델을 통해 가상 인플루언서, 쇼호스트, 아나운서 등 다양한 직업군의 디지털휴먼을 개발할 수 있을 것으로 기대된다.

카카오브레인 김일두 대표는 "혁신적인 스무스-스왑 모델을 세상에 공개하게 돼 매우 기쁘다"며 "우리가 공개한 스무스-스왑 모델이 페이스 스와핑 기술 분야의 혁신을 가속화하여 항상 꿈꿔왔던 메타버스와 미래의 디지털 휴먼 서비스를 구현하는 데 기여할 수 있을 것이라 믿는다"라고 말했다.

[파이낸셜신문=황병우 기자] 

황병우 기자 다른기사 보기