AI안전성연구센터,‘립싱크 딥페이크 차단 기술’ 세계 최초 개발…NeurIPS 2026 채택

중앙대 권준석 교수 연구팀과 공동연구… ‘MUTE’, 세계적 AI 학회 NeurIPS 2026 채택

목소리에 보호 신호 더해 가짜 영상의 입 모양과 말소리 일치 방해…개인정보인 목소리 악용 방지

개인정보위 R&D(전문기관 KISA) 과제로 수행 중인 연구 성과… 딥페이크 악용 대응 기술 고도화 추진

<왼쪽부터 최대선 교수, 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 권준석 교수, 홍진 박사과정>

AI안전성연구센터 최대선 교수 연구팀이 중앙대학교 권준석 교수 연구팀과 공동으로, 개인의 목소리를 도용해 실제로 말하는 것처럼 꾸민 가짜 영상, 이른바 ‘립싱크 딥페이크’의 제작을 막는 기술 ‘MUTE(뮤트)’를 개발했다. 연구팀에 따르면 음성 보호 처리만으로 가짜 영상의 입 모양과 소리의 일치를 무너뜨린 기술은 이번이 처음이다. 이번 연구는 얼굴, 음성 등 개인정보의 악용을 막기 위한 기술로 세계 최고 권위의 국제학술대회 ‘NeurIPS 2026’에 채택됐으며, 개인정보위·KISA의 R&D 과제를 통해 수행한 성과이다.

최근 AI 기술의 발전으로 사진 한 장과 짧은 음성만으로도 실제 사람이 말하는 듯한 정교한 가짜 영상을 만들 수 있게 됐다. 온라인에 공개된 인터뷰나 강연 속 얼굴과 목소리가 무단으로 수집돼, 본인이 한 말을 전혀 다른 자리에서 한 것처럼 꾸민 가짜 광고나 가짜 뉴스에 악용될 수 있다. 얼굴과 목소리는 개인을 식별할 수 있는 개인정보지만, 한번 공개되면 정보주체가 그 이용을 통제하기 어렵다. 가짜 영상을 찾아내 삭제하는 대응은 피해가 발생한 뒤에야 이뤄지는 만큼, 개인정보가 악용되기 전에 보호하는 기술의 중요성이 높아지고 있다.

MUTE는 영상이나 녹음 파일을 온라인에 올리기 전, 음성에 사람이 거의 느끼지 못하는 미세한 보호 신호를 더하는 기술이다. 원래 목소리의 자연스러움은 유지하면서도, AI가 해당 음성을 이용해 가짜 영상의 립싱크를 만들어내는 과정을 방해한다. MUTE로 보호된 음성으로 만든 가짜 영상은 소리와 입술 움직임이 크게 어긋나 립싱크가 눈에 띄게 무너진다. 이 때문에 시청자도 영상에서 어색함을 쉽게 느낄 수 있어, 실제 촬영 영상이 아니라 조작된 가짜 영상일 가능성을 알아차리기 쉬워진다. 연구팀은 5종의 AI 영상 생성 모델에서 립싱크 정확도가 평균 47.5% 낮아지는 것을 확인했으며, 이러한 보호 효과는 음성의 잡음을 제거하는 등의 정제 과정을 거친 뒤에도 유지됐다.

<‘MUTE’ 적용 전후 비교 개념도>

최대선 교수는 “AI 기술이 발전하면서 딥페이크 악용도 사진이나 목소리의 위조를 넘어, 음성을 바탕으로 실제 인물이 말하는 듯한 정교한 가짜 영상을 만드는 수준으로 진화하고 있다”며 “이에 대응하려면 얼굴과 목소리 같은 개인정보를 공개 전에 보호하는 기술이 필요하다. 이번 성과는 개인정보 보호 기술이 갈수록 정교해지는 딥페이크 위협에 맞설 수 있음을 보여준다는 점에서 의미가 크다”고 말했다.

김동현 박사과정은 “이번 연구로 음성 보호만으로도 립싱크 딥페이크를 막을 수 있음을 확인했다”며 “여기에 이미지 보호를 더하면 가짜 영상의 립싱크를 더욱 강하게 훼손해 악용을 어렵게 만들 수 있다. 과제의 다음 단계로 두 가지를 함께 보호하는 기술을 개발해 개인의 얼굴과 목소리를 노리는 딥페이크 위협에 대응하겠다”고 밝혔다.

이번 연구는 개인정보위·KISA를 통해 선정된 R&D 과제로, 올해부터 수행 중인 ‘딥페이크 억제 기술 개발’ 과제의 일환으로 진행됐다. 숭실대 연구팀은 2026년부터 2028년까지 해당 과제를 수행하며, 이번 음성 보호 기술에 이어 이미지/영상 보호기술을 차례로 개발해 개인의 얼굴과 목소리가 딥페이크 제작에 악용되는 것을 사전에 차단할 계획이다.

이번 공동연구에는 최대선 교수와 김동현 박사과정, 김승민 석사과정, 김다인 학사과정, 중앙대 권준석 교수와 홍진 박사과정이 참여했다. 논문 제목은 ‘MUTE: Multi-Level Alignment Uncoupling Against Talking-Head Exploitation for Voice Protection’ 이며 NeurIPS 2026은 오는 12월 호주 시드니 등에서 열린다.

<‘MUTE’ 논문 표지>

<연구팀이 제안한 ‘MUTE’의 작동 원리를 설명한 개요도 >

* <립싱크 딥페이크 차단 기술 시연 영상 > 첨부

홍보팀 기사 바로가기