본교 AI안전성연구센터, 음성 복제 방지 기술 ‘RoCo’ 개발

  본교 AI안전성연구센터 최대선 교수 연구팀이 AI 음성 복제 방지 기술 ‘RoCo(Robust Code)’를 개발했다. 연구팀은 최대선 교수를 중심으로 △AI위험관리팀 박소희 팀장 △AI위험관리팀 김승민 팀원 △차세대 AI 위협 분석 그룹 김다인 팀원으로 구성됐다. 해당 기술은 AI 음성 복제 생성 시도를 사전에 차단하는 방식으로 기존 딥보이스 대응 기술의 한계를 보완했다.

  RoCo는 음성이 AI 음성 복제 모델에 입력되는 단계에서 원하는 목소리로 생성되지 않도록 막는 사전 방어 기술이다. 기존 딥보이스 대응 기술은 가짜 음성 생성 이후 이를 탐지하는 사후 대응 방식이었지만, RoCo는 생성 자체를 원천 차단하는 데 초점을 맞췄다.

  RoCo는 음성 신호에 단순 가상 노이즈를 결합하는 대신 딥러닝 모델을 활용한다. 음성을 세분화한 뒤 고차원 표현으로 변환하고 미세한 노이즈를 주입해 분리가 어렵도록 만든 후 음성으로 재구성하는 방식이다. 또한 로스(loss) 업데이트 방식을 동적으로 조정해 불필요한 계산 과정을 줄였다. 이를 통해 기존 1분에서 2분가량 소요되던 생성 시간을 5초에서 10초 수준으로 단축해 약 12배 이상의 속도 개선 효과를 거뒀다.

  RoCo는 △국제음향 △음성 △신호처리학회 ‘ICASSP 2026(이하 ICASSP)’에 채택되기도 했다. AI위험관리팀 김 팀원은 “ICASSP에서는 보통 탐지 위주의 논문들이 많이 채택되는데 사전 방어라는 생소한 주제를 다룬 것이 강점으로 작용한 것 같다”고 밝혔다.

  개발 과정에서는 방어 효과와 음질 유지 사이의 균형을 맞추는 점이 주요 과제였다. 사전 방어 특성상 음성에 다량의 노이즈를 주입해야 하지만, 이 과정에서 기존 음질 저하 문제가 발생했기 때문이다. AI위험관리팀 김 팀원은 “트레이드 오프 간 방어 효과와 음성의 원본 음질 모두 잘 유지할 수 있게끔 신경을 기울였다”고 전했다.

  연구팀은 지난 4일(월)부터 스페인에서 열린 학회에서 해당 기술을 공개했다. 향후에는 스마트 스피커 등 실제 환경을 대상으로 실험을 진행해 사전 방어 효과를 검증할 계획이다. AI위험관리팀 김 팀원은 “인간이 들었을 때의 음성 품질 저하를 보완해 상용화 단계 기술로 발전시키고 싶다”고 밝혔다.

  한편 본교 AI안전성연구센터는 실질적인 연구 과제 발굴과 국가 연구개발(R&D) 사업 수주를 중심으로 연구 기반을 구축하고 있다. 또한 △딥페이크 △엣지 AI △생성형 AI 보안 등 전문화된 연구를 진행 중이다.

기사 바로가기