#.미국 팝가수 테일러 스위프트의 얼굴을 음란물에 합성한 '딥페이크(DeepFake)'가 27일(현지지간) X(옛 트위터)를 중심으로 17시간 유포되는 사건이 벌어졌다. 조 바이든 대통령의 목소리를 복제 해 유권자들에게 부당한 선거운동을 한 사건이 일어난지 일주일 만이다.

한국도 딥페이크 범죄에서 자유롭지 않다. 지난해 투자업계 유명인 박순혁 작가와 배우 조인성과 송혜교가 투자를 권유하는 딥페이크 영상이 떠돌았다. 유명인을 이용한 투자사기 광고에 수십명이 걸려들었다. 현재 피해자들은 집단 소송을 준비 중이다.

생성형 인공지능(AI)가 딥페이크 범죄에 악용되고 있어 대책 마련이 시급하다. 현재 한국은 딥페이크 범죄를 성착취물일 경우에만 처벌할 수 있어서다. 만약 범죄자가 선거 여론 조작과 투자 사기, 금융범죄 등을 목적으로 하면 딥페이크 제작에 관해서는 처벌할 방법이 없다.

딥페이크는 AI 기술 또는 그래픽 프로그램으로 실제와 최대한 흡사하게 꾸민 제작물을 뜻한다. 과거에는 주로 여성 및 아동에 음란물을 합성한 성착취물로 나타났으나 최근에는 유명인을 합성해 사기에 이용하거나 무단으로 광고하는 범죄가 늘고 있다. 2022년 세계를 강타한 생성형 AI가 명령어(프롬프트·Prompt)만으로 구동되며 장벽이 낮아진 탓이다.

딥페이크 제작물은 챗GPT가 등장한 해 크게 늘었다. 방송통신심의위원회가 지난 3년간 딥페이크 기술을 적용한 음란물을 적발한 사례는 2020년 6월부터 올해 8월까지 3년 2개월간 총 9006건으로 집계됐다. 연도별로는 2020년 473건, 2021년 1913건, 2022년 3574건이다. 유난히 챗GPT가 등장한 2022년 적발 사례가 두 배 가까이 늘었다. 다만 적발 사례는 모두 2021년 제정된 성폭력처벌법에 의거해 적발 된 성착취물이다. 현재 문제로 떠오른 사기, 가짜뉴스, 금융 범죄 등에 사용되거나 사용 여지가 있는 제작물은 포함하지 않는다. 즉, 제작물이 성착취물일 때만 딥페이크 범죄를 별도 여죄로 볼 수 있다.

정부는 뒤늦게나마 지난달 29일부터 딥페이크 영상을 대표로 AI를 활용한 선거운동을 전면 금지했다. 더불어 같은 달 11일부터 선거관리위원회는 AI 전문가와 전담 요원 등으로 구성된 감별반을 통해 선거에 관한 딥페이크 제작물을 단속 중이다. 그동안 우리 정부는 ICT 기술 경쟁력 확보의 중요성을 높게 봐 개발을 장려하기 위해 규제안을 마련하지 않았으나 사안의 심각성을 고려해 시급히 제정했다. 이보다 앞선 11월에는 글로벌 28개국과 EU가 함께하는 '1차 AI 안전 정상회의'에 참가해 AI 위험에 공동 대응하는 '블레칠리 선언'을 채택했다.

KISA 관계자는 그 예시로 "정치인 이메일이나 SNS 계정을 해킹해 유권자에게 피싱 사이트를 보내거나 유권자를 상대로 가짜뉴스를 담은 문자 메시지를 보내는 등의 부작용이 우려된다"고 밝혔다.

전문가들은 정부의 다양한 대책안 마련에도 불구하고 얼마나 효과적일지에 대해서는 의문을 표한다. 온라인의 특성상 한 번 유포 되면 이를 잡기 어렵고 특히 해외 플랫폼을 이용해 퍼뜨릴 경우 검거에도 시일이 걸리는 만큼 제작 단계에서부터 딥페이크 범죄로 이용할 수 없도록 해야 한다고 지적한다.

김승수 국민의힘 의원은 지난 1일 기술을 이용해 만든 거짓 정보를 온라인 게재 시 워터마크(식별표시)를 의무화하는 내용의 정보통신망법 개정안을 대표 발의했다. 김 의원은 "AI 기술의 발전과 함께 이를 악용하는 범죄와 피해사례가 지속적으로 증가하고 있다"며 "AI 기술을 활용한 거짓 영상에 대한 식별표시를 의무화하면 건전한 AI 기술 활용 문화의 정착은 물론 피해 감소도 기대된다"고 말했다.

워터마크는 현재 국내외로 딥페이크 예방을 위한 최선의 방법으로 인식된다. 워터마크는 데이터 생성 단계에서 눈에 보이지 않더라도 AI 제작물임을 밝히는 데이터를 삽입할 가능성이 높은 것으로 전해졌다. 그러나 현재 접속해 딥페이크를 만들 수 있는 생성형 AI 툴들이 아직 해당 제작물에 워터마크 삽입을 하지 않은 것은 물론, 표식이 실질적으로 보이지 않는다면 다양한 편법을 통해 악용할 수 있을 것으로 본다. 또 앞서 나타난 딥페이크 범죄에서 해당 인물의 시선이나 입 모양, 손 등이 일그러지며 딥페이크를 알아차릴 수 있는 여지가 있었음에도 많은 사람들이 이를 발견하지 못한 점 또한 취약점이다. 디지털 약자들의 경우 더욱 취약하다.

딥페이크를 높은 정확성으로 판별할 수 있는 SaaS형 딥페이크 탐지 솔루션을 개발한 딥브레인AI는 최근 탐지 솔루션 개발 후 문의가 이어진다 전했다. 선거를 앞두고 국내외 정부기관, 언론사, 관계자로부터 딥페이크 탐지에 관심이 커졌다. 딥브레인AI는 이번 SaaS형 딥페이크 탐지 솔루션을 바탕으로 누구나 쉽고 간편하게 허위사실 유포를 예방하고, 혼란을 최소화할 수 있도록 적극 지원할 방침이다.

장세영 딥브레인AI 대표는 "사람을 돕는 기술로 활용돼야 할 AI 기술이 신종 범죄 수단으로 악용되고 있어 매우 안타깝게 생각한다"며, "딥브레인AI는 생성형 AI 대표 기업의 강점을 살린 완성도 높은 딥페이크 탐지 솔루션을 SaaS 형태로 전 세계에 적극 지원하며 글로벌 딥페이크 범죄 근절에 앞장설 것"이라고 밝혔다.