한국도 총선이 다가오면서 딥페이크 등 허위정보로 인해 선거가 혼탁해질 가능성이 높아지고 있다. 이에 우선 선거 주무기관인 중앙선거관리위원회가 나섰다.

공직선거법 제82조의8을 신설하여 선거일 전 90일부터 선거일까지 선거운동을 위해 인공지능 기술 등을 통하여 실제와 구분하기 어려운 가상의 음향, 이미지 또는 영상(딥페이크 영상 등)의 제작·편집·유포·상영·게시를 금지했다. 또한 중앙선관위는 AI 모니터링 전담요원과 AI 전문가로 구성된 감별반 등을 확대 편성하여 대응 중이다.

글로벌 차원에서 생성형 AI의 위험성에 대한 규범 정립 논의가 활발히 진행 중인데, 특히, 워터마크 도입 논의가 활발하다. 워터마크(watermark)란 디지털 이미지나 문서에 삽입되는 로고나 텍스트로, 해당 자료의 소유자나 원본을 표시하는 역할을 한다. 이를 통해 불법적인 복제나 사용을 방지하고, 소유자의 권리를 강화할 수 있다.

또한 저작권 보호나 인증을 목적으로 사용되는데, 이에 따라 해당 자료의 무단 사용을 방지하고 저작권 침해에 대한 증거로 활용된다. 생성형 AI에서는 생성형 AI로 생성된 콘텐츠를 더 쉽게 식별할 수 있도록 한다. 이로 인해 허위정보일 가능성이 높다는 점을 추정할 수 있게 된다.

미국은 ‘23.7. 자율 서약(Voluntary Commitments)에서 미 바이든 정부와 주요 AI 기업 7개가 안전, 보안, 신뢰를 강조하는 8가지 약속에 AI 생성 시청각 콘텐츠 표식(워터마크) 개발 규정을 포함했다. 또한 ’23.10. 행정명령(Executive Order)에서 미 행정부가 직접 AI 생성 콘텐츠 식별을 위한 기술 개발 촉진 및 인증 지침을 마련하며, 정부 생산 디지털 콘텐츠에 AI 생성을 표시하는 지침을 제정했다.

EU는 인공지능법(AI Act)에 범용 AI 모델 관련 콘텐츠가 AI에 의해 생성되었음을 명시하는 투명성 의무를 규정했고, G7은 ‘23.10. AI 행동강령에서 히로시마 AI 프로세스에 따라 워터마킹 등 AI 생성 콘텐츠 식별을 위한 인증 및 출처 표시 항목을 포함했다.

사업자들의 자율규제 움직임도 나타나고 있다. 구글, 오픈AI, 메타 등 빅테크들은 지난 2월 16일 개막한 독일 뮌헨안보회의(MSC)에서 딥페이크가 세계 각국 선거에 영향을 미쳐 혼란을 야기할 수 있다는 데 의견을 모으고, 딥페이크를 차단하는 방안을 마련하겠다는 내용의 합의문을 발표했다.

여기에서 빅테크들은 딥페이크를 감지해 라벨(꼬리표)을 붙이는 등 조치를 취하기로 했다. 또 효과적으로 딥페이크 등을 막은 모범 사례를 공유해 위법한 콘텐츠에 대해서 신속하게 대응하기로 했다.

국내 기업은 ’23.9, 초거대 AI 도약 행사에서 자발적 안전조치 이행 선언을 했고 ’23.10, 제4차 AI 최고위 전략대화에서 워터마크의 단계적 도입에 합의하였으나, 아직 대부분의 기업이 워터마크 기술을 도입하고 있지 않는 상황이다.

다만, 최근 사업자들의 자율규제가 도입되고 있다. 네이버는 딥페이크 관련 키워드 검색 결과에 경고나 주의 문구를 노출하는 방안을 검토하고 있다. 또한 자사 AI 서비스 클로바X에서 음란성 콘텐츠나 얼굴 합성을 요청하는 경우 결과물, 즉 답변을 제공하지 않도록 했다. 카카오의 AI 전문 자회사 카카오브레인은 자체 개발한 이미지 생성 AI 모델 ‘칼로’에 워터마크 기술 도입을 검토 중이다.

다만, 워터마킹의 문제점은 그것이 완벽하지 않다는 것이다. 이미지의 워터마크는 설계에 따라 감지될 수 있어 제거될 수 있으며, 비디오 워터마킹의 경우 워터마킹이 비디오 프레임 전체에 걸쳐 있으면 일반적인 비디오 압축 방법에서 손실될 우려가 있다. 텍스트의 경우 간단한 텍스트 편집을 통해 워터마킹이 쉽게 깨질 수 있다.

한국은 워터마크에 대한 법적 규제도 검토하고 있다. 국회에 계류 중인 기존 인공지능법 제정안에 AI 콘텐츠 워터마크 표시 의무화를 추가한 개정안을 마련하고 국회 통과를 기다리고 있다. 그러나 허위 정보에 대한 법적 규제, 자율규제 외에 제일 중요한 것은 허위 의심 정보에 대한 진위 여부를 판단할 수 있는 이용자의 리터러시 함양이다.

그러나 문제는 심각한 정치적 편향과 확증 현상으로 인해 믿고 싶은 정보만 믿는 현상이 난무하고 있는 것이다.

결국 플랫폼 기업이 조금 더 허위 정보를 선별하고 신속히 제거할 수 있는 노력을 해야 할 것이며, 그와 함께 정부와 민간 기업이 리터러시 함양을 위한 대대적인 캠페인을 벌이는 방안을 강구해야 할 것이다.이성엽 고려대 기술경영전문대학원 교수/기술법정책센터장