본문바로가기

머신 리얼리티(Machine reality)에 대한 보고: 딥페이크 , 거짓정보 그리고 저널리스트가 이에 대해 할 수 있는 일

※ Nicholas Diakopoulos(Columbia Journalism Review)의 'Reporting in a Machine Reality: Deepfakes, misinformation, and what journalists can do about them' 전문 번역한 것입니다('리포트 보러 가기'를 클릭하시면 원문을 확인하실 수 있습니다).


몇 주 전 버즈피드(BuzzFeed)*는 버락 오바마 전 대통령이 그와는 분명 어울리지 않는 재담을 하는 한 영상을 올렸다. 그러나 이 영상에서 가장 주목할 점은 오바마가 그런 발언을 했다는 사실이 아니라, 그런 발언을 한 적이 없다는 사실이다. 이 영상을 만들어낸 미디어 합성 알고리즘에는 오바마 대신 그를 흉내 낸 배우 조던 필(Jordan Peele)의 음성 녹음이 사용되었다. 결과는 놀랍도록 사실적이었다. (직접 확인해보시라.https://www.youtube.com/watch?time_continue=21&v=cQ54 GDm1eL0).


*버즈피드(BuzzFeed)는 페이스북, 스냅쳇, 유튜브 등 여러 디지털 플랫폼에서 뉴스 및 엔터테인먼트 콘텐츠를 제공하는 디지털 미디어 회사이다.


그 어느 때보다도 지금, 온라인상에서 보이는 그 무엇도 그대로 믿기 어렵다. 새로운 유형의 신경망 머신-러닝 알고리즘 덕분에, 강렬한 그러나 허구인 영상, 이미지, 음성 그리고 텍스트가 새롭게 합성될 수 있게 되었다. 가상의 얼굴 사진은 컴퓨터를 통해-기계 스위치로 그들의 감정, 피부, 나이와 성을 입력하는 것이다-현실적으로 제작될 수 있게 되었고, 스타일 트랜스퍼(Style transfer)*는 겨울을 여름으로, 또는 화창한 날을 비 오는 날로 묘사하는 등 이미지의 환경적 맥락을 바꾸어준다. 또 얼굴은 이 몸에서 저 몸으로 옮겨갈 수도 있게 되었는데 이것이 바로 잘 알려진 “딥페이크(deepfakes)”로, 이는 평판과 안전, 사생활에 일련의 위협을 가하고 있다. 참혹한 일이다.


*스타일 트랜스퍼(Style Transfer)는 이미지의 시간이나 날씨, 계절 혹은 예술적 편집 등과 같은 배경을 사진과 같이 현실적으로 변환시켜주는 기술을 의미한다. (참조자료:Fujun Luan, Sylvain Paris, Eli Shechtman & Kavita Bala (2017). Deep photo style transfer. arXiv:1703.07511. Retrieved from https://arxiv.org/abs/1703.07511)

 

그러나 한편으로, 이러한 기술적 도약은 사실상 저널리스트들에게 좋은 소식일 수 있다. 그리고 또 어쩌면 의혹을 제기하는 대중들에게까지 기술 플랫폼이 도달해야만 한다는 점에서, 선의의 제스처를 취할 기회를 제공할지도 모른다.


언론사들과 교육기관들은 미디어 포렌식 기술에 관한 훈련을 늘릴 필요가 있다. 전문가의 눈으로 걸러 낼 수 있는, 변형되고 합성된 미디어의 감출 수 없는 표식들이 있는 것이다-예를 들어, 사진 포렌식(photo forensics)*에 관한 해니 파리드(Hany Farid)의 책은 몇 가지 대안들을 제시해주고 있다. 픽셀의 색과 밀도, 규칙성에 대한 통계적 분석은 이미지 편집 혹은 접합을 보여주며; 반사점과 소실점은 기하학적으로 이상한 부분이 무엇인지 보여주고; 센서 노이즈(sensor noise)나 압축 가공물(compression artifacts) 또한 진실을 드러내준다는 것이다. 영상의 경우에는, 합성된 얼굴의 입이 종종 깜빡이거나 부자연스러울 수 있으며; 눈은 좀비의 멍한 눈을 띨 수 있다. 이처럼 알고리즘은 완벽하지 않다. 하지만 이러한 결점을 포착하기 위해서는, 모든 조사관들과 마찬가지로 저널리스트들에게도 훈련된 눈이 필요하다.

 

*사진 포렌식(Photo Forensics)이란 시각적 위조를 잡아내는 것으로 특히 가짜임을 밝혀내기 어려운 디지털 이미지들로 인해 그 중요성이 강조되고 있으며, 동명의 책을 출판하기도 한 해니 파리드(Hany Farid)는 이 분야의 개척자로 불린다.


컴퓨터 포렌식 도구의 개발과 융합은 분명 미디어 포렌식 훈련만큼이나 중요할 것이다. 합성된 콘텐츠가 때로 사람의 눈을 속일 수 있을지는 몰라도, 포렌식 알고리즘의 통계적인 눈은 그것이 가짜임을 알아 볼 것이다. ‘안면 포렌식(FaceForensics)’이라 불린 최근의 연구 프로젝트는 영상 속 얼굴이 98.1%의 정확도로 진짜라는 것을 감지하기 위해 머신 러닝을 사용한다. 또다른 연구는 영상 속 사람의 얼굴에서 혈액의 흐름을 찾아낸다. 이를 통해 (조작되지 않은 실제 사람의 얼굴을 담은 영상에서) 심장이 피를 밀어낼 때마다 화면 속 픽셀이 주기적으로 붉어지는 것을 파악할 수 있다. 미국 표준기술연구원(The National Institute of Standards and Technology, NIST)은 그들의 연구지원사업인 ‘미디어 포렌식의 도전(Media Forensics Challenge)’을 통해 사진과 영상 포렌식을 주제로 하는 추가적인 연구를 활성화하고 있다. 그리고 실제로 매년 디지털 포렌식에 대한 수백 건의 연구논문이 발표되고 있다.

 

그러나 이러한 기술들 대부분은 보도에 실용적으로 활용될 수 있을 정도의 대중적 이용성을 지니지는 못한다. 물론 인비드(InVid)*와 같이 매체 검증에 이용할 수 있는 통합적 툴이 몇몇 있기는 하지만, 대부분의 컴퓨터 포렌식 기술들은 여전히 연구 초기단계에 있으며, 저널리즘 일반에 활용되기에는 무리가 있다. 따라서 포렌식 기술에 대한 더 많은 연구가 진행될 필요가 있다.


*인비드(InVid)는 인터넷에 떠도는 거짓 정보를 빠르게 검증하는 데 도움이 되는 유용한 도구 중 하나로 동영상 및 사진 검증에 유용하다. 


뉴스 생산자 외에 여러 당사자들이 거짓 영상물을 감시할 책임이 있다. 그러한 이해관계자들은 두둑한 자금력은 물론, 그들 스스로 연구 자원을 가지고 있다. 다시 말해, 합성된 사진이나 영상이 올라가게 되는 정보 플랫폼들은 포렌식 기술 연구에 도움을 줄 수 있다. 예를 들어, 페이스북이나 유튜브가 ‘안면 포렌식(FaceForensics)’ 프로젝트와 협업한다면, 그들은 가짜로 의심되는 영상에 눈에 잘 띄는 표시를 할 수 있다. 그것은 이용자와 언론으로 하여금 영상의 진위여부에 주의를 기울이도록 하는 단서가 될 수 있다. 또한 그렇게 함으로써 플랫폼 사업자들은 그들이 오직 단기적인 영업이익만 추구하는 것이 아니라 사회적 이익을 위해 기꺼이 행동한다는 것을 증명할 수 있다.

 

그러한 신뢰를 구축하기 위해 플랫폼 사업자들은 디지털 포렌식 등을 통한 ‘진위 여부 입증’이 의미하는 바에 대해 솔직해야 한다. 만약 포렌식을 통한 진위 판정이 유튜브의 제한 모드 필터기능*에 통합된다면, 최종 소비자는 가짜로 의심되는 콘텐츠가 자동적으로 숨겨지도록 설정할 수도 있을 것이다. 그리고 IT 기업들이 사진이나 영상 등을 검증하는 알고리즘을 API 등을 통해 무료로 이용가능하도록 한다면, 컴퓨테이셔널 저널리스트(computational journalist)**들은 그들이 적합하다고 판단한 대로 검증 결과를 그들의 작업에 반영할 것이다. 그들이 지금도 도로 주소를 지형 코드화***하는 등의 단순한 컴퓨테이셔널 저널리즘을 실시하고 있기는 하지만 말이다.


* 유튜브는 현재도 사용자 신고 및 기타 신호로 식별한 부적절한 콘텐츠가 포함된 동영상을 필터링하는 기능인 ‘제한 모드’를 제공하고 있다.

** 컴퓨테이셔널 저널리즘(computational journalism)이란 자료의 수집, 조직화, 소통과 뉴스 정보의 배포 등 저널리즘 활동 전반에 컴퓨터 기술을 활용하는 저널리즘을 의미한다.

***지형 코드화(geocoding)란, 경위도 등의 지리 좌표를 지리 정보시스템(GIS)이나 컴퓨터로 사용가능하도록 X-Y의 디지털 형태로 만드는 과정을 의미한다. 좌표계를 갖지 않은 도로에 위치 부여하는 작업 등이 그 예이다.

   

그러나 궁극적으로, 미디어 포렌식 기술만으로 모든 것이 해결되는 것은 아니다. 포렌식 기술은 사용하기 어려우며, 정보를 분석하기 위해서는 고도의 트레이닝을 요구한다. 또한 때때로 확정적이지 않은 결과를 제공할 수도 있으며, 다른 모든 정보 보안과 유사하게 지속적인 지지와 관심을 필요로 한다. 또다른 층위의 포렌식은 진위여부를 판정하는데 있어서 미디어의 맥락을 고려한다. 즉, 어떤 이미지가 아주 쉽게 합성될 수 있다면, 적절한 포렌식 수행에 있어서 시간, 장소, 사회적 상황 혹은 다른 맥락의 중요성이 커질 것이다. 만약 의심스러운 이미지가 어제 만들어진 계정에 의해 업로드 되었고 해당 이미지를 ‘봇’ 팔로워들이 팔로우하고 있다면, 그러한 사실은 진위여부 판정에 힌트가 될 수 있다. 이미지의 진위여부를 판정하기 위해 맥락을 해석하는 것은 저널리스트들이 훈련하고 숙달할 필요가 있는 또다른 형태의 미디어 리터러시이며, 모호한 맥락을 파악하는 것을 돕는 도구가 될 것이다.

 

소셜미디어의 거짓정보를 검증하는 과정들이 스토리풀(Storyful)*과 벨링캣(Bellingcat)**과 같은 단체들에 의해 절차화되어 실행되고있다. 그러한 단체들은 사실을 확인하고, 증거를 제시하고, 내용과 그것의 출처를 입증하는 엄격한 절차에 따라 거짓정보 검증을 시행한다. 이미지, 비디오 혹은 텍스트가 미디어 합성 알고리즘의 결과물인지를 검증하는 저널리스트들도 소셜미디어 검증의 사례처럼 검증 과정을 확장하고 절차화하여 그들의 작업에 반영해야 한다. 언론은 검증 방법의 투명성을 보장하는데 더 몰두해야 한다. 합성된 결과물을 검증하는 확고하고 표준화된 절차가 개발되어야 하며, 널리 공개되어야 한다. 그리고 언론은 그러한 표준화된 절차를 충실히 지켜야 한다. 이는 신뢰의 문제에 관한 것이다. 익히 알려진 언론에서 꼼꼼하고 철저한 절차에 따라 거짓정보를 검증한다면, 사람들은 그곳으로 몰려들 것이다.


* 스토리풀(Storyful)은 소셜미디어 뉴스 통신사로, 페이스북, 트위터, 유튜브 같은 소셜네트워크서비스(SNS)에 올라온 각종 뉴스와 동영상을 일목요연하게 편집해 다른 언론사에 제공한다.   

** 벨링캣(Bellingcat)은 웹사이트 기반으로 하여 레딧, 유튜브, 구글맵 등에 공개된 사진, 영상 등 자료를 분석해 탐사하는 추적 조사팀이다.

 

우리가 인터넷의 거짓 정보들을 판별해내는 우리 자신의 안목을 신뢰할 수는 없다 하더라도, 우리는 언론이 그들이 발행하는 기사에 거짓 정보가 실리지 않게끔 엄격한 절차를 따르고 있다는 것을 신뢰할 수는 있다. 그런 의미에서, 합성된 미디어는 오히려 사람들이 주류 언론의 품으로 돌아가게끔 하는 계기가 될 수 있다.

 


   



한국경제신문
오마이뉴스
이데일리
KBS
매일경제
노컷뉴스
SBS
연합뉴스
아이뉴스24
MBC
중앙일보
JTBC
아시아경제
뉴시스
세계일보
YTN
전북일보
뉴스톱
조선일보
MBN
머니투데이
문화일보
뉴스1
동아사이언스
한국일보
TV조선
서울신문

언론사 배너를 클릭하시면, 해당 언론사가 검증한 팩트를 보실 수 있습니다.

Newsis
×

SNU팩트체크는 이렇게 운용됩니다.