당신은 주제를 찾고 있습니까 “딥 페이크 기술 – [해SSUL이 있는 과학뉴스] 딥페이크 기술이 도대체 뭐길래?“? 다음 카테고리의 웹사이트 ppa.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: https://ppa.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 국립과천과학관 이(가) 작성한 기사에는 조회수 3,026회 및 좋아요 49개 개의 좋아요가 있습니다.
딥 페이크 기술 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 [해SSUL이 있는 과학뉴스] 딥페이크 기술이 도대체 뭐길래? – 딥 페이크 기술 주제에 대한 세부정보를 참조하세요
요즘 핫한 딥페이크 기술.
어디선가 들어본 듯한 인공지능 기술, GAN.
오늘도 귀에 쏙쏙, 쉽고 재미있게 풀어드립니다.
진행 : 국립과천과학관 윤아연
패널 : 국립과천과학관 박미애
기사 : \”이게 아이유가 아니라고? ‘진짜 같은 가짜’가 판친다.\” (헤럴드 경제, 김민지 기자, 2021.3.7일자)
클로징음악 : 닥터스의 ‘대리암’
딥 페이크 기술 주제에 대한 자세한 내용은 여기를 참조하세요.
딥페이크 – 나무위키
딥페이크(deepfake)란 인공지능을 기반으로 활용한 인간 이미지 합성 기술이다. 기존에 있던 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 …
Source: namu.wiki
Date Published: 4/18/2022
View: 5996
“다 걸렸어”…99% 딥페이크 탐지하는 AI 기술
최대 99% 정확도로 딥페이크 비디오를 감지하는 새로운 기술이 나왔다. UC 리버사이드(University of California, Riverse)의 연구팀이 딥페이크 …
Source: www.aitimes.com
Date Published: 3/2/2022
View: 3891
딥페이크 기술의 빛과 그림자
딥페이크(Deepfake)란, 인공지능 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는. 단어인 페이크(fake)의 합성어로, 인공지능 기술을 이용하여 진위 여부를 구별 …
Source: www.kca.kr
Date Published: 10/15/2021
View: 899
딥페이크(Deepfake), 나쁘기만 한 것은 아니다! 터틀맨, 김광석 …
딥페이크 기술 원리를 알아보고 딥페이크가 착하게 활용된 사례를 소개하고자 한다. 딥페이크란? 딥페이크(Deepfake)란 인공지능의 한 분야인 심층 학습( …
Source: www.2e.co.kr
Date Published: 7/13/2021
View: 9905
실제같은 가짜 ‘딥페이크’의 세계 완전해부…AI 세상의 새로운 …
딥페이크는, 간단하게 말하면 AI를 이용해서 사람의 이미지를 합성하는 기술이다. 말하는 사람의 얼굴 이미지에 다른 사람이 이야기하는 것처럼 입모양을 …
Source: www.khan.co.kr
Date Published: 10/15/2021
View: 2788
[AI 기획] ‘나쁜 AI’ 대표 ‘딥페이크’, ‘착한 목적’ 활용 … – 메트로신문
딥페이크(deepfake)란 ‘딥러닝(deep learning)’과 ‘페이크(fake)’의 합성어로, 딥러닝 기술을 활용해 영상에 유명인 등의 얼굴을 합성해 가짜 영상을 …
Source: www.metroseoul.co.kr
Date Published: 9/12/2022
View: 5125
AI가 만드는 감쪽같은 가짜 ‘딥페이크’, 뭘 할 수 있지? – 벤처스퀘어
딥페이크 기술을 이용하면, CG(Computer Graphics)로 얼굴과 몸 등 화면 전체를 직접 만들던 예전과 달리, 기존 영상에 얼굴 안쪽의 눈, 코, 입 부분만 …
Source: www.venturesquare.net
Date Published: 4/24/2021
View: 1588
[논문]데이터 기반 딥페이크 탐지기법에 관한 최신 기술 동향 조사
딥페이크 기술이란 딥러닝 기술을 이용해 악의적으로 조작된 음성, 영상, 이미지 등을 만들어 내는 방법으로, 인공지능 기술의 발전에 맞추어 더욱더 빠르고 정교한 …
Source: scienceon.kisti.re.kr
Date Published: 9/27/2021
View: 8602
딥페이크: AI기술에 드리운 빛과 그림자 – BBC News 코리아
현재 딥페이크 범죄와 관련해서 적용할 수 있는 법 조항에 따르면, 대상자의 의사에 반해 사람의 얼굴, 신체나 음성을 편집·합성·가공·복제한 촬영·영상물 …
Source: www.bbc.com
Date Published: 10/26/2022
View: 3754
주제와 관련된 이미지 딥 페이크 기술
주제와 관련된 더 많은 사진을 참조하십시오 [해SSUL이 있는 과학뉴스] 딥페이크 기술이 도대체 뭐길래?. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
![[해SSUL이 있는 과학뉴스] 딥페이크 기술이 도대체 뭐길래?](https://i.ytimg.com/vi/tdCECcWeFqE/maxresdefault.jpg)
주제에 대한 기사 평가 딥 페이크 기술
- Author: 국립과천과학관
- Views: 조회수 3,026회
- Likes: 좋아요 49개
- Date Published: 2021. 4. 8.
- Video Url link: https://www.youtube.com/watch?v=tdCECcWeFqE
“다 걸렸어”…99% 딥페이크 탐지하는 AI 기술
얼굴 표정 조작 감지 및 지역화를 위한 프레임워크.(사진=UC 리버사이드)
최대 99% 정확도로 딥페이크 비디오를 감지하는 새로운 기술이 나왔다. UC 리버사이드(University of California, Riverside)의 연구팀이 딥페이크 비디오에서 조작된 얼굴 표정을 감지해내는 심층 신경망 모델을 개발했다.
딥페이크(Deepfake)란 인공지능(AI) 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는 단어인 페이크(fake)의 합성어로 AI 기술을 이용한, 진위 여부를 구별하기 어려운 가짜 이미지나 영상물을 뜻한다.
생성 모델(Generative Model)의 발전으로 딥페이크는 사람의 얼굴을 다른 사람으로 쉽게 바꾸거나 표정을 변경할 수 있을 정도로 합성이 더 쉬워지고 실제와 구별하기가 더 어려워졌다. 한편으로 딥페이크 기술이 비디오를 조작해 악의적으로 사용되는데 대한 우려도 커지고 있다.
의사 소통에서 얼굴 표정의 중요성은 널리 알려져 있으며 이미지나 비디오의 표정이 개인의 원래 표정인지 조작된 것인지 판별하는 것이 필요하다. 따라서 얼굴 표정의 조작을 감지하고 조작된 영역을 지역화할 수 있는 방법을 개발하는 것이 중요하다.
UC 리버사이드의 연구팀은 변경된 이미지 내의 특정 영역을 감지하고 지역화(localization)할 수 있는 얼굴 표정 조작 감지(EMD, Expression Manipulation Detection)라고 하는 프레임워크를 구축했다.
EMD는 조작 감지를 위해 2개의 스트림 네트워크를 사용한다. 첫번째 스트림은 얼굴 표정을 식별하고 입, 눈 또는 이마와 같이 표정을 포함하는 영역에 대한 정보를 추출하는 얼굴 표정 인식(FER, Face Expreesion Recognition)이다. FER 스트림은 표정을 나타내는 얼굴 영역에 대한 특징 정보를 제공한다.
특히 FER을 통해 조작 감지에 중요한 판별 이미지 영역을 식별하는 CAM(Class Activation Map)을 생성할 수 있다. 표정 변화 감지를 위해 표정에 대한 정보로 얼굴 영역을 지역화할 수 있는 네트워크를 추가하면 조작 감지가 더 잘 수행될 수 있다. 표정 변화는 주로 눈, 입, 눈썹 주변에서 일어난다.
두 번째 스트림은 조작 감지(manipulation detection) 및 지역화를 담당하는 인코더-디코더(encoder-decoder) 아키텍처다. 인코더는 FER 시스템의 특징이 결합된 저차원 공간에 이미지를 투영한 다음 디코더를 사용해 얼굴 이미지의 조작된 영역을 예측한다.
표정 조작 감지 및 위치 파악을 위해 제안된 접근 방식을 나타낸다. FER 시스템에서 추출된 기능과 조작 감지 스트림에서 추출한 기능은 조작된 영역의 픽셀 단위 지역화를 위해 디코더에 입력된다.(사진=UC 리버사이드)
얼굴 조작에 대한 벤치마크 데이터 세트는 소스 비디오의 표정 또는 얼굴을 변경해 대상 비디오로 전송한다. 두 가지 얼굴 조작 데이터 세트에 대해 EMD는 표정 조작 뿐 아니라 얼굴 변경을 감지하는데 기존 감지 기술보다 더 나은 성능을 보였다. EMD는 조작된 동영상의 99%를 정확하게 감지했다. 일반적으로 얼굴이 바뀌었을 때보다 표정만 바뀐 얼굴을 식별하는 것이 더 어렵고, 현재까지 신뢰할 수 있는 기술이 없었다.
1열과 2열은 각각 원본 이미지와 조작된 이미지를 보여준다. 3열의 흑백 이미지는 원본 이미지의 마스크이고, 4열은 데이터세트에서 조작된 이미지에 대한 예측 마스크다. 5열은 표정을 판별하는 이미지 영역을 식별하는 CAM이다.(사진=UC 리버사이드)
이 기술은 ‘Detection and Localization of Facial Expression Manipulations’ 제목의 논문으로 2022년 컴퓨터 비전 응용 학회( 2022 Winter Conference on Applications of Computer Vision)에 발표됐다.
AI타임스 박찬 위원 [email protected]
[관련기사]진짜와 가짜 얼굴 구별할 수 있나? AI 합성 얼굴 구별 어려워 [관련기사][AI티타임] 오픈AI가 개발한 달리2 “좋지만 위험해”
딥페이크(Deepfake), 나쁘기만 한 것은 아니다! 터틀맨, 김광석, 유관순, 나연이 등 딥페이크 기술의 착한 활용 사례
이제 “딥페이크(Deepfake)”라는 단어만 나오면 “또 무슨 일이지?” 라는 부정적인 생각이 먼저 떠오른다. 디지털 성범죄, 가짜 뉴스 등에 악용되어 대부분의 사람들은 딥페이크 기술이 나쁜 기술이라고 오해하고 있다.
하지만 딥페이크는 나쁜 기술이 아니다. 영화계, 의료계, 방송계 등 다방면에서 딥페이크 기술을 활용하여 인간 삶의 가치를 높이고 있다. AR, VR 등의 기술과 접목시켜 큰 감동을 주기도 한다. 부작용이 많다는 점에서 여전히 우려 섞인 목소리가 크지만 부정적인 면만 있는 것은 아니다. 딥페이크 기술 원리를 알아보고 딥페이크가 착하게 활용된 사례를 소개하고자 한다.
딥페이크란?
딥페이크(Deepfake)란 인공지능의 한 분야인 심층 학습(Deep Learning)과 가짜(Fake)의 합성어이다. 이 용어는 2017년 미국의 소셜네트워크 플랫폼 레딧에서 “Deepfakes”라는 아이디를 가진 회원이 유명 배우의 얼굴로 조작된 가짜 음란 동영상을 올리면서 사용되기 시작했다.
2014년 이안 굿펠로우(Ian Goodfellow)는 딥페이크의 핵심이 된 기술, 생성적 적대 신경망(GAN: Generative Adversarial Networks)을 발표했다. GAN은 생성자(Generator)와 판별자(Discriminator)라는 서로 대립 관계에 있는 신경망을 동시에 훈련하면서 결과물의 정확성을 높이게 된다. 아래 그림과 같이 위조 지폐를 생성해 내는 위조 지폐범(생성자)과 위조 지폐를 가려내기 위해 노력하는 경찰(판별자) 사이의 경합하는 과정으로 쉽게 이해할 수 있다.
Figure 1 GAN의 원리 (모두의 딥러닝, 길벗)
GAN을 이용하여 가짜를 진짜인 것처럼 만들어 낼 수도 있고, 이 세상에 없는 사람을 사실적으로 생성해낼 수도 있다. 딥페이크 기술이 활용된 사례를 확인해 보자.
[활용 사례 1] 제미니 맨 – 디지털 디에이징2019년 10월 개봉한 영화 제미니 맨의 제미니(Gemini)는 쌍둥이 같은 복제인간이라는 의미이다. 주인공인 헨리(윌 스미스)는 자신과 완벽하게 닮은 의문의 요원에게 맹추격을 당하며 이야기가 시작된다. 이 의문의 요원은 20대의 헨리(윌 스미스)로 윌 스미스의 젊은 시절의 모습으로 포토샵을 이용한 CG(Computer Graphics) 처리가 아닌 딥페이크 기술을 활용해 디지털 디에이징 효과를 완벽하게 재현해 냈다.
Figure 2 제미니 맨 포스터 – 네이버 영화
딥페이크 기술을 활용하기 전에는 배우를 포토샵의 필터와 브러시로 더 젊게 복원하는데 주력했다. 하지만 기술적 한계가 분명 존재했고 CG로 구현한 티도 많이 나 아쉬움이 컸다. 하지만 제미니 맨에서는 얼굴 인식 장비와 동작 포착 장비를 통해 젊은 캐릭터를 포토샵으로 CG 처리 하는 것보다 훨씬 정교하고 빠르게 만들어 낼 수 있게 되었다.
[활용 사례 2] 신변보호 – 버추얼 휴먼“SBS 그것이 알고 싶다” 에서는 2021년 2월, 딥페이크 범죄 피해자의 모습을 모자이크가 아닌 딥페이크 기술을 활용해 방영하였다.
Figure 3 그것이 알고 싶다 딥페이크 편(2021.02.27)
2명의 피해자의 동의를 얻어 버추얼 휴먼(가상 인간) ‘루이 리’를 만든 디오비스튜디오에서 딥페이크 기술을 활용해 현실에 존재하지 않는 사람의 얼굴로 만들었다. 이렇게 하여 두 피해자의 신상을 알 수 없도록 보호했다. 표정과 얼굴을 가리는 모자이크 방식을 사용하는 대신 딥페이크 기술을 활용하여 익명성을 보장하면서도 시청자에게 이들의 감정을 생생하게 전달할 수 있었다. 딥페이크 피해를 딥페이크를 통해 알리자 라는 역발상이 통했던 사례이다.
[활용 사례 3] 질병 예방 – 이미지 패턴 매칭이미지 패턴 매칭 기술은 다양한 종류의 암 진단도 가능하게 한다. 2019년 7월 독일 뤼벡대(University of Lübeck) 의료정보학연구소에서는 CT, MRI, X선 이미지를 분석해 다양한 암의 징후와 이상신호를 탐지 모델을 개발했다. GAN을 이용하여 원본 영상과 진위여부를 구별할 수 없을 정도로 정확한 딥페이크 의료영상을 만들어 인공지능이 질병을 올바르게 학습하고 정확하게 진단할 수 있는데 사용하고 있다.
Figure 4 딥페이크 기술 적용 의료영상 (Ground AI)
딥페이크 기술 이전에는 환자의 민감 데이터가 턱없이 부족했고 의료용 3D 이미지 합성에도 많은 비용이 들어 다양한 연구 진행과 인공지능 학습에 많은 어려움이 있었다. 딥페이크 의료 영상으로 환자의 정보 유출을 막을 수 있으며 인공지능이 충분히 학습할 수 있는 데이터를 생성할 수 있게 되었다.
[활용 사례 4] 마이헤리티지 – 새로운 추모 방식온라인 가계도 서비스를 제공하는 마이헤리티지(MyHeritage)에서는 고인이 된 가족, 순국열사 등 새로운 방식으로 추모할 수 있다. 바로 딥러닝 전문 기업 디아이디(D-ID)의 딥노스텔지아(Deep Nostalgia) 서비스를 통해서다.
Figure 5 유관순 열사, 윤봉길 의사 생전 모습 복원 (MyHeritage)
생전의 모습이 담긴 사진이나 그림 등을 마이헤리티지 플랫폼에 업로드한다. 플랫폼 내에서 화질을 개선한 후 사진이나 그림을 잘게 분할하고, 분할된 각 조각에 맞는 각도와 표정을 원본에 덮어 씌운다. 동영상 프레임 단위로 자르고 합성하여 자연스럽고 생동감 있는 형태로 고인의 모습을 제공해 준다. 딥페이크 기술을 이용한 딥노스텔지아 서비스가 공개되자마자 자연스러운 표정과 입체적인 서비스 제공에 호평일색이었다.
[활용 사례 5] 신기술 접목 – 재회딥페이크 기술에 VR/AR, 음성 복원 등의 기술을 더하면 큰 감동을 주기도 한다.
딥페이크와 음성 복원 기술을 접목해 김현식, 김광석, 터틀맨(임성훈) 등 그리운 이들의 목소리, 그리고 그룹의 완전체 모습을 다시 볼 수 있게 되었다. AI 음악 프로젝트 다시 한번의 첫 주인공 터틀맨(임성훈) 사례이다. 2008년 심근경색으로 세상을 떠나기 전 영상 자료를 기반으로 목소리를 복원하고 페이스 에디팅 기술로 얼굴을 재현했다. 다시는 만날 수 없을 것만 같던 이들과의 만남이 기술의 발전으로 가능해져 많은 사람들을 놀라게 했고 감동과 위로를 전했다.
Figure 6 AI 음악 프로젝트 다시 한번 – 거북이 완전체 모습 (Mnet)
또한 1996년 우리 곁을 떠난 전설적인 가수 (故) 김광석의 생전 목소리로 2002년 출시된 노래를 들을 수도 있게 되었다. 오디오 전문 AI 업체 수퍼톤에서 음성 복원을 실시하여 TTS(Text-To-Speech) 기술에 악보 정보를 함께 입력하여 모창 AI를 개발했다. 모창 AI를 충분히 훈련시킨 후 김광석의 목소리 데이터를 적용하여 (故) 김광석이 한 번도 부를 수 없었던 2002년의 노래도 그의 음성으로 들을 수 있게 됐다.
Figure 7 세기의 대결! 인간 vs AI – AI가 학습한 김광석의 목소리로 부르는 ‘보고싶다’ (SBS)
딥페이크 기술과 VR 기술을 함께 결합한 사례도 있다. MBC 다큐멘터리 너를 만났다에서는 7세라는 이른 나이에 세상을 떠난 딸, 나연이를 가상현실에서 만날 수 있게 했다. 딸의 목소리, 말투, 몸짓 등은 기존 사진이나 영상으로 분석하고, 모션 캡쳐, 3D 등의 기술을 통해 가상세계 속 나연이의 모습을 실제와 가깝게 만들었다. 어머니는 VR 장비를 착용하고 가상세계 속에서 딸을 만나게 되었다. 다시 한번 딸을 만나고 싶다는 간절한 소망이 이루어져 감격했고, 딸과 가상현실에서 짧지만 소중한 시간을 보냈다.
Figure 8 스페셜 다큐멘터리 너를 만났다 – 나연이 (MBC)
이처럼 다방면에서 딥페이크 기술이 활용되고 있다. 앞으로도 기술은 인간에게 새로운 가능성과 무한하게 꿈꿀 수 있는 기회를 줄 것이다. 안전성과 신뢰성이 바탕이 되어 긍정적인 방향으로 발전하길 기대한다.
[참고자료]1. 모두의 딥러닝 개정 2판 (길벗 출판사)
2. 딥페이크 기술의 빛과 그림자 (KCA Media Issue& Trend, 2019)
3. 딥페이크 피해자를 딥페이크로 보호한 SBS ‘그알’ (미디어 오늘 정민경 기자, 2021.03)
4. 딥페이크, ‘그알’처럼 활용하기 나름 (미디어스 김혜인 기자, 2021.04)
5. [IT 최신 정보] 부정적 인식이 강렬한 딥페이크 그래도 범죄에만 악용되는 건 아닐텐데!
(네이버 포스트, 사이렌24, 2021.08) https://post.naver.com/viewer/postView.naver?volumeNo=32221608&memberNo=25598567
6. 딥페이크, 무조건 나쁘기만 하다고? (코딩 월드 뉴스 김정연 기자, 2021.04)
7. 데이터 기반 딥페이크 탐지기법에 관한 최신 기술 동향 조사 (정보보호학회지 제 30권 제5호 김정호, 안재주, 양보성, 정주연, 우사이먼성일, 2020.10)
8. https://tech-wired.tistory.com/196
9. 딥페이크(Deepfake): 최고가 되느냐, 최악이 되느냐 (지속가능저널, 최정원 저널리스트, 2021.03)
10. 김광석·김현식 노래 다시 들을 수 있다고? AI가 소환한 레전드 (중앙일보, 민경원 기자, 2020.12)
저작권자 © 투이컨설팅 무단전재 및 재배포 금지
실제같은 가짜 ‘딥페이크’의 세계 완전해부…AI 세상의 새로운 게임체인저?
2020년 12월 한 TV 프로그램에서 혼성그룹 ‘거북이’의 공연이 방송됐다. 이 공연에서 그룹 ‘거북이’는 가수 가호의 ‘시작’(드라마 ‘이태원클라스’의 주제곡)이라는 곡을 리메이크해 불렀다. 이 공연에 등장한 거북이의 리더 ‘터틀맨’은 2008년 고인이 된 사람이다. 하지만, 이날 공연에서는 인공지능(AI) 기술인 딥페이크가 만들어낸 가상인물 ‘터틀맨’이 12년 만에 그룹 동료들과 함께 무대에 나와 노래를 불렀다.
이처럼 고인이 된 가수까지 감쪽같이 현실로 소환하는 것이 바로 ‘딥페이크’ 기술이다. 딥페이크 기술이 현실세계와 가상세계의 경계를 허물 수 있다는 사실을 보여준 사례다.
■딥페이크란 무엇인가.
‘딥페이크’는 인간처럼 판단할 수 있도록 컴퓨터를 교육시키는 ‘딥러닝(deep learning)’과 가짜를 뜻하는 ‘페이크(fake)’의 합성어다. 2017년 미국의 온라인 커뮤니티 레딧에 할리우드 배우의 얼굴과 포르노를 합성한 편집물을 올린 네티즌의 아이디 ‘딥페익스(Deepfakes)’에서 그 이름이 유래했다.
딥페이크는, 간단하게 말하면 AI를 이용해서 사람의 이미지를 합성하는 기술이다. 말하는 사람의 얼굴 이미지에 다른 사람이 이야기하는 것처럼 입모양을 바꾸는 시도로 시작됐다. 2017년 공개된 ‘오바마 만들기(synthesizing Obama)’ 프로그램은 미국의 전직 대통령 버락 오바마가 말하는 입모양을 다양하게 만드는 것이었는데, 이게 딥페이크에 대한 대중의 관심을 촉발시키는 계기가 됐다.
이후 미국 UC버클리대학에서 2018년 발표한 ‘페이크 댄싱 앱(fake dancing app)’은 딥페이크 기술을 입술모양에서 전신 동작으로 확장시키는 계기가 됐다. 현재는 합성 대상이 사람을 넘어 사물로까지 확장되고 있다.
■딥페이크는 어떻게 만들어지나.
일반적으로 AI는 많은 데이터를 학습한 뒤 데이터에 숨겨진 특징을 발견해 분류하기도 하고, 예측하기도 한다. 개와 고양이 사진을 대량으로 학습한 뒤 새로 입력된 사진을 개나 고양이로 분류한다거나, 다량의 교통 혼잡도 데이터를 학습해 특정 시간이나 특정 구간의 혼잡도를 예측하는 방식이다. 새로운 무엇을 만들어 내는 것이 아니라 다량의 데이터에 흐르는 공통된 특징을 찾아낸 뒤 그 결과에 따라 어떤 작업을 하게 된다.
반면, 딥페이크에 사용되는 AI 기술은 공통된 특징을 발견하는 수준에서 한걸음 더 나아가 스스로 무언가를 새로 만들어 낸다는 점에서 차이가 있다. 이는 데이터 영상에서 배운 특징을 그대로 흉내낸 영상을 만드는 ‘생성기’와 생성기가 만든 영상이 진짜인지 가짜인지 판별하는 ‘판별기’가 대립·경쟁하면서 점점 더 정교한 영상을 만든다.
생성기에서 만든 영상을 판별기에서 가짜라고 판정하면 생성기는 추가로 학습하여 새로운 영상을 만드는 과정을 반복해 가게 되고, 결국에는 좀 더 진짜에 가까운 이미지가 만들어지는 식이다.
■딥페이크, 어디에 쓰이나.
많은 기업들이 딥페이크가 가져올 무한한 활용도와 기회에 주목해 연구와 투자를 늘리고 있다. 그 결과, 딥페이크는 급속한 발전을 거듭하고 있고, 다양한 분야에서 활용되고 있다.
우선 엔터테인먼트 분야에서 딥페이크가 활용되면, 시공간의 한계를 뛰어넘게 된다.
딥페이크는 진짜와 분간이 힘들 정도로 정밀한 가짜 영상이나 음성을 만들어내는데, 이를 발빠르게 적용한 분야는 엔터테인먼트이다. 넷플릭스의 영화 ‘아이리시맨(The Irishman)’에서는 70대인 주연 배우 로버트 드니로의 젊은 시절 장면을 대역 없이 딥페이크로 만들어 넣었다. 최근 딥페이크 기술을 영화, 드라마 등 엔터테인먼트에 접목하면서 출연자가 직접 촬영하지 않고도 실제 같은 영상을 만들어 내는 사례가 잇따라 나오고 있다. 이는 제작비 절감으로 이어져 해당 산업의 활성화에 기여하고 있다.
유명 인물의 재현 뿐 아니라 새로운 가상인물을 만들어 활용하기도 한다. 인스타그램에서 수많은 팔로워수를 확보하고 있는 인플루언서 ‘김래아’는 LG전자가 만든 가상인간이다. 삼성전자의‘네온’도 누가 진짜 사람인지 구분할 수 없을 정도로 정교하다. 신한라이프 광고모델로 활약 중인 서울 출생의 22살 ‘로지’는 MZ세대가 선호하는 얼굴형으로 만든 AI 모델이다. LA에 사는 19세 팝스타 릴 미켈라(팔로워 303만명) 역시 AI 모델이다. 미국의 스타트업 브러드가 만든 이 모델은 해 수익이 약 130억원으로 알려져 있다.
글로벌 홍보에 이 기술을 사용하면 지역과 언어의 장벽을 허물 수 있다.
딥페이크는 서로 다른 지역과 민족을 대상으로 같은 내용을 대상자의 기호와 언어 등을 고려해 맞춤형으로 제공하는데도 유용하다. 스탠포드대학, 막스 프랑크 연구소, 프린스톤대학, 어도비연구소의 연구원들은 2019년에 텍스트 원고에 맞게 말하는 사람의 모습을 정교하게 수정할 수 있는 기술을 개발했다. 기존 영상을 수정하기 위해 사용자는 단지 텍스트 원고만 수정하면 된다. 단어를 추가하거나 제거·변경하는 단순한 작업뿐만 아니라 다른 언어로 번역하거나 전체 문장을 바꾸어도 자연스러운 수정 영상을 만들어 준다.
또 영국의 AI 스타트업 신디시아는 2019년 축구 스타인 데이비드 베컴이 9개의 언어로 말라리아 퇴치 홍보 캠페인 영상을 제작하여 홍보한 것으로 유명하다. 이 회사는 최근 한국어를 포함한 50개 언어로 손쉽게 영상을 만들어 주는 서비스를 제공하고 있다. 이용자는 이미 만들어져 있는 40개 이상의 AI 아바타 중 하나를 고르거나 자신이 원하는 아바타를 만든 후 원하는 텍스트 대본을 입력하기만 하면 10분 안에 완성된 영상이 만들어진다.
교육에 이 기술을 활용하면 학습에 생동감을 더하게 된다.
2021년 3.1절을 기념해 독일 마이헤리티지의 딥페이크 기술로 제작된 안중근 의사, 유관순 열사, 윤봉길 의사의 딥페이크 영상은 살아 움직이면서 우리와 눈을 맞추고 미소를 보이기도 했다. 국내 스타트업인 라이언로켓은 안중근 의사의 서거 111주년을 기념해 안중근 의사가 ‘국기에 대한 맹세’와 그의 유언을 낭독하는 영상을 딥페이크 기술로 구현하기도 했다.
■딥페이크의 ‘어두운 그림자’
하지만, 딥페이크 기술에는 부정적인 측면도 있다. 딥페이크가 육안으로는 실제와 구분하기 어려울 정도로 정교한 가짜 영상과 음성을 만들어내다 보니 성인 영상물이나 가짜뉴스 등에 악용되는 경우도 발생하고 있다.
네덜란드의 사이버 보안회사 센시티의 조사에 따르면, 2019년 기준 전 세계 1만4678건의 딥페이크 영상 중 성인물이 전체의 96%에 이른다는 통계도 나와있다.
악의적으로 제작된 가짜뉴스도 분열과 갈등을 조장하는 등 사회적 물의를 빚고 있다. 가짜 영상은 주로 유명인의 평판을 떨어뜨리기 위한 목적으로 제작되는데, 대표적인 예가 2019년 7월 페이스북에 게시된 미국 하원의장 낸시 펠로시의 술에 취한 듯한 영상이다. 이 가짜영상은 당시 630만회가 넘는 조회수를 기록했는데, ‘만취’, ‘엉망진창’ 등의 댓글이 붙기도 했다.
딥페이크를 악용하는 사례가 사회적은 물의를 빚는 사례가 늘어나고 있는 가운데 아이러니컬하게도 딥페이크 AI기술로 만든 가짜 영상을 다시 AI를 이용해 판별해내는 기술도 활발하게 연구되고 있다.
딥페이크 가짜영상을 판별하는 방법으로는 영상 속 인물의 눈 깜박임, 머리 움직임, 혈류의 움직임 등을 검사하는 방법과 이런 것들을 복합적으로 판단하는 방법 등 다양한 방법이 이용되고 있다. 이 기술은 사람이 일반적으로 대략 6초 이내에 한 번은 눈을 깜박인다는 점에 착안해 합성 영상의 부자연스러운 동작을 탐지하도록 하고 있다.
카이스트 이흥규 교수 연구팀은 2021년 3월 카이스트 창업 기업인 디지탈이노텍과 함께 딥페이크 탐지와 사진 위·변조 탐지를 위한 소프트웨어 ‘카이캐치(KaiCatch)’를 모바일 앱 형태로 출시했다. 카이캐치는 얼굴 영역의 미세 변형과 코, 입, 얼굴 윤곽 등 얼굴의 기하학적 왜곡 발생 흔적을 분석해 딥페이크로 생성된 영상인지를 탐지한다.
경연정 특허청 인공지능빅데이터심사과 팀장은 “K-팝 스타들이 딥페이크에 악용되는 사례가 종종 발생하고 있는 가운데 딥페이크 탐지 분야에서는 우리 기업들의 활약이 두드러진다”고 분석했다.
■딥페이크, AR·VR·메타버스와 결합해 세상을 바꾼다.
최근 주목받는 기술이 ‘딥페이크를 이용한 AI용 데이터 생성 기술’이다. MIT는 이 기술을 2022년 10대 혁신기술로 선정한 바 있다.
특허청이 분석한 한국·미국·중국·일본·유럽 등 지식재산 분야 5대 강국의 특허 출원 동향을 보면, 딥페이크를 이용한 데이터 생성 분야 특허 출원 건수는 2015년 37건에서 2019년 1124건으로 늘어났다. 연평균 134.8%의 가파른 증가세를 이어가고 있는 것이다. 한국 기업의 이 분야 특허 출원은 2017년 이후 빠르게 늘고 있다.
전문가들은 향후 딥페이크가 AR(증강현실)·VR(가상현실)·메타버스 등과 결합되면 그 영향력은 가히 폭발적일 것으로 보고 있다. 딥페이크 기술 덕분에 현실과 구분이 힘들 정도로 정교한 가상세계를 경험하게 될 것이고, 여행·회의·쇼핑·게임·강의 등 우리 일상의 상당 부분이 딥페이크가 만드는 가상공간에서 이루어질 것이라는 것이 전문가들의 전망이다.
이와 함께 사이버 범죄, 가짜뉴스, 성인물 등 딥페이크가 가져올 위험에도 철저히 대비해야 한다는 지적도 나온다. 전문가들은 딥페이크의 악용을 모니터링하는 사회적 감시망, 강력한 법적 규제, 딥페이크 탐지기술의 고도화 등을 그 해법으로 제시하고 있다.
딥페이크는 이미 우리 곁에 깊숙이 들어와 있다. 우리는 싫든 좋든 딥페이크와 공존할 수밖에 없는 상황이다. 딥페이크가 가져올 부작용은 최대한 억제하면서 긍정적인 부분은 더욱 발전시키는 전략적 접근이 필요하다.
서을수 특허청 융복합기술심사국장은 “우리나라가 범용 AI 분야에서는 다른 국가에 비해 다소 출발이 늦었지만, 딥페이크 분야에서 한발 앞서 기술력과 특허를 확보한다면 새로운 기회의 장을 열 수도 있다”면서 “딥페이크는 우리가 상상하는 만큼 우리에게 새로운 기회를 열어 줄 것”이라고 말했다.
AI가 만드는 감쪽같은 가짜 ‘딥페이크’, 뭘 할 수 있지?
AI(인공지능) 기술이 발전하며 여러가지 미래가 바뀔 것처럼 떠들썩하지만 막상 실생활에서 체험하기는 쉽지 않다. 공장 자동화, 대용량 자료 분석 등 과정에서 사용되는 AI 기술은 일반인이 이용하기 어렵고, 영화 속 AI 로봇이나 사이버 비서 등은 아직 어림없다. 그나마 챗봇, 음성인식 AI 스피커 정도가 직접 만나는 경우가 되겠지만 뭔가 아쉽다.
사실은 우리가 느끼지 못하는 사이에 AI의 무한한 가능성은 생활 속에 빠르게 파고들고 있다. 유튜브, 생활 서비스 등에서 영상으로 접하는 사람 중에 이미 AI로 만들어진 이가 섞여 있다면 구별할 수 있을까? 그들이 이야기하는 목소리도 AI로 만들어졌다면? 이제 원한다면 영원히 나이 들지 않고 스캔들도 없는 이상형의 아이돌을 만날 수 있고, 텍스트 입력 만으로 자신이 이야기하는 영상을 만들거나, 좋아하는 성우가 맘에 드는 목소리로 원하는 책을 읽어주는 영상을 AI로 만들 수 있는 시대가 열리고 있다.
◆ AI가 만드는 진짜 같은 가짜 딥페이크
여기에 사용되는 대표적인 AI 기술이 딥페이크(deepfake)다. 딥페이크는 AI 딥러닝(deep learning)과 페이크(fake)를 합친 말로, AI가 기존의 이미지, 음성, 영상을 분석해 가상의 이미지와 음성, 영상을 만들어 내는 기술을 말한다.
딥페이크 기술을 이용하면, CG(Computer Graphics)로 얼굴과 몸 등 화면 전체를 직접 만들던 예전과 달리, 기존 영상에 얼굴 안쪽의 눈, 코, 입 부분만 합성해 바꾸는 등 AI로 일부만 변경해 합성함으로써 적은 노력으로 실제와 같은 영상을 만들어 낼 수 있다.
기존의 CG에 의존한 가상 인물보다 제작과 활용에 기술적, 경제적 부담이 적고, 가상의 인물을 만들 경우 활용도와 저작권에서도 자유로워 상업적 가치가 매우 높다. 최근 유튜브, 틱톡 등을 통해 유명인의 얼굴이 합성된 가짜 영상들이 돌며 화제가 되거나 악용되며 우려를 낳기도 하는데, 그만큼 만들기 쉽고 실감나게 만들 수 있다는 반증이기도 하다.
딥페이크 기술로 만들어낸 음성의 경우에도 실제 인물을 따라하거나 새롭게 만들어 낼 수도 있어 활용도는 무궁무진하다. 단순히 책이나 뉴스 등의 글을 읽어주는 기능에서 영화나 애니의 성우를 대신할 수도 있고 가상의 아이돌의 노래를 부를 수도 있다.
실제로 이런 딥페이크 기술을 통해, 2020년 21대 총선의 MBC 개표 방송에서 개그맨과 정치인의 AI 캐스터가 실시간으로 중계한 바 있고, 미국의 인기 애니메이션 심슨 가족 시리즈의 최신 에피소드에 고인이 된 성우 마샤 윌리스의 캐릭터였던 크라바플이 다시 등장해 재현된 목소리로 작별인사를 전하기도 했다.
국내에서는 라이언로켓(대표 정승환), 펄스나인(대표 박지은), 네오코믹스(대표 권택준) 등의 기술력 있는 스타트업들이 딥페이크 기술의 활용에 도전하고 있다.
◆ AI 영상과 음성을 모두 만드는 라이언로켓
라이언로켓은 딥러닝 기반의 음성합성 솔루션과 영상합성 솔루션, AI 영상제작 프로그램 등의 사업을 진행하는 AI 기술 스타트업이다.
특정 인물의 영상을 촬영하기 위해서는 기획, 섭외, 스케쥴링의 과정을 거쳐 사전 준비를 하고, 촬영을 진행한 이후에도 마스터링, 자막, 렌더링의 정리 작업을 해야 한다. 이 모든 커뮤니케이션과 작업을 사람이 직접 하며 많은 시간과 자원이 소요된다. 혹시 촬영 중 일부가 잘못된 경우 다시 이 과정을 되풀이해서 그 부분을 수정 촬영해야 한다.
라이언로켓은 자체 개발한 딥러닝 기반 영상생성 기술과 음성생성 기술을 통해 1시간 정도의 영상 자료가 있다면 그 자료를 학습하고 음색, 표정, 발화속도 등을 모사하는 영상 제작이 가능해, 이후 텍스트만 입력해도 해당 인물이 이야기하는 영상을 새롭게 만들어 낼 수 있다.
라이언로켓에서는 러닝타임 10분의 영상을 제작할 경우 기존에는 실제 촬영을 위한 사전 작업을 제외하고도 촬영 진행과 편집을 위해 4명 이상의 인력과 4시간 이상의 제작 시간이 필요했지만, 라이언로켓의 기술을 이용하면 실제 촬영을 진행하지 않고도 1사람이 10분 정도의 시간이면 완료할 수 있다고 설명했다.
AI 앵커/기자, 비대면 예배, AI 교사, AI 의사 등 다양한 활용이 가능하며, 실제 2020년 21대 총선의 MBC 개표 방송에서 라이언로켓의 기술을 이용한 개그맨 김경식, 최양락, 성우 서혜정 등의 셀럽들과 이낙연, 황교안 등 각 당대표들의 AI 캐스터를 활용해 중계한 바 있다.
최근에는 안중근 의사 서거 111주년 추모 영상을 제작해, 안중근 의사가 국기에 대한 맹세를 낭독하고 안중근 의사의 유언으로 알려진 글을 낭독하는 것을 재현하기도 했다.
◆ 원하는 가상 인물 제작에서 아이돌까지 펄스나인
펄스나인은 실사형 가상 인물 이미지를 생성하고 합성해 콘텐츠를 제작하는 AI 서비스 스타트업으로, 딥페이크 기술을 응용한 자체 ‘딥리얼 AI’ 기술로 AI 기반 가상 인물 이미지를 생성하고 직접 촬영한 영상과 합성해 만든 콘텐츠를 제공하고 있다. 인종, 남녀노소 구분 없이 실제와 같은 얼굴을 만들고 타깃 영상 얼굴의 시선처리를 참조해 가상 인물의 움직임을 제어한 실감나는 영상 콘텐츠를 만들어 낼 수 있다.
최근에는 ‘딥리얼 AI’ 기술로 ‘AI가상프로젝트걸그룹 이터니티(Eternity)’를 발표하기도 했다. 이터니티는 펄스나인의 AI 기반 가상 인물 이미지 제작 및 영상 합성 기술을 이용해 만들어진 101명의 후보 소녀 영상에서 국민투표를 통해 상위권을 차지한 11명의 가상 소녀들로 이루어져 있다. 3월 22일 첫 싱글 앨범 ‘I’m Real’을 발표하는 등 본격적인 활동을 시작했다.
이터니티 싱글 뮤직비디오 공개에는 테크/트렌드 미디어 뉴즈(대표 김가현)에서 모바일 비디오 플랫폼 틱톡라이브로 소개하며 힘을 실었다. 뉴즈는 이터니티 캐릭터 기획 및 컨텐츠 구축 등 기획단 협업을 함께 해온 바 있다. 펄스나인에서는 뮤직비디오 공개 이틀 만에 유튜브 누적 조회수 18만 뷰, 댓글 2,400개 이상의 뜨거운 반응을 모았다고 밝혔다.
◆ AI 음성 합성 기술 스타트업 네오코믹스
네오코믹스 또한 벤처스퀘어가 투자한 스타트업이다. AI 콘텐츠 전문기업으로 AI음성합성, AI음성인식, AI아바타 등 다양한 AI 기술을 접목해 콘텐츠를 만들고 있으며, AI 음성합성 기술을 이용해 실시간 AI 뉴스스트리밍 서비스, AI 오디오북 플랫폼, AI 오디오북 자동생성 시스템 등을 서비스하고 있다.
네오코믹스의 AI음성합성 기술의 오디오북 서비스를 이용하면 원하는 성우의 목소리로 소설책 등 원하는 문서의 내용을 읽어주는 음성파일을 만들어 감상할 수 있다.
그리고 페이크영상 관련으로도 기술을 보유하고 있어서, 페이스투페이스 인터폴레이션 엔진을 이용해 1장의 얼굴 이미지 만으로도 표정을 변화시켜 애니메이션으로 제작 가능하다. 원한다면 본인의 사진 1장만 등록해도, 본인이 여러가지 표정으로 직접 이야기하는 다양한 영상 제작이 가능하다.
◆ 우려와 기대 속 ··· 앞으로의 딥페이크
기술의 발전에는 명과 암이 함께 드러나기 마련이다. AI에 의한 세계 지배 같은 영화 속 우려를 치우더라도, 당장 딥페이크의 경우 기술적, 경제적 부담이 적어 쉽게 만들 수 있는 장점이 오히려 디지털 범죄에 쉽게 악용되는 단점이 되고 있다. 물론 이런 악용을 막기 위한 목소리와 노력은 이어지고 있고, 페이스북에서 딥페이크 영상을 걸러내는 시스템을 도입하거나, 우리나라의 경우 2020년 성폭력처벌법 개정으로 통해 관련 규정을 신설하는 등 처벌 방안도 만들어지고 있다.
이후 딥페이크는 이미지, 음성, 영상 제작에서 빠지기 힘든 기술이 될 것이다. 칼도 부엌에서 쓰면 꼭 필요한 좋은 요리 도구가 되듯이 이들 스타트업들의 노력이 결실을 거두어 딥페이크를 활용한 좋은 사례들이 계속 늘어나기를 기대한다.
[논문]데이터 기반 딥페이크 탐지기법에 관한 최신 기술 동향 조사
딥페이크라는 용어는 2017년 미국의 소셜네트워크 플랫폼 레딧에서 ‘Deepfakes’라는 아이디를 가진 회원이 유명 배우의 얼굴로 조작된 가짜 음란 동영상을 올리면서 사용되기 시작하였다[6]. 이처럼 딥페이크 악용 기술이란 GAN(Generative Adversarial Network)이나 오토인코더(Autoencoder) 등의 딥러닝 기술을 이용해 나쁜 의도를 가지고 조작된 음성, 영상, 이미지 등을 만들어 내는 방법 을 말한다. 딥페이크 악용 기술은 인공지능 기술의 발전에 기생하여 더 빠르고 정교한 방법으로 변화하고 있으며, 특히 다음과 같은 문제점들이 있다.
딥페이크 악용 기술의 문제점은?
키워드에 대한 정보 딥 페이크 기술
다음은 Bing에서 딥 페이크 기술 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 [해SSUL이 있는 과학뉴스] 딥페이크 기술이 도대체 뭐길래?
- GAN
- 딥페이크
- 딥페이크 기술
- 아이유
- 겔갓돈
- 톰크루즈
- AI
- 개체지우기
- 과학뉴스
- 진짜가짜
- deepfake
- 생성자
- 판별자
- GAN기술
- 얀굿팰로우
- ian goodfellow
- generative adversarial network
- 과천과학관
- 해설이있는과학뉴스
- 과학기사분석
YouTube에서 딥 페이크 기술 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 [해SSUL이 있는 과학뉴스] 딥페이크 기술이 도대체 뭐길래? | 딥 페이크 기술, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.