당신은 주제를 찾고 있습니까 “딥 훼이크 – \”조작영상 꼼짝 마\”…딥페이크 찾아내는 앱 개발 (2021.03.30/뉴스데스크/MBC)“? 다음 카테고리의 웹사이트 ppa.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: https://ppa.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 MBCNEWS 이(가) 작성한 기사에는 조회수 980,687회 및 좋아요 5,813개 개의 좋아요가 있습니다.
딥 훼이크 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 \”조작영상 꼼짝 마\”…딥페이크 찾아내는 앱 개발 (2021.03.30/뉴스데스크/MBC) – 딥 훼이크 주제에 대한 세부정보를 참조하세요
영국 엘리자베스 여왕이 춤을 추는 모습인데요.
인공지능으로 사람의 얼굴과 목소리까지 합성해 내는 딥페이크 영상입니다.
딥페이크 기술이 워낙 정교해 지다 보니 범죄에 악용되기도 하면서, 이걸 잡아내는 스마트폰 앱까지 나왔습니다.
https://imnews.imbc.com/replay/2021/nwdesk/article/6134416_34936.html
#딥페이크 #인공지능 #어플
딥 훼이크 주제에 대한 자세한 내용은 여기를 참조하세요.
딥페이크 – 나무위키
딥페이크(deepfake)란 인공지능을 기반으로 활용한 인간 이미지 합성 기술이다. 기존에 있던 인물의 얼굴이나, 특정한 부위를 영화의 CG처리처럼 합성한 …
Source: namu.wiki
Date Published: 2/4/2021
View: 9932
딥페이크 – 위키백과, 우리 모두의 백과사전
딥페이크(deepfake, 딥 러닝(deep learning)과 가짜(fake)의 혼성어)는 인공 지능을 기반으로 한 인간 이미지 합성 기술이다. 생성적 적대 신경망(GAN)라는 기계 학습 …
Source: ko.wikipedia.org
Date Published: 11/9/2022
View: 6078
딥페이크: 세계 1위 K팝 아이돌, AI 포르노도 1위? – BBC
딥페이크 불법 음란 영상물 속 피해자 25%가 K팝 여성 아이돌이라는 조사가 있다.
Source: www.bbc.com
Date Published: 5/26/2021
View: 2127
딥페이크 딥러닝 프로그램, 이게 다 뭐야? – TypeCast ai
딥페이크는 간단하게 표현하면 인공지능을 활용하여 인간의 이미지를 합성하는 기술입니다. 딥페이크(deepfake)라는 용어는 AI의 한 형태의 기반 기술인 ” …
Source: typecast.ai
Date Published: 3/25/2021
View: 4840
딥 페이크 스튜디오 – Google Play 앱
페이스 스왑이 진화했습니다. 영화의 한 장면에 내 얼굴을 붙여 페이스 스왑을 하고 싶으신가요? 뮤직 비디오의 아티스트를 다른 사람으로 바꾸는 건 어떨까요?
Source: play.google.com
Date Published: 3/1/2022
View: 5997
딥페이크(Deepfake), 나쁘기만 한 것은 아니다! 터틀맨, 김광석 …
딥페이크란? 딥페이크(Deepfake)란 인공지능의 한 분야인 심층 학습(Deep Learning)과 가짜(Fake)의 합성어이다. 이 …
Source: www.2e.co.kr
Date Published: 1/19/2021
View: 1085
딥페이크 기술의 빛과 그림자
딥페이크(Deepfake)란, 인공지능 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는. 단어인 페이크(fake)의 합성어로, 인공지능 기술을 이용하여 진위 여부를 구별 …
Source: www.kca.kr
Date Published: 6/21/2022
View: 1605
“다 걸렸어”…99% 딥페이크 탐지하는 AI 기술
딥페이크(Deepfake)란 인공지능(AI) 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는 단어인 페이크(fake)의 합성어로 AI 기술을 이용한, …
Source: www.aitimes.com
Date Published: 12/5/2021
View: 5937
SNS 일반인 사진으로 ‘딥페이크’ 음란 영상 만든 30대 구속
딥페이크는 ‘딥러닝'(deep learning)’과 ‘페이크'(fake)를 합성한 말로, 인공지능(AI)을 기반으로 실제 모습처럼 조작한 음성과 영상 등을 통칭한다. A씨 …
Source: biz.chosun.com
Date Published: 5/23/2022
View: 7872
주제와 관련된 이미지 딥 훼이크
주제와 관련된 더 많은 사진을 참조하십시오 \”조작영상 꼼짝 마\”…딥페이크 찾아내는 앱 개발 (2021.03.30/뉴스데스크/MBC). 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 딥 훼이크
- Author: MBCNEWS
- Views: 조회수 980,687회
- Likes: 좋아요 5,813개
- Date Published: 2021. 3. 30.
- Video Url link: https://www.youtube.com/watch?v=2Fw-_uNOrYM
딥페이크 딥러닝 프로그램, 이게 다 뭐야?
요즘 ‘딥페이크’ 혹은 ‘딥러닝’이라는 말을 많이 접하게 되는데요, 이미지 합성 기술로도 알려진 이 기술은 대체 뭘까요?
딥페이크 기술을 이용하여 실제 인물이 촬영한 적이 없는 영상을 마치 그 인물이 촬영한 것처럼 나타내는 사례가 많습니다. 당연히 이러한 영상은 잘 알려진 인물들을 사용하여 만들어지는 예시가 많습니다. 그렇다면 이 딥페이크라는 것은 무엇일까요?
딥페이크
딥페이크는 간단하게 표현하면 인공지능을 활용하여 인간의 이미지를 합성하는 기술입니다. 딥페이크(deepfake)라는 용어는 AI의 한 형태의 기반 기술인 “딥러닝(deep learning)”에서 유래했습니다. 대량의 데이터를 주었을 때 문제를 해결하는 방법을 스스로 학습하는 딥러닝 알고리즘은 비디오와 디지털 콘텐츠의 얼굴을 지속해서 교체/교환하여 진짜처럼 보이는 가짜 미디어를 만드는 데 사용됩니다.
딥페이크를 만드는 방법에는 여러 가지가 있지만 가장 일반적인 방법은 페이스 스와핑(face swapping: 말 그대로 얼굴을 교체)기술을 사용하는 자동 인코더와 관련된 심층 신경망(deep neural network)을 사용하는 것입니다. 조금 어렵게 들린다면 간단히, 먼저 딥페이크의 기초로 사용할 대상 비디오가 필요하고 그 대상에 삽입하려는 사람의 비디오 클립 모음이 필요합니다.
예를 들어 과거에 오바마 혹은 트럼프 미국 전 대통령의 딥페이크 비디오가 화제가 되었는데요, 이런 경우에는 누군가가 오바마나 트럼프와 비슷한 복장을 하고 촬영을 한 다음, 오바마나 트럼프가 인터뷰한 여러 비디오를 준비하는 것입니다.
딥페이크 사용사례
이 위의 오바마 비디오를 보셨다면 드디어 우리가 보고 있는 것 전부를 믿을 수 없는 시대에 살고 있다는 걸 실감할 수 있을 거예요. 모든 기술이 양날의 검에 비유되듯, 딥페이크도 현재 많은 분야에서 악용되고 있으며 많은 전문가도 이 부분을 우려하고 있습니다.
영화나 게임에서는 이러한 기술이 비용을 낮추고 좋은 퀄리티의 영상을 생성하는 데 사용되는 좋은 기술이지만 사실 딥페이크의 최초 응용 프로그램 중 하나는 합성 포르노를 생성하기 위한 것이었습니다.
심지어 외국에서 가장 활발하고 많은 정보가 교환되는 ‘레딧’이라는 커뮤니티에서는 이것만을 주제로 다루는 포럼까지 등장하여 유명한 인물들의 평판이 심각하게 손상되는 사례가 계속해서 나타나고 있습니다.
또한 이런 딥페이크 영상은 정치에서도 악용되었습니다. 예를 들어 2018년 벨기에의 한 정당은 전(前) 미국 대통령, 도널드 트럼프가 벨기에에 파리기후협약 탈퇴를 촉구하는 연설을 하는 비디오를 공개했습니다. 그러나 실제로 트럼프는 그런 연설을 한 적이 없습니다.
한편, 반대로 이러한 저명인사의 영상을 활용한 딥페이크 영상은 실제 해당 인물이 불가능한 것도 할 수 있도록 도와줍니다. 좋은 사례로 영국의 엘리자베스 2세 여왕의 2020년 크리스마스 인사를 보면 90세가 넘은 연세가 믿기지 않는 춤 실력을 자랑하며 코로나로 한창 우울하던 국민을 웃게 하는 메시지를 전달하였습니다. 물론 이 영상은 딥페이크 기술을 통해 제작되었습니다.
어떻게 구분하지?
이렇게 감쪽같다면 딥페이크 영상과 진짜 영상을 대체 어떻게 구분할 수 있을까요?
영상을 자세히 보며 디테일하게 머리카락, 피부 혹은 외부적인 환경에 초점을 맞추기보다는 얼굴이 선명하게 보이는지, 흐릿하고 어색하지는 않은 지 살펴봅니다. 초점이 부자연스러운 경우도 있습니다.
딥페이크는 AI 를 활용한 기술이므로 처음에 주어진 데이터의 질이 결과로 나오는 영상의 질을 좌우합니다. 현재의 딥페이크는 얼굴을 사실적으로 애니메이션화하는 데 문제가 있으며 그러한 경우에는 피사체가 눈을 깜빡이지 않거나 반대로 너무 자주 또는 부자연스럽게 깜박이는 비디오가 생성됩니다. 그러나 이러한 깜박임의 이상을 감지하고 이것을 수정하여 문제없는 새로운 딥페이크도 계속해서 출시되고 있습니다.
소프트웨어 개발 오픈 소스 커뮤니티인 GitHub에서 많은 양의 딥페이크 소프트웨어를 찾을 수 있습니다. 이러한 앱 중 일부는 순수한 엔터테인먼트 목적으로 사용됩니다. 이러한 경우 딥페이크 제작은 불법이 아니지만 다른 앱은 악의적으로 사용될 가능성이 훨씬 큽니다.
우리가 할 수 있는 것
많은 전문가는 기술이 발전함에 따라 딥페이크가 훨씬 더 정교해지고 선거, 정치 및 추가 범죄 활동과 관련하여 대중에게 더 심각한 위협을 초래할 수 있다고 경고합니다.
기술은 계속 진화합니다. 그러므로 딥페이크가 보편화된 사회에 대비하여 온라인 혹은 다양한 매체에서 영상을 접하며 우리가 지금까지 접한 적이 없던 다른 종류의 비디오를 감지하는 데 익숙해져야할 것 같습니다.
예를 들어 현재 다양한 플랫폼에서 가짜 뉴스가 전파되며 무엇이 사실인 지 구분하기 힘들지만 그래도 이러한 상황에 맞추어 가짜 뉴스를 분별하고 정보를 받아들이는 방법을 터득한 것처럼 딥페이크가 보편화된 시대를 대비한 집단과 개인의 지성이 요구됩니다.
딥 페이크 스튜디오
페이스 스왑이 진화했습니다. 영화의 한 장면에 내 얼굴을 붙여 페이스 스왑을 하고 싶으신가요? 뮤직 비디오의 아티스트를 다른 사람으로 바꾸는 건 어떨까요? 페이스 셋을 이용한 딥 러닝으로 얼굴을 바꿀 수 있는 가능성은 무한합니다.
페이스 셋에는 페이스 스왑을 할 수 있는 얼굴 이미지가 포함되어 있어 원하는 누구와도 얼굴을 교환할 수 있습니다!
딥 페이크 스튜디오에서는 나만의 페이스 셋을 만들고 사용할 수 있습니다. 현재 단일 페이스 셋은 최대 500개의 이미지를 지원합니다. 따라서 공간이 충분합니다!
페이스 스와핑 과정에는 고가의 하드웨어, 코딩 지식, 그리고 시간이 필요합니다.
휴대 기기는 일반적으로 해당 과정을 처리할 수 없지만, 딥 페이크 스튜디오를 이용하면 쉽습니다. 고가의 장비가 필요하지 않고, 아무것도 설치할 필요가 없으며, 코딩 방법을 몰라도 됩니다.
이 앱은 여러분 대신 작업을 진행하는 강력한 하드웨어를 갖춘 서버와 여러분의 기기를 연결합니다. 따라서 페이스 스왑을 적용하고 싶은 이미지와 영상만 준비하면 됩니다. 또 최고의 장비를 사용해도 처리에 약간의 시간이 걸릴 수 있으니 약간의 인내심도 필요합니다. 결과는 확실히 그만한 가치가 있답니다!
이 앱은 페이스 스왑 기능 외에도 AI 기술로 이미지를 처리하고 확대할 수 있습니다. 품질을 유지하면서 오래된 사진이나 저해상도 이미지를 확대하고 싶으신가요? 선명한 디테일을 유지하면서 이미지를 원래 크기의 최대 4배까지 확대할 수 있습니다. 특히 그림과 애니메이션에 효과적입니다.
번거로움, 유지 과정, 장비, 코딩 모두가 필요 없습니다. 그저 재미있게 사용하기만 하면 됩니다.
업데이트 날짜 2021. 8. 3.
딥페이크(Deepfake), 나쁘기만 한 것은 아니다! 터틀맨, 김광석, 유관순, 나연이 등 딥페이크 기술의 착한 활용 사례
이제 “딥페이크(Deepfake)”라는 단어만 나오면 “또 무슨 일이지?” 라는 부정적인 생각이 먼저 떠오른다. 디지털 성범죄, 가짜 뉴스 등에 악용되어 대부분의 사람들은 딥페이크 기술이 나쁜 기술이라고 오해하고 있다.
하지만 딥페이크는 나쁜 기술이 아니다. 영화계, 의료계, 방송계 등 다방면에서 딥페이크 기술을 활용하여 인간 삶의 가치를 높이고 있다. AR, VR 등의 기술과 접목시켜 큰 감동을 주기도 한다. 부작용이 많다는 점에서 여전히 우려 섞인 목소리가 크지만 부정적인 면만 있는 것은 아니다. 딥페이크 기술 원리를 알아보고 딥페이크가 착하게 활용된 사례를 소개하고자 한다.
딥페이크란?
딥페이크(Deepfake)란 인공지능의 한 분야인 심층 학습(Deep Learning)과 가짜(Fake)의 합성어이다. 이 용어는 2017년 미국의 소셜네트워크 플랫폼 레딧에서 “Deepfakes”라는 아이디를 가진 회원이 유명 배우의 얼굴로 조작된 가짜 음란 동영상을 올리면서 사용되기 시작했다.
2014년 이안 굿펠로우(Ian Goodfellow)는 딥페이크의 핵심이 된 기술, 생성적 적대 신경망(GAN: Generative Adversarial Networks)을 발표했다. GAN은 생성자(Generator)와 판별자(Discriminator)라는 서로 대립 관계에 있는 신경망을 동시에 훈련하면서 결과물의 정확성을 높이게 된다. 아래 그림과 같이 위조 지폐를 생성해 내는 위조 지폐범(생성자)과 위조 지폐를 가려내기 위해 노력하는 경찰(판별자) 사이의 경합하는 과정으로 쉽게 이해할 수 있다.
Figure 1 GAN의 원리 (모두의 딥러닝, 길벗)
GAN을 이용하여 가짜를 진짜인 것처럼 만들어 낼 수도 있고, 이 세상에 없는 사람을 사실적으로 생성해낼 수도 있다. 딥페이크 기술이 활용된 사례를 확인해 보자.
[활용 사례 1] 제미니 맨 – 디지털 디에이징2019년 10월 개봉한 영화 제미니 맨의 제미니(Gemini)는 쌍둥이 같은 복제인간이라는 의미이다. 주인공인 헨리(윌 스미스)는 자신과 완벽하게 닮은 의문의 요원에게 맹추격을 당하며 이야기가 시작된다. 이 의문의 요원은 20대의 헨리(윌 스미스)로 윌 스미스의 젊은 시절의 모습으로 포토샵을 이용한 CG(Computer Graphics) 처리가 아닌 딥페이크 기술을 활용해 디지털 디에이징 효과를 완벽하게 재현해 냈다.
Figure 2 제미니 맨 포스터 – 네이버 영화
딥페이크 기술을 활용하기 전에는 배우를 포토샵의 필터와 브러시로 더 젊게 복원하는데 주력했다. 하지만 기술적 한계가 분명 존재했고 CG로 구현한 티도 많이 나 아쉬움이 컸다. 하지만 제미니 맨에서는 얼굴 인식 장비와 동작 포착 장비를 통해 젊은 캐릭터를 포토샵으로 CG 처리 하는 것보다 훨씬 정교하고 빠르게 만들어 낼 수 있게 되었다.
[활용 사례 2] 신변보호 – 버추얼 휴먼“SBS 그것이 알고 싶다” 에서는 2021년 2월, 딥페이크 범죄 피해자의 모습을 모자이크가 아닌 딥페이크 기술을 활용해 방영하였다.
Figure 3 그것이 알고 싶다 딥페이크 편(2021.02.27)
2명의 피해자의 동의를 얻어 버추얼 휴먼(가상 인간) ‘루이 리’를 만든 디오비스튜디오에서 딥페이크 기술을 활용해 현실에 존재하지 않는 사람의 얼굴로 만들었다. 이렇게 하여 두 피해자의 신상을 알 수 없도록 보호했다. 표정과 얼굴을 가리는 모자이크 방식을 사용하는 대신 딥페이크 기술을 활용하여 익명성을 보장하면서도 시청자에게 이들의 감정을 생생하게 전달할 수 있었다. 딥페이크 피해를 딥페이크를 통해 알리자 라는 역발상이 통했던 사례이다.
[활용 사례 3] 질병 예방 – 이미지 패턴 매칭이미지 패턴 매칭 기술은 다양한 종류의 암 진단도 가능하게 한다. 2019년 7월 독일 뤼벡대(University of Lübeck) 의료정보학연구소에서는 CT, MRI, X선 이미지를 분석해 다양한 암의 징후와 이상신호를 탐지 모델을 개발했다. GAN을 이용하여 원본 영상과 진위여부를 구별할 수 없을 정도로 정확한 딥페이크 의료영상을 만들어 인공지능이 질병을 올바르게 학습하고 정확하게 진단할 수 있는데 사용하고 있다.
Figure 4 딥페이크 기술 적용 의료영상 (Ground AI)
딥페이크 기술 이전에는 환자의 민감 데이터가 턱없이 부족했고 의료용 3D 이미지 합성에도 많은 비용이 들어 다양한 연구 진행과 인공지능 학습에 많은 어려움이 있었다. 딥페이크 의료 영상으로 환자의 정보 유출을 막을 수 있으며 인공지능이 충분히 학습할 수 있는 데이터를 생성할 수 있게 되었다.
[활용 사례 4] 마이헤리티지 – 새로운 추모 방식온라인 가계도 서비스를 제공하는 마이헤리티지(MyHeritage)에서는 고인이 된 가족, 순국열사 등 새로운 방식으로 추모할 수 있다. 바로 딥러닝 전문 기업 디아이디(D-ID)의 딥노스텔지아(Deep Nostalgia) 서비스를 통해서다.
Figure 5 유관순 열사, 윤봉길 의사 생전 모습 복원 (MyHeritage)
생전의 모습이 담긴 사진이나 그림 등을 마이헤리티지 플랫폼에 업로드한다. 플랫폼 내에서 화질을 개선한 후 사진이나 그림을 잘게 분할하고, 분할된 각 조각에 맞는 각도와 표정을 원본에 덮어 씌운다. 동영상 프레임 단위로 자르고 합성하여 자연스럽고 생동감 있는 형태로 고인의 모습을 제공해 준다. 딥페이크 기술을 이용한 딥노스텔지아 서비스가 공개되자마자 자연스러운 표정과 입체적인 서비스 제공에 호평일색이었다.
[활용 사례 5] 신기술 접목 – 재회딥페이크 기술에 VR/AR, 음성 복원 등의 기술을 더하면 큰 감동을 주기도 한다.
딥페이크와 음성 복원 기술을 접목해 김현식, 김광석, 터틀맨(임성훈) 등 그리운 이들의 목소리, 그리고 그룹의 완전체 모습을 다시 볼 수 있게 되었다. AI 음악 프로젝트 다시 한번의 첫 주인공 터틀맨(임성훈) 사례이다. 2008년 심근경색으로 세상을 떠나기 전 영상 자료를 기반으로 목소리를 복원하고 페이스 에디팅 기술로 얼굴을 재현했다. 다시는 만날 수 없을 것만 같던 이들과의 만남이 기술의 발전으로 가능해져 많은 사람들을 놀라게 했고 감동과 위로를 전했다.
Figure 6 AI 음악 프로젝트 다시 한번 – 거북이 완전체 모습 (Mnet)
또한 1996년 우리 곁을 떠난 전설적인 가수 (故) 김광석의 생전 목소리로 2002년 출시된 노래를 들을 수도 있게 되었다. 오디오 전문 AI 업체 수퍼톤에서 음성 복원을 실시하여 TTS(Text-To-Speech) 기술에 악보 정보를 함께 입력하여 모창 AI를 개발했다. 모창 AI를 충분히 훈련시킨 후 김광석의 목소리 데이터를 적용하여 (故) 김광석이 한 번도 부를 수 없었던 2002년의 노래도 그의 음성으로 들을 수 있게 됐다.
Figure 7 세기의 대결! 인간 vs AI – AI가 학습한 김광석의 목소리로 부르는 ‘보고싶다’ (SBS)
딥페이크 기술과 VR 기술을 함께 결합한 사례도 있다. MBC 다큐멘터리 너를 만났다에서는 7세라는 이른 나이에 세상을 떠난 딸, 나연이를 가상현실에서 만날 수 있게 했다. 딸의 목소리, 말투, 몸짓 등은 기존 사진이나 영상으로 분석하고, 모션 캡쳐, 3D 등의 기술을 통해 가상세계 속 나연이의 모습을 실제와 가깝게 만들었다. 어머니는 VR 장비를 착용하고 가상세계 속에서 딸을 만나게 되었다. 다시 한번 딸을 만나고 싶다는 간절한 소망이 이루어져 감격했고, 딸과 가상현실에서 짧지만 소중한 시간을 보냈다.
Figure 8 스페셜 다큐멘터리 너를 만났다 – 나연이 (MBC)
이처럼 다방면에서 딥페이크 기술이 활용되고 있다. 앞으로도 기술은 인간에게 새로운 가능성과 무한하게 꿈꿀 수 있는 기회를 줄 것이다. 안전성과 신뢰성이 바탕이 되어 긍정적인 방향으로 발전하길 기대한다.
[참고자료]1. 모두의 딥러닝 개정 2판 (길벗 출판사)
2. 딥페이크 기술의 빛과 그림자 (KCA Media Issue& Trend, 2019)
3. 딥페이크 피해자를 딥페이크로 보호한 SBS ‘그알’ (미디어 오늘 정민경 기자, 2021.03)
4. 딥페이크, ‘그알’처럼 활용하기 나름 (미디어스 김혜인 기자, 2021.04)
5. [IT 최신 정보] 부정적 인식이 강렬한 딥페이크 그래도 범죄에만 악용되는 건 아닐텐데!
(네이버 포스트, 사이렌24, 2021.08) https://post.naver.com/viewer/postView.naver?volumeNo=32221608&memberNo=25598567
6. 딥페이크, 무조건 나쁘기만 하다고? (코딩 월드 뉴스 김정연 기자, 2021.04)
7. 데이터 기반 딥페이크 탐지기법에 관한 최신 기술 동향 조사 (정보보호학회지 제 30권 제5호 김정호, 안재주, 양보성, 정주연, 우사이먼성일, 2020.10)
8. https://tech-wired.tistory.com/196
9. 딥페이크(Deepfake): 최고가 되느냐, 최악이 되느냐 (지속가능저널, 최정원 저널리스트, 2021.03)
10. 김광석·김현식 노래 다시 들을 수 있다고? AI가 소환한 레전드 (중앙일보, 민경원 기자, 2020.12)
저작권자 © 투이컨설팅 무단전재 및 재배포 금지
“다 걸렸어”…99% 딥페이크 탐지하는 AI 기술
얼굴 표정 조작 감지 및 지역화를 위한 프레임워크.(사진=UC 리버사이드)
최대 99% 정확도로 딥페이크 비디오를 감지하는 새로운 기술이 나왔다. UC 리버사이드(University of California, Riverside)의 연구팀이 딥페이크 비디오에서 조작된 얼굴 표정을 감지해내는 심층 신경망 모델을 개발했다.
딥페이크(Deepfake)란 인공지능(AI) 기술인 딥러닝(deep learning)과 ‘가짜’를 의미하는 단어인 페이크(fake)의 합성어로 AI 기술을 이용한, 진위 여부를 구별하기 어려운 가짜 이미지나 영상물을 뜻한다.
생성 모델(Generative Model)의 발전으로 딥페이크는 사람의 얼굴을 다른 사람으로 쉽게 바꾸거나 표정을 변경할 수 있을 정도로 합성이 더 쉬워지고 실제와 구별하기가 더 어려워졌다. 한편으로 딥페이크 기술이 비디오를 조작해 악의적으로 사용되는데 대한 우려도 커지고 있다.
의사 소통에서 얼굴 표정의 중요성은 널리 알려져 있으며 이미지나 비디오의 표정이 개인의 원래 표정인지 조작된 것인지 판별하는 것이 필요하다. 따라서 얼굴 표정의 조작을 감지하고 조작된 영역을 지역화할 수 있는 방법을 개발하는 것이 중요하다.
UC 리버사이드의 연구팀은 변경된 이미지 내의 특정 영역을 감지하고 지역화(localization)할 수 있는 얼굴 표정 조작 감지(EMD, Expression Manipulation Detection)라고 하는 프레임워크를 구축했다.
EMD는 조작 감지를 위해 2개의 스트림 네트워크를 사용한다. 첫번째 스트림은 얼굴 표정을 식별하고 입, 눈 또는 이마와 같이 표정을 포함하는 영역에 대한 정보를 추출하는 얼굴 표정 인식(FER, Face Expreesion Recognition)이다. FER 스트림은 표정을 나타내는 얼굴 영역에 대한 특징 정보를 제공한다.
특히 FER을 통해 조작 감지에 중요한 판별 이미지 영역을 식별하는 CAM(Class Activation Map)을 생성할 수 있다. 표정 변화 감지를 위해 표정에 대한 정보로 얼굴 영역을 지역화할 수 있는 네트워크를 추가하면 조작 감지가 더 잘 수행될 수 있다. 표정 변화는 주로 눈, 입, 눈썹 주변에서 일어난다.
두 번째 스트림은 조작 감지(manipulation detection) 및 지역화를 담당하는 인코더-디코더(encoder-decoder) 아키텍처다. 인코더는 FER 시스템의 특징이 결합된 저차원 공간에 이미지를 투영한 다음 디코더를 사용해 얼굴 이미지의 조작된 영역을 예측한다.
표정 조작 감지 및 위치 파악을 위해 제안된 접근 방식을 나타낸다. FER 시스템에서 추출된 기능과 조작 감지 스트림에서 추출한 기능은 조작된 영역의 픽셀 단위 지역화를 위해 디코더에 입력된다.(사진=UC 리버사이드)
얼굴 조작에 대한 벤치마크 데이터 세트는 소스 비디오의 표정 또는 얼굴을 변경해 대상 비디오로 전송한다. 두 가지 얼굴 조작 데이터 세트에 대해 EMD는 표정 조작 뿐 아니라 얼굴 변경을 감지하는데 기존 감지 기술보다 더 나은 성능을 보였다. EMD는 조작된 동영상의 99%를 정확하게 감지했다. 일반적으로 얼굴이 바뀌었을 때보다 표정만 바뀐 얼굴을 식별하는 것이 더 어렵고, 현재까지 신뢰할 수 있는 기술이 없었다.
1열과 2열은 각각 원본 이미지와 조작된 이미지를 보여준다. 3열의 흑백 이미지는 원본 이미지의 마스크이고, 4열은 데이터세트에서 조작된 이미지에 대한 예측 마스크다. 5열은 표정을 판별하는 이미지 영역을 식별하는 CAM이다.(사진=UC 리버사이드)
이 기술은 ‘Detection and Localization of Facial Expression Manipulations’ 제목의 논문으로 2022년 컴퓨터 비전 응용 학회( 2022 Winter Conference on Applications of Computer Vision)에 발표됐다.
AI타임스 박찬 위원 [email protected]
[관련기사]진짜와 가짜 얼굴 구별할 수 있나? AI 합성 얼굴 구별 어려워 [관련기사][AI티타임] 오픈AI가 개발한 달리2 “좋지만 위험해”
키워드에 대한 정보 딥 훼이크
다음은 Bing에서 딥 훼이크 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 \”조작영상 꼼짝 마\”…딥페이크 찾아내는 앱 개발 (2021.03.30/뉴스데스크/MBC)
- MBC
- MBC뉴스
- 뉴스데스크
- newsdesk
- 뉴스투데이
- newstoday
- 8시뉴스
- 아침뉴스
- 뉴스
- 정오뉴스
- news
- 딥페이크
- 인공지능
\”조작영상 #꼼짝 #마\”…딥페이크 #찾아내는 #앱 #개발 #(2021.03.30/뉴스데스크/MBC)
YouTube에서 딥 훼이크 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 \”조작영상 꼼짝 마\”…딥페이크 찾아내는 앱 개발 (2021.03.30/뉴스데스크/MBC) | 딥 훼이크, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.