당신은 주제를 찾고 있습니까 “피플 카운팅 – 듀얼 렌즈 피플 카운팅 카메라“? 다음 카테고리의 웹사이트 ppa.maxfit.vn 에서 귀하의 모든 질문에 답변해 드립니다: https://ppa.maxfit.vn/blog. 바로 아래에서 답을 찾을 수 있습니다. 작성자 아이데이터 이(가) 작성한 기사에는 조회수 61회 및 좋아요 1개 개의 좋아요가 있습니다.
피플 카운팅 주제에 대한 동영상 보기
여기에서 이 주제에 대한 비디오를 시청하십시오. 주의 깊게 살펴보고 읽고 있는 내용에 대한 피드백을 제공하세요!
d여기에서 듀얼 렌즈 피플 카운팅 카메라 – 피플 카운팅 주제에 대한 세부정보를 참조하세요
듀얼 렌즈 피플 카운팅 네트워크 카메라는 특정 영역에 출입하는 사람들의 개별 계수를 지원하는
특수 인원 계수 카메라입니다. 3D 사람 감지 및 추적, 높이 필터링을 포함한
다양하고 중요한 고급 기술을 결합한 제품입니다.
피플 카운팅 주제에 대한 자세한 내용은 여기를 참조하세요.
피플카운팅 | SK쉴더스
Wi-Fi와 3D카메라를 결합하여 유동인구 분석 및 유입객 수를 정확하게 카운팅하는. 캡스 피플카운팅. 서비스 특징. 두 개의 렌즈를 통한 카운팅 정확도 향상.
Source: www.skshieldus.com
Date Published: 11/21/2021
View: 5003
피플카운팅 시스템 방문객 수와 동선을 측정하고 결과를 분석 …
편리하고 정확한 인원 계수기 피플카운팅 안정적인 소프트웨어로 언제 어디서나 실시간 데이타를 확인 가능합니다. 3D Gen2 Counter. SENSORTECKOREA.
Source: www.sensortec.kr
Date Published: 11/8/2022
View: 2308
피플카운팅 시스템 | 인원 계수기
FootfallCam 인원 계수기 를 제공합니다 피플카운팅 소매점과 쇼핑몰에서 고객 트래픽을 측정하는 솔루션. 양방향 및 실시간 카운팅을 지원합니다.
Source: www.footfallcam.com
Date Published: 11/21/2021
View: 8693
다인스(주) 피플카운트, 얼굴인식 전문기업
밀집 인원 카운팅 솔루션 출입자가 아닌 군집 인원 전용 카운트. MORE VIEW. 매장 전용 선택형 패키지 서비스. 방문 고객수, 고객의 관심 매대, 관심고객의 성별과 …
Source: www.da-ins.co.kr
Date Published: 2/29/2022
View: 3707
피플카운팅 및 안면인식 – (주)퀀텀솔루션
피플카운팅 및 안면인식. AI 영상 분석. 구조화되지 않은 일반 영상, 리포트 형태로 된 자료+실시간 알림. 클리우드 서버를 통한 분석, 혹은 로컬 서버를 구축해서 …
Source: qtsolution.co.kr
Date Published: 12/25/2022
View: 619
KR101448392B1 – 피플 카운팅 방법
본 발명은 피플(People) 카운팅 방법에 관한 것으로서, 특히 복수개의 깊이(Depth) 영상 카메라를 통해 촬영된 영상 데이터를 이용하여 출입하는 사람들의 수를 나이대 …
Source: patents.google.com
Date Published: 9/19/2021
View: 3300
피플 카운팅 – Solutions by Function – Hikvision
Hikvision’s People Counting Solution features high accuracy and effectiveness, making it easy to understand how many people are in an area at any time, …
Source: www.hikvision.com
Date Published: 1/18/2022
View: 5790
주제와 관련된 이미지 피플 카운팅
주제와 관련된 더 많은 사진을 참조하십시오 듀얼 렌즈 피플 카운팅 카메라. 댓글에서 더 많은 관련 이미지를 보거나 필요한 경우 더 많은 관련 기사를 볼 수 있습니다.
주제에 대한 기사 평가 피플 카운팅
- Author: 아이데이터
- Views: 조회수 61회
- Likes: 좋아요 1개
- Date Published: 2021. 10. 8.
- Video Url link: https://www.youtube.com/watch?v=lPt9vkPTxBU
유동인구 분석까지 가능!
Wi-fi와 3D 카메라를 결합하여, Wi-fi방식의 장점인 유동인구 분석과 매장 간의 비교분석을 가능하게 하고, 카운팅 정확도 또한 3D렌즈를 통하여 강화하였습니다. 오프라인 매장도 온라인 쇼핑몰 관리하듯이 매장의 쇼핑객 분석을 통하여 놓치고 있었던 판매기회를 확대해보세요. Footfall Cam은 국내에서는 SK쉴더스를 통해서만 만나 보실 수 있습니다.
FootfallCam
인원 계수기 모든 제품보기
우리는 기업이 데이터 기반 결정을 내릴 수 있도록 하드웨어와 소프트웨어의 강력한 조합 인 세계적 수준의 솔루션을 제공합니다. 당사는 모든 고객에게 고유하고 맞춤화 된 서비스를 제공하며, 여기서 당사는 귀하의 비즈니스를 이해하고 전달되는 데이터를 최대한 활용할 수 있도록 돕는 데 중점을 둡니다. 우리를 봐 피플카운팅 아래에 더 자세히 설명되어 있습니다.
다인스(주) 피플카운트, 얼굴인식 전문기업
다인스 주식회사는 무인계수, 얼굴인식, 스마트시티솔루션, AI 전문기업으로
더 좋은 제품을 공급하기 위해 끊임없는 연구개발을 약속드립니다. 자세히 보기
다양한 환경에 천편일률적 시스템 적용은 비합리적입니다. 다인스(주)는 해당 환경에 최적화 된 시스템을 무상설계 해 드립니다. 자세히 보기
다년간 수집 된 현업 관리자들의 의견을 통해 Retail 매장 관리에 꼭 필요한 고객분석 서비스를 제공 해 드립니다.
수 많은 실무자의 의견이 반영 된 다양한 뷰어 기능들을 최대한 쉽게 사용하실 수 있도록 설계하였습니다. 자세히 보기
KR101448392B1 – 피플 카운팅 방법 – Google Patents
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 포괄하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 피플 카운팅 시스템의 개략적 블록 구성을 나타낸 도면이다.
도 1에 도시된 바와 같이 본 발명에 따른 피플 카운팅 시스템은 제1,2 영상 입력부(100, 200), 제1,2 객체 추출부(300, 400), 피플 카운팅부(500), 얼굴 나이 분류부(600) 및 데이터베이스(700)를 포함한다.
제1,2 영상 입력부(100, 200)은 각각 깊이 영상 카메라일 수 있으며, 제1 영상 입력부(100)는 출입구의 상단에 설치되어 출입자를 촬영하여 촬영된 영상 신호를 제1 객체 추출부(300)로 제공하고, 제2 영상 입력부(200)는 출입구의 정면에 설치되어 출입자를 촬영하여 촬영된 영상신호를 제2 객체 추출부(400)로 제공한다.
제1 객체 추출부(300)는 제1 영상 입력부(100)로부터 제공되는 영상신호로부터 출입자의 머리 부분에 대한 객체를 추출하여 추출된 머리부분 객체 영상신호를 피플 카운팅부(500)로 제공한다.
제2 객체 추출부(300)는 제2 영상 입력부(200)로부터 제공되는 영상신호로부터 출입자의 얼굴 부분에 대한 객체를 추출하여 추출된 객체 얼굴부분 영상신호를 피플 카운팅부(500) 및 얼굴 나이 분류부(600)로 각각 제공한다.
얼굴 나이 분류부(600)는 제2 객체 추출부(400)에서 추출된 객체 즉, 출입자의 얼굴 영상으로부터 나이 분류를 위한 특징점들을 각각 추출하고, 추출된 각각의 특징점들과 데이터베이스(700)에 저장된 나이 그룹 분류 데이터들을 비교하여 출입자의 얼굴 나이를 분류한 후, 분류된 나이 정보를 피플 카운팅부(500)로 제공한다.
피플 카운팅부(500)는 제1 객체 추출부(300)에서 제공되는 객체 정보와 제2 객체 추출부(400)에서 제공되는 객체 정보가 상호 동일한 객체인지를 판별한 후, 객체 정보가 동일한 출입자의 객체라고 판단되는 경우 얼굴 나이 분류부(600)에서 제공되는 해당 객체의 나이 정보와 데이터베이스(700)에 기 저장된 나이별 입장객 카운팅 정보를 비교하여 입장객을 나이별로 각각 카운팅하여 데이터베이스(700)에 카운팅 정보로서 저장한다.
한편, 피플 카운팅부(500)는 상기 객체 정보의 동일성 여부 판별결과, 상호 동일한 객체가 아니라고 판단되는 경우 해당 객체는 퇴장하는 퇴장객이라 판단하여 이를 카운팅한 후, 카운팅 정보를 데이터베이스에 퇴장객 정보로서 저장한다.
이와 같은 피플 카운팅 시스템의 각각의 구성요소 및 그 구성요소에 대한 동작에 대하여 첨부한 도면을 참조하여 상세하게 설명해 보기로 하자.
먼저, 도 1에 도시된 제1 객체 추출부(300)의 상세 구성 및 동작에 대하여 도 2를 참조하여 설명한다.
도 2를 참조하면, 제1 객체 추출부(300)는 배경 제거부(310), 전경 객체 추출부(320), 객체 블랍 지정부(330) 및 객체 검출부(340)를 포함할 수 있다.
상기 배경 제거부(10)는 출입구 상단에 설치된 제1 영상 입력부(100)를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거한다. 배경 제거를 위해 두 가지 방법을 이용하게 되는데 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용한다.
먼저, 차 연산을 통한 배경 제거는 상기 입력 영상의 초기 프레임(k)과 현재 프레임 간의 차 연산을 통해 수행되며, 이는 아래의 수학식 1과 같이 표현될 수 있다.
여기서, depth(i,j)는 깊이 영상의 픽셀(Pixel)의 좌표값이고, k는 입력 영상의 초기 프레임의 개수이다.
즉, 수학식 1을 통해 k개의 배경 영상 프레임을 이용하여 순순한 배경 영상을 구하게 된다. 그리고, 현재 입력 영상과 수학식 1을 통해 구해진 순수한 배경 영상의 차 연산을 통해 배경이 제거된 영상을 얻게 된다.
한편, 상기한 입력 RGBD 영상으로부터 배경 제거 방식 중 가우시안 혼합 모델을 이용한 방식은 다음과 같은 방식으로 수행된다.
먼저, 입력되는 영상은 시간에 따라 영상의 잡음, 조명이나 날씨의 변화, 물체들의 이동에 따라 변화 한다. 이러한 다양한 변화 속에서 배경만을 모델링하기 위해 자주 사용하는 방법이 확률적인 모델을 이용한 학습이다. 가우시안 혼합 모델은 이러한 확률적 모델을 이용한 학습에 가장 많이 사용되는 방법으로 영상의 각 픽셀들을 가우시안 혼합 확률분포를 이용해 모델링한다.
각 가우시안 혼합 분포를 이루는 가우시안들은 입력되는 색 정보를 학습해 나감으로 배경의 변화에 적응한다.
가우시안 혼합 모델은 잡음에 강하며 나무 가지의 흔들림이나 파도 물결 등의 움직임을 나타내는 배경도 모델링할 수 있는 장점을 지닌다.
확률적 모델을 이용한 학습의 기본적인 가정은 배경의 색 정보를 모델링한 가우시안이 물체의 색 정보의 확률을 가진다는 것이다. 따라서 물체의 색 정보의 확률이 높아질수록 물체의 색 정보를 학습한 가우시안과 배경의 색 정보를 학습한 가우시안 사이에 구분이 모호하게 되고 결과적으로 배경 모델링의 정확도가 저하된다. 예를 들면 이동하는 물체가 정지하는 경우, 일정 시간이 지나면 기존 배경을 나타내는 확률보다 물체를 나타내는 확률이 높아진다. 물체의 색 정보를 배경의 색 정보로 학습하게 된다. 또한 물체가 자주 이동하는 경우에도 비록 물체가 멈춘 것은 아니지만 물체의 색 정보의 확률이 높아짐으로 물체 검출의 정확도가 저하된다.
따라서, 도 2의 배경 제거부(310)는 입력되는 영상에서 깊이 데이터를 이용해 추출된 배경을 상기한 바와 같은 차 연산과 가우시안 혼합 모델 기법으로 배경 제거 및 객체를 인식한다. 여기서, 가우시안 혼합 모델 기법은 아래의 수학식 2와 같이 정리될 수 있다.
즉, N개의 순수한 배경 영상을 이용하여 각 픽셀 별로 가우시안 혼합(MOG: Mixture of Gaussian) 방법에 의해 참조 배경을 모델링 하게 되고 각각의 픽셀은 K개의 가우시안 분포를 갖게 된다. 여기서 W는 입력영상, μ는 평균, t는 프레임(frame), ∑는 공분산, P()는 백분위(Percent), W i,t 는 i번째 입력영상의 프레임, η()는 교란, K는 입력영상의 개수를 나타낸다.
상기한 바와 같은 도 2의 배경 제거부(310)에서 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되는 과정이 도 3에 나타나 있으며, 도 3에서 좌측 영상은 제1 영상 입력부(100)로부터 입력되는 원본 영상이고, 우측 영상은 가우시안 혼합 모델 방법을 적용하여 배경이 제거된 전경영상을 나타낸 것이다.
도 2의 전경 객체 추출부(320)는 배경 제거부(310)를 통해 배경 영상을 제거한 후, 전경 영상으로부터 전경 객체를 추출하게 되고, 추출된 전경 객체에 대하여 객체 블랍 지정부(330)에서 블랍을 지정한다.
이러한 동작을 좀 더 구체적으로서 설명하면, 먼저, 도 3에 도시된 바와 같이 배경 영상 제거된 영상에서 히스토그램 분석 및 레이블링 기법을 통해 각각의 객체를 블랍으로 지정한다.
다시 말해, 배경 제거 후에 남게 되는 객체들을 레이블링을 통해 블랍으로 지정되어 각각의 객체를 분리한다. 컬러영상을 그레이 스케일 영상 및 이진 영상으로 변환하고 레이블링 과정을 수행한다.
레이블링은 연결된 픽셀를 하나의 개체, 즉 레이블로 정의함으로써 가로폭, 세로높이, 면적, 면적 대비 픽셀의 개수를 나타내는 밀도 등의 정보를 설정할 수 있다. 이러한 정보는 문자와 영상을 분류할 수 있는 기준이 되며, 밝기 값 변화를 이용한 객체 후보군 추출 단계에서 객체의 잘못된 인식 문제를 최소화 한다.
레이블 필터링 단계는 사람 후보군을 추출하기 위해 전 미리 다른 영역을 분류하기 위한 과정으로 먼저 레이블의 크기정보를 이용한다. 일반적으로 사람과 이외의 것(물체)이 같이 혼합되어 있는 영상에서 레이블의 크기는 사람의 레이블보다 가로 또는 세로 길이가 비교적 크다. 이러한 특성을 고려하여 아래의 수학식 3과 같이 사람 이외의 레이블을 필터링 할 수 있는 가로, 세로의 각 길이에 대한 임계값을 설정한다.
여기서, T i 는 레이블의 가로 또는 세로의 길이 임계값이며, minl, maxl, avrl은 각각 최소, 최대, 평균 길이를 나타낸다.
상기 수학식 3의 상위 항과 레이블의 평균 길이 avrl이 최소 및 최대 길이 minl , maxl의 평균값보다 작을 경우 임계값 T i 을 평균값에 좀 더 근접하게 설정하기 위하여 평균 길이 avrl에 2를 곱하여 가중치를 두었으며, 그 외의 경우는 하위 항과 같이 T i 을 평균길이 avrl과 최대 길이 maxl의 평균값으로 설정한 것이다. 두 경우 모두 임계값을 평균길이보다 높게 설정 하였는데, 이는 평균 길이에 가까운 레이블일수록 사람일 확률이 높고 최대 길이에 가까운 레이블일수록 사람이 아닐 확률이 높은 이유 때문이다.
이 후 레이블링을 이용해 인접 픽셀에 모두 같은 번호(Label)을 붙이고 연결되지 않은 다른 성분에는 다른 번호를 붙여 추출된 객체를 분리시킨다. 분리시킨 픽셀은 도 4와 같이 블랍으로 지정된다. 도 4는 레이블링 기법으로 블랍을 지정하는 과정을 나타낸 도면이다. 그리고, 도 5는 상기한 레이블링 기법을 영상에 적용한 예를 나타낸 도면이다.
이어, 도 2에 도시된 객체 검출부(340)는 객체 블랍 지정부(330)에서 상기한 방법을 통해 분리된 객체 영상의 깊이 정보를 거리 정보로 변환하여 제1 영상 입력부(100) 즉, 출입구의 상단에 설치된 카메라로부터 대략 50-100Cm 떨어진 머리 형태의 객체를 검출하고, 검출된 객체정보를 도 1에 도시된 피플 카운팅부(500)로 제공한다. 여기서, 머리 형태의 객체를 검출한 영상의 일 예에 대해서는 도 6과 같다.
한편, 도 1에 도시된 제2 객체 추출부(400)의 상세 구성 및 동작에 대하여 도 7을 참조하여 상세하게 설명한다.
도 7은 도 1에 도시된 제2 객체 추출부(400)의 상세 블록 구성을 나타낸 도면이다.
도 7을 참조하면, 제2 객체 추출부(400)는 배경 제거부(410), 전경 객체 추출부(420) 및 객체 검출부(430)을 포함할 수 있다.
여기서, 배경 제거부(410)와 전경 객체 추출부(420)의 동작은 도 2에 도시된 제1 객체 추출부(300)의 배경 제거부(310) 및 전경 객체 추출부(320)의 동작과 동일한 것으로, 입력 영상만 그 차이가 존재한다. 즉, 제2 객체 추출부(400)의 배경 제거부(410)와 전경 객체 추출부(320)는 그 입력 영상이 출입구의 정면에 설치된 제2 영상 입력부(200)로부터 입력되는 정면 영상을 이용하는 것이고, 도 2에 도시된 제1 객체 추출부(300)의 배경 제거부(310)와 전경 객체 추출부(320)에서의 배경 제거와 전경 객체 추출동작은 출입구의 상단에 설치된 제1 영상 입력부(100)로부터 입력되는 영상을 이용하는 차이만 존재할 뿐 배경 제거 및 전경 객체 추출 동작은 실질적으로 동일하기 때문에 그 상세 설명은 생략하기로 한다.
상기 전경 객체 추출부(420)에서 추출된 전경 영상은 객체 검출부(340)로 입력되는데, 객체 검출부(430)는 입력되는 전경 영상에서 깊이 정보를 활용한 관절 추적 방법을 적용하여 각각의 출입자의 신체 전체에 대한 객체를 검출한다.
여기서, 상기한 객체 검출부(340)에서의 객체 검출 방법은 이미 발표된 공지의 논문 “마이크로소프트 키넥트 SDK 활용 : Real-Time Human Pose Recognition in Parts from Single Depth Image” 에 기재된 관절 추적 방법을 이용한 것으로 상세 설명은 생략하기로 한다.
이와 같이 검출된 출입자의 전신에 대한 객체 정보는 피플 카운팅부(500)로 제공된다.
이하, 도 1에 도시된 제1 객체 추출부(300) 및 제2 객체 추출부(400)으로부터 각각 추출된 객체 정보를 이용하여 출입자의 수를 계수하는 피플 카운팅부(500)의 구체적인 구성 및 동작에 대하여 첨부 도면을 참조하여 상세하게 설명한다.
도 8은 도 1에 도시된 피플 카운팅부(500)에 대한 상세 블록 구성을 나타낸 도면이다.
도 8을 참조하면, 피플 카운팅부(500)는 동일 객체 판별부(510), 객체별 고유태그 부여부(520), 객체 추적부(530) 및 카운팅부(540)를 포함할 수 있다.
동일 객체 판별부(510)는 먼저, 제1 객체 추출부(300)와 제2 객체 추출부(4000에서 추출된 각각의 객체에 대한 깊이 데이터의 해당 픽셀 기준으로 다음 픽셀을 왼쪽으로 8 비트를 시프트 한 후 OR 연산을 진행했고, 이를 이용해 해당 픽셀의 거리를 0∼255로 받아온다.
그리고, 깊이 데이터 연산을 통해 상단 카메라 및 정면 카메라에 위치에 따른 ROI를 설정한다. 그리고, 상단 시점 객체 블랍의 중심점과 정면카메라 블랍 상단 중심점의 거리를 매핑해 교차되는 지점의 객체를 동일객체로 판별한다.
이렇게 동일한 객체로 판별되면, 피플 카운팅부(500)의 객체별 고유 태그 부여부(520)에서 판별된 각각의 객체에 대하여 태그를 부여하게 되는데 태그부여방법에 대하여 좀 더 구체적으로 살펴보기로 하자.
먼저, 본 발명에서는 물체 각각을 분리하여 관리하는 것이 아니라, 움직이는 물체의 특징을 분석하여 결합되거나 분리된 물체에 대하여 태그 정보를 주어 지속적으로 갱신하는 방법을 이용하였고, 각 물체는 ROI로 들어와서 나갈 때까지 그 정보를 유지하고 최종적 판단 부분에서는 저장하고 있는 크기 정보와 함께 태그 정보를 이용하여 카운트 함으로써 추가적인 영상 처리 및 물체들 사이의 관계 분석 없이 빠르고 간단한 처리를 가능하게 하였다.
그리고, 레이블링을 통합 블랍 지정에서 블랍이 생성된 순서대로 태그 정보를 부여해, ROI을 벗어날 때, 해제가 된다. 도 9a와 도 9b는 제1 객체 추출부(300)와 제2 객체 추출부(400)에서 추출된 각 객체에 대해 태그 정보를 부여한 것으로, 블랍 영역의 좌상단에 위치한 숫자가 부여된 태그의 번호이며, 지정되는 블랍의 사각형 영역의 외곽선의 색깔을 다르게 지정한다.
이와 같이 각 객체에 대하여 태그가 부여된 상태에서 도 8의 객체 추적부(530)를 통해 객체를 추적한다.
좀 더 구체적으로 살펴보면, 객체 추적부(530)는 태그 정보가 부여된 객체 블랍을 지속적으로 추적하게 되는데 여기서, 객체 추적은 확장 칼만 필터(EKF) 알고리즘를 통해 이루어지는데, EKF는 선형적인 모델 뿐 아니라 비선형적인 모델도 적용시킬수 있는 특징을 가지고 있으며, 다양한 모델이 적용 가능하고, 적절한 모델 사용 시에 최고 성능, 높은 객체 추적 능력을 보인다는 장점이 있다. 여기서, 확장 칼만 필터 알고리즘은 아래의 수학식 4와 같이 표현될 수 있다.
그리고, 상기한 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과는 도 10에 도시되어 있으며, 객체 추적 영상의 일예는 도 11에 도시되어 있다.
이렇게 추적된 객체에 대하여 출입자의 입장객 수와 퇴장객 수를 Line Drawing 기법을 이용하여 카운팅하게 된다. 즉, 상단 카메라 영상의 해상도를 640 x 480 픽셀(Pixel)을 기준으로, 영상의 상단 및 하단으로부터 30픽셀 위치에 2개의 가상 기준선 A(내부), B(외부)를 생성하고, 추적한 객체가 B를 먼저 통과하고 A를 통과한 경우 입장(IN) 수를 계수하며, A를 먼저 통과하고 B를 통과한 경구 퇴장(OUT) 수를 각각 도 8에 도시된 카운팅부(540)에서 각각 카운팅한다. 여기서, 입장 카운팅의 경우 카운팅되는 입장객을 도 1에 도시된 얼굴 나이 분류부(600)에서 분류된 나이별로 각각 구분하여 카운팅한다. 즉, 입장객을 카운팅할 때 입장객의 나이대별로 각각 분류하여 입장객의 수를 카운팅한다.
따라서, 제1 영상 입력부(100)를 통해 입력되는 영상 즉, 출입자의 얼굴 인식을 통해 해당 출입자의 나이를 판별하는 구성 및 동작에 대하여 첨부한 도면을 참조하여 설명하기로 한다.
도 12는 도 1에 도시된 얼굴 나이 분류부(600)에 대한 상세 블록 구성을 나타낸 도면이다.
도 12를 참조하면, 얼굴 나이 분류부(600)는 얼굴 인식부(610), 얼굴 특징점 추출부(620), 나이 특징점 추출부(630), 얼굴 특징 비율 측정부(640), 주름 영역 보조점 추출부(650), 주름 영역 검출부(660), 주름 밀도 측정부(670) 및 나이 그룹 분류부(680)를 포함할 수 있다.
얼굴 인식부(610)는 도 7에 도시된 제2 객체 추출부(400)의 객체 검출부(430)로부터 검출된 객체 즉, 출입자의 전신에 대한 객체 영상으로부터 얼굴을 인식한다.
얼굴 인식부(610)는 도 7에 도시된 제2 객체 추출부(400)의 객체 검출부(430)로부터 검출된 객체 즉, 출입자의 전신에 대한 객체 영상 즉, 출입구의 정면에 설치된 제2 영상 입력부(200)로부터 입력되는 영상의 사람 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models)방법을 사용하여 얼굴영상을 인식한다. 여기서, 인식되는 얼굴 영상은 정면 얼굴 영상으로서, 상기 인식된 얼굴 영상은 얼굴 특징점 추출부(620)로 제공된다.
한편, 입력되는 얼굴 영상이 상하좌우로 약 20° 각도 이상 수직 회전(Pitch) 또는 수평 회전(Yaw)되어 있는 경우에 연령대 분류를 위한 충분한 특징점을 추출할 수 없다. 따라서 머리 위치가 추적되는 대상이 영상 영역에서 벗어날 때까지, 충분한 특징점을 추출하지 못한 경우에 얼굴 특징점을 선별하고 교정하는 과정을 지속적으로 수행한다.
한편, 얼굴 특징점 추출부(620)는 상기 인식된 얼굴 영역으로부터 121개의 얼굴 특징점을 추출하고, 추출된 121개의 얼굴 특징점을 갖는 영상은 각각 나이 특징점 추출부(630)와 주름 영역 보조점 추출부(650)으로 제공된다. 여기서, 121개의 얼굴 특징점을 추출한 영상의 예는 도 13에 도시되어 있다.
상기 나이 특징점 추출부(630)는 상기 얼굴 특징점 추출부(620)에서 제공되는 121개의 얼굴 특징점중 8개의 나이 특징점을 도 14와 같이 선별하고, 교정된다. 여기서, 도 14는 도 12에 도시된 얼굴 나이 분류부의 나이 특징점 추출부에서 추출된 8개의 나이 특징점 위치 영상을 나타낸 도면이다.
또한, 주름 영역 보조점 추출부(650)는 얼굴 특징점 추출부(620)에서 제공되는 121개의 얼굴 특징점으로부터 도 15와 같이 9개의 주름 영역 보조점을 추출하게 된다. 여기서, 도 15는 도 12의 주름 영역 보조점 추출부(650)에서 추출된 9개의 주름 영역 보조점 위치 영상을 나타낸 도면이다.
상기한 나이 특징점 추출부(6300에서 8개의 나이 특징점 추출 동작과, 주름 영역 보조점 추출부(650)에서 9개의 주름 영역 보조점 추출 동작에 대하여 좀 더 구체적으로 살펴보기로 하자.
먼저, 나이 특징점 추출부(630)는 상기 얼굴 특징점 추출부(620)에서 추출한 121개의 얼굴 특징점을 바탕으로 도 14에 도시된 바와 같이 TH(Top of Head, 머리의 제일 상단 부분), E L (Left Eye, 좌측 눈의 중심점), E R (Right Eye, 우측 눈의 중심점), N(Nose, 코의 중심점), L(Lip, 입술의 중심점), SF L (Left Side of Face, 얼굴의 좌측), SF R (Right Side of Face, 얼굴의 우측), C(Chin, 머리의 최하단 중앙점)로 이루어진 총 8개의 나이 특징점을 추출한다.
그리고, 주름 영역 보조점 추출부(650)는 상기 얼굴 특징점 추출부(620)에서 추출한 121개의 얼굴 특징점을 바탕으로 도 15에 도시된 바와 같이 9개의 주름 영역 보조점(p1-p9)을 추출한다.
상기 추출된 8개의 나이 특징점들은 도 12에 도시된 얼굴 특징 비율 특징부(640)에서 얼굴 특징 비율을 구하는데 활용되며, 상기 주름 영역 보조점 추출부(650)에서 추출한 9개의 주름 영역 보조점은 도 12에 도시된 주름 영역 검출부(660)에서의 4 개의 주름 영역의 빠르고 정확한 추출을 위해 보조하는 역할을 한다.
한편, 상기 나이 특징점 추출부(630)이 정면 얼굴의 특징점 구조와 차이를 보이는 영상이 획득되는 경우 영상의 교정 작업을 수행하게 된다. 즉, 본 발명에서는 얼굴 영상이 좌측 또는 우측으로 기울어짐(Roll)이 존재할 경우에 좌우측 눈의 중심점인 E L 과 E R 의 좌표를 활용하여 측정한다. E L 의 y좌표가 E R 의 y좌표보다 상단에 위치한 경우, 아래의 수학식 5와 같이 기울어진 각도 θ를 측정한다. 반대의 경우에는 아래의 수학식 6과 같이 θ′를 측정한다. 이렇게 측정된 각도를 기준으로 이미지를 회전하여 정면 얼굴영상을 획득하도록 교정한다.
인체측정학에 따르면 얼굴의 특징은 좌우가 대칭적으로 존재한다. 따라서 얼굴이 수평회전(Yaw)된 경우에는, 얼굴의 중심에 위치한 코의 중심점 N의 x축 좌표에서 SF L 과 SF R 은 서로 동일한 거리에 위치해 있도록 나이 특징점의 교정을 수행하고, E L 과 E R 의 거리 또한 N의 x축 좌표를 중심으로 서로 동일한 거리에 위치하도록 교정을 수행한다.
하지만, 얼굴이 수직 회전(Pitch)되어 있는 경우, 얼굴 검출 및 특징점 추출이 이루어졌다면, 각 특징점의 좌표는 정면 얼굴에서의 좌표와 교정이 필요할만한 차이를 나타내지 않았지만, 일정 각도(사람의 목을 기준으로 약 15°) 이상 수직 회전한 경우에는 얼굴 검출이 불가능하다. 이러한 경우에는 얼굴 검출 및 특징점 추출에 적합한 상태가 아니기 때문에, 본 연구에서는 얼굴 검출 및 특징점의 추출이 가능한 시점까지 머리 위치 추적을 계속 수행한다.
이러한 나이 특징점 교정 과정은 도 16과 같이 수행되고, 최종적으로 교정 완료된 얼굴 영상 및 특징점을 기반으로 나이 특징점을 추출한다. 여기서, 도 16은 나이 특징점 교정 과정을 나타낸 도면이다.
그리고 도 12에 도시된 얼굴 특징 비율 측정부(640)는 상기한 나이 특징점 추출부(630)에서 추출된 8개의 나이 특징점을 이용하여 7개의 얼굴 특징 비율을 측정한다.
즉, 상기한 바와 같이 나이 특징점 추출부(630)에서 선별 및 교정된 8개의 나이 특징점은 도 14와 같이 배치되어 있으며, 연령대 분류 알고리즘을 적용하여 일곱 개의 얼굴 특징 비율을 아래의 수학식 7 – 수학식 13을 이용하여 측정한다. ?
? 여기서, D(A,B)는 점 A와 B의 거리를 나타내고, ME(Middle of Eyes)는 양 쪽 눈 사이 거리의 중심점을 나타낸다.
한편, 도 12에 도시된 주름 영역 검출부(660)은 나이 특징점 추출부(630)에서 추출된 8개의 나이 특징점과, 주름 영역 보조점 추출부(650)에서 추출된 9개의 주름 영역 보조점을 이용하여 4개의 주름 영역을 추출한다.
주름 영역 검출부(660)는 도 14에 도시된 8개의 나이 특징점과 도 15에 도시된 9개의 주름 영역 보조점, 미리 설정된 주름영역 위치를 활용하여 도 17에 도시된 바와 같이 SE L (Side of Left Eye), SE R (Side of Right Eye), SN L (Left Side of Nose), SN R (Right Side of Nose)의 총 4 개의 주름 영역을 추출한다.
좀 더 구체적으로 살펴보면, 도 18은 4개의 주름 영역의 원본 영상과 주름(엣지) 추출 영상을 나타낸 도면으로서, 도 18의 (a)는 SE L 의 원본영상, (b)는 SE R 의 원본 영상, (c)는 SN L 의 원본영상, (d)는 SN R 의 원본영상이고, (e)는 SE L 의 주름 추출영상, (f)는 SE R 의 주름 추출 영상, (g)는 SN L 의 주름 추출 영상, (h)는 SN R 의 주름 추출영상이다.
본 발명에서는 비교적 작은 크기의 얼굴 영상이 연령대 분류의 대상이 되기 때문에, 원본 얼굴 영상과 같이 작은 크기의 영상에서는 충분한 주름 영역 영상을 획득할 수 없다. 따라서 원본영상의 크기를 5배 확대한 얼굴 영상을 활용한다. 원본 얼굴 영상을 5배 이상 확대한 경우 확대 과정에서 불가피하게 발생하는 화질 저하 및 잡음 픽셀에 의해서 주름 영역의 신뢰성 저하 및 연령대 분류의 성능이 저하되는 현상 때문에 5배 확대한 크기의 얼굴 영상을 활용하였다. 5배 확대한 영상의 경우에도 확대 과정에서 불가피하게 발생하는 화질 저하로 인해 주름 추출을 위한 몇 가지 전 처리(Pre-processing) 과정이 필요하다. 첫 번째로 영상을 회색조(Grayscale) 영상으로 변환하고, 캐니 엣지 검출기(Canny Edge Detector)(미도시)를 사용하여 영상의 엣지(Edge)를 검출한다. 상기 캐니 엣지 검출기는 낮은 오류율을 보이며, 두개의 임계값(Threshold value)을 갖기 때문에 다른 엣지 검출기보다 높은 주름 검출률을 보이게 된다.
두 번째로 가우시안 필터(Gaussian Filter)를 적용하고, 히스토그램 평준화(Histogram Equalize)를 사용하여 얼굴의 굵은 주름 및 잔 주름을 더욱 강화시키고, 불필요하게 검출되는 주름이 아닌 노이즈(Noise) 픽셀을 제거한다.
상기와 같이 추출한 4개의 주름 추출 영상에서 주름 밀도(Wrinkle Densities)를 도 12의 주름 밀도 측정부(670)에서 측정하게 되는데, 주름 밀도 측정 과정에 대하여 상세하게 살펴보자.
먼저, 주름 밀도 측정은 아래의 수학식 14와 같이 측정하며, 아래의 수학식 14에서 WD는 Wrinkle Densities, T P 는 전체 픽셀 수, W P 는 주름 픽셀의 수를 나타낸다.
주름 밀도는 나이 특징점과 마찬가지로, 실시간 시스템의 특성으로 인해, 좌우측의 주름 영역 크기에 큰 차이가 발생할 수 있다. 주름의 경우 좌우측이 대칭적으로 존재하지 않을 수도 있으며, 사람의 생활환경, 습관 등으로 인해 실제 연령대와 판이하게 다른 주름 밀도를 보일수도 있기 때문에, 얼굴 특징 비율과 같이 교정을 수행하는 것은 불가능하다. 본 제안 시스템은 검출한 얼굴을 화면에서 사라질 때 까지 지속적으로 추적하고 있기 때문에, 좌우측 각 주름 영역의 가로 길이가 2배 이상 차이가 나는 경우, 올바른 비율의 주름 영역을 추출할 수 있는 시점까지 얼굴 검출을 다시 수행한다.
상기한 바와 같이 주름 밀도가 측정된 후, 측정된 주름 밀도를 이용하여 도 12에 도시된 나이 그룹 분류부(680)에서 입력 영상에 대한 얼굴의 나이대를 분류한다.
나이 그룹 분류부(680)는 도 12의 얼굴 특징 비율 측정부(640)에서 측정된 7개의 얼굴 특징 비율값과, 주름 밀도 측정부(670)에서 측정된 4개의 주름 밀도값을 입력 벡터로 하는 신경망 방법을 통하여 4개의 나이 그룹으로 분류한다. 여기서, 신경망 방법을 이용하기 위한 나이 그룹 분류 데이터는 도 20에 도시된 데이터베이스(700)의 나이그룹 데이터 저장 영역으로부터 제공받게 된다. 본원발명에서의 나이 분류를 위한 그룹은 AG1(0-19세), AG2(20-30세), AG3(31-50세), AG4(51세 이상)로 분류되며, 이러한 분류 데이터 역시 데이터베이스(700)에 저장되어 제공받게 된다. 여기서, 도 20은 도 1에 도시된 데이터베이스(700)에 대한 상세 블록 구성을 나타낸 도면으로서, 도 20을 참조하면, 데이터베이스(700)는 나이 분류를 위한 신경망 방법에 이용되는 나이 그룹 분류 데이터가 저장된 나이 그룹 분류 데이터 저장영역(710)과, 도 8에 도시된 카운팅부(540)에서 카운팅되는 입장객 카운팅 수를 나이대별로 각각 저장하는 나이 그룹별 입장 카운팅 데이터 저장영역(720) 및 퇴장객 카운팅 수를 각각 저장하는 퇴장 카운팅 데이터 저장 영역(730)으로 구성된다.
상기한 신경망 방법을 이용하여 나이 그룹을 분리하는 방법은 도 19에 도시된 바와 같이 4개의 레이어를 가지고 있으며, 2개의 히든 레이어를 가지고 있다. 또한, 4개의 나이 그룹을 출력 벡터로 이루어진다.
일반적으로, 연령대를 분류하는 방법 중 기계 학습(Machine Learning)을 이용한 방법은 결정 트리(Decision Tree), Knn, 신경망, Naive-Bayes 등 여러 가지 방법이 있으며, 각각 서로 장단점이 존재한다. 그러나, 본 발명에서는 다른 방법들에 비해 비교적 높은 정확도로 빠르게 분류가 가능하고, 지속적으로 기계 학습이 가능한 신경망 방법을 이용한다.
가장 널리 사용되는 신경망 방법은 도 19에 도시된 바와 같이 4개의 층(Layers)을 사용한다. 본 발명에서도 이러한 신경망 방법을 사용하였으며, 입력 벡터(Input Vector)로 7개의 얼굴 특징 비율값과 4개의 주름 밀도값을 사용하며, 출력 층(OutputLayer)에는 AG1, AG2, AG3, AG4의 총 4개의 출력 벡터(Output Vector)를 가지고 있다. 여기서, 신경망 방법에 대해서는 이미 공지된 기술로서 구체적인 설명은 생략하기로 한다.
이와 같이 도 12의 나이 그룹 분류부(680)에서 분류된 나이 분류 데이터는 도 8에 도시된 카운팅부(540)으로 제공된다.
도 8에 도시된 카운팅부(540)는 도 8의 객체 추적부(530)로부터 제공되는 추적된 객체 정보와 도 12의 나이 그룹 분류부(680)에서 제공되는 분류된 입장객의 나이 그룹 별로 입장객의 수를 카운팅하여 도 20에 도시된 데이터베이스(700)의 나이 그룹별 입장 카운팅 데이터 저장 영역(720)에 저장하고, 퇴장객의 수는 퇴장 카운팅 데이터 저장영역(730)에 저장한다.
여기서, 입장 카운팅 동작에 대하여 좀 더 구체적으로 살펴보면, 먼저 상단 카메라(제1 영상 입력부(100))의 해상도를 640 *480 픽셀을 기준으로 영상의 상단 및 하단으로부터 30 픽셀 위치에 도 21에 도신 바와 같이 2개의 가상 기준선 A(내부), B(외부)을 생성하고, 객체 추적부(530)에서 추적된 객체가 기준선 B를 먼저 통과하고 A를 통과한 경우 해당 객체를 입장객으로 카운팅하는데, 입장객의 카운팅시 상기 입장객에 대한 객체의 나이를 나이 그룹 분류부(680)에서 분류한 나이별 그룹으로 구분하여 데이터베이스(700)의 나이 그룹별 입장 카운팅 데이터 저장 영역(720)에 저장한다.
그러나, 상기 추적한 객체가 만약, 도 21에 도시된 가상 기준선 A를 먼저 통과하여 기준선 B를 통과한 경우 해당 객체를 퇴장객에 대한 객체로 판단하여 계수한 후, 계수 데이터를 데이터베이스(700)의 퇴장 카운팅 데이터 저장영역(730)에 저장하게 되는 것입니다.
좀 더 구체적으로 살펴보면, 사람의 머리에 대한 객체를 추적하여 추적된 객체가 도 20에 도시된 가상 기준선을 지날 때, 출입 카운트 여부가 결정 된다. 본 발명은 640 x 480의 이미지 해상도 기준으로 In: 30픽셀(pixel), Out: 450픽셀 높이에서 가상의 기준선을 설정하였으며, 이를 적용한 모습은 도 20과 같다.
그리고, 도 21에 도시된 좌상단과 우상하단의 문자는 가상의 기준선을 통과했을 때, 출입의 카운팅 수를 표시한다.
객체로 지정된 블랍은 중심점과 사각형 좌표를 가지고 있으며, 이를 이용해 가상의 기준선 통과 여부를 확인한다. 블랍이 생성 되었을 때(프레임에 입장 시) 시작 점을 부여하고, 중심점이 가상의 기준선 영역(In: 30픽셀, Out: 450픽셀)과 만난다면, 출입을 카운트 하는 방식이다.
상기한 피플 카운팅 시스템의 동작과 대응되는 본 발명에 따른 피플 카운팅 방법에 대하여 도 22를 참조하여 단계적으로 설명해 보기로 한다.
도 22는 본 발명에 따른 피플 카운팅 방법에 대한 동작 플로우차트를 나타낸 도면이다.
도 22에 도시된 바와 같이, 먼저 출입구의 상단 및 정면에 각각 설치된 깊이 영상 카메라로부터 각각 촬영된 영상신호가 입력된다(S101, S201). 여기서, 상기 각각의 깊이 영상 카메라는 도 1에 도시된 제1, 2 영상 입력부(100, 220)에 해당된다.
먼저, 상단 카메라로부터 입력된 영상에 대한 객체 검출 동작에 대하여 살펴보면, 출입구 상단에 설치된 상단 카메라로를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하여 전경 영상을 얻게 된다(S102). 여기서, 배경 제거를 위해서는 두 가지 방법을 이용하게 되는데 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용하게 되는데 차 연산 및 가우시안 혼합 모델을 이용한 구체적인 방법에 대해서는 상기에서 구체적으로 설명하였기에 이를 생략하기로 한다.
이어, 상기 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되어 전경 영상이 획득되면 획득된 전경영상으로부터 전경 객체를 추출하게 되고(S103), 추출된 전경 객체에 대하여 객체 블랍 지정부(330)에서 블랍을 지정하여 객체를 분리하게 된다(S104). 여기서, 전경 객체 추출과 블랍 지정에 대한 일예에 대해서는 도 4와 도 5에 도시되어 있으며, 전경 객체 추출 및 추출된 객체에 대한 블랍 지정 동작에 대해서는 상기에서 구체적으로 설명하였기에 이 역시 설명을 생략하기로 한다.
이어, 상기 객체 블랍 지정을 통해 분리된 객체 영상의 깊이 정보를 거리 정보로 변환하여 상단 카메라로부터 대략 50-100Cm 떨어진 머리 형태의 객체를 검출한다(S105). 여기서, 머리 형태의 객체를 검출한 영상의 일예에 대해서는 도 6과 같다.
한편, 출입구의 정면에 설치된 정면 카메라로부터 입력된 영상에 대한 객체 검출 동작에 대하여 살펴보면, 출입구 정면에 설치된 정면 카메라로를 통해 입력되는 RGBD 영상으로부터 배경 영상을 제거하여 전경 영상을 얻게 된다(S202). 여기서, 정면 카메라에서의 배경 제거 방법 역시 상단 카메라에서의 방법과 같이 두 가지 방법을 이용한다. 첫 째, 차 연산을 이용하고, 둘째, 가우시안 혼합모델을 이용하게 되는데 차 연산 및 가우시안 혼합 모델을 이용한 구체적인 방법에 대해서는 상기에서 구체적으로 설명하였기에 이를 생략하기로 한다.
이어, 상기 차연산과 가우시안 혼합 모델링을 통해 입력되는 영상으로부터 배경이 제거되어 전경 영상이 획득되면 획득된 전경영상으로부터 전경 객체를 추출한다(S203).
이어, 상기 추출된 전경 영상에서 깊이 정보를 활용한 관절 추적 방법을 적용하여 각각의 출입자의 신체 전체에 대한 객체를 검출한다(S204) 여기서, 상기한 객체 검출 방법은 이미 발표된 공지의 논문 “마이크로소프트 키넥트 SDK 활용 : Real-Time Human Pose Recognition in Parts from Single Depth Image” 에 기재된 관절 추적 방법을 이용한 것으로 상세 설명은 생략하기로 한다
상기한 S101~S105단계의 동작과, S201-S204단계에 대하여 상기에서는 각각 분리하여 설명하였으나, 실질적으로는 동시에 이루어지는 동작의 단계들임을 이해해야 할 것이다.
상기 S105단계 및 S204단계에서 각각 검출된 객체 즉, 머리 객체와 사람 전신에 대한 객체에 대한 영상정보는 피플 카운팅을 위한 정보로서 제공한다.
파플 카운팅을 위해 상기 S105 단계 및 S204단계에서 각각 검출된 객체 즉, 머리 객체 및 사람 전신 객체 정보를 이용하여 상호 동일한 사람의 객체인지를 판단한다(S301). 즉, 추출된 각각의 객체에 대한 깊이 데이터의 해당 픽셀 기준으로 다음 픽셀을 왼쪽으로 8 비트를 시프트 한 후 OR 연산을 진행했고, 이를 이용해 해당 픽셀의 거리를 0∼255로 받아온다.
그리고, 깊이 데이터 연산을 통해 상단 카메라 및 전면 카메라에 위치에 따른 ROI를 설정한 후, 상단 시점 객체 블랍의 중심점과 정면카메라 블랍 상단 중심점의 거리를 매핑하여 교차되는 지점의 객체를 동일객체로 판별한다.
이렇게 동일한 객체로 판별되면, 판별된 각각의 객체에 대하여 태그를 부여하게 된다(S302). 각 객체에 대한 태그 부여는 도 9a 및 도 9b에 일 예로 도시하였으며, 구체적인 동작은 시스템 설명시 구체적으로 설명하였기에 생략하기로 한다.
이와 같이 각 객체에 대하여 태그가 부여된 상태에서 객체 추적이 이루어지게 된다(S304) . 즉, 태그 정보가 부여된 객체 블랍을 지속적으로 추적한다. 여기서, 객체 추적은 확장 칼만 필터(EKF) 알고리즘를 통해 이루어지고, EKF는 선형적인 모델 뿐 아니라 비선형적인 모델도 적용시킬 수 있는 특징을 가지고 있으며, 다양한 모델이 적용 가능하고, 적절한 모델 사용 시에 최고 성능, 높은 객체 추적 능력을 보인다는 장점이 있다. 여기서, 확장 칼만 필터 알고리즘은 상기한 수학식 4와 같이 표현될 수 있다.
그리고, 상기한 확장 칼만 필터 알고리즘을 적용한 객체의 좌표 추적 결과는 도 10에 도시되어 있으며, 객체 추적 영상의 일 예는 도 11에 도시되어 있다.
이렇게 추적된 객체에 대하여 출입자의 입장객 수와 퇴장객 수를 Line Drawing 기법을 이용하여 카운팅한다(S501, S502). 즉, 상단 카메라 영상의 해상도를 640 x 480 픽셀(Pixel)을 기준으로, 영상의 상단 및 하단으로부터 30픽셀 위치에 2개의 가상 기준선 A(내부), B(외부)를 생성하고, 추적한 객체가 B를 먼저 통과하고 A를 통과한 경우 입장(IN) 수를 계수하며, A를 먼저 통과하고 B를 통과한 경구 퇴장(OUT) 수를 각각 각각 카운팅한다. 여기서, 입장 카운팅의 경우 카운팅되는 입장객을 나이별로 각각 구분하여 카운팅하게 된다. 즉, 입장객을 카운팅할 때 입장객의 나이대별로 각각 분류하여 입장객의 수를 카운팅한다.
이하, 입장 카운팅시 입장객의 나이를 분류하는 방법에 대하여 설명해 보기로 하자.
먼저, S204단계에서 검출된 검출된 객체 즉, 출입자의 전신에 대한 객체 영상으로부터 얼굴을 인식한다(S401).
얼굴 인식은 상기 검출된 출입자의 전신에 대한 객체 영상 즉, 출입구의 정면에 설치된 정면 카메라로부터 입력되는 영상의 사람 객체 영역을 대상으로 깊이 데이터 기반 AAM(Active Appearance Models)방법을 사용하여 얼굴영상을 인식한다.
이어, 인식된 얼굴 영상의 얼굴 영역으로부터 기 설정된 얼굴 특징점 추출 마스크를 이용하여 121개의 얼굴 특징점을 추출한다(S402). 여기서, 121개의 얼굴 특징점을 추출한 영상의 예는 도 13에 도시되어 있다.
상기 추출된 121개의 얼굴 특징점중 8개의 나이 특징점을 도 14와 같이 추출한다(S403). 즉, 도 14에 도시된 바와 같이 TH(Top of Head), E L (Left Eye), E R (Right Eye), N(Nose), L(Lip), SF L (Left Side of Face), SF R (Right Side of Face), C(Chin)로 이루어진 총 8개의 나이 특징점을 추출한다.
또한, 상기 추출된 121개의 얼굴 특징점으로부터 도 15와 같이 9개의 주름 영역 보조점(p1-p9)을 추출한다(S404).
상기 S403단계에서 8개의 나이 특징점을 추출하는 동작과, S404단계에서 9개의 주름 영역 보조점을 추출하는 구체적인 동작은 도 12의 설명에서 구체적으로 설명하였기에 생략하기로 한다.
이어, 상기 S403단계에서 추출한 8개의 나이 특징점을 이용하여 7개의 얼굴 특징 비율을 측정하게 된다(S405). 즉, 7개의나이 특징 비율은 상기한 수학식 7-수학식 13에 도시된 방법을 이용하여 각각 측정한다.
그리고, S403단계에서 추출된 추출된 8개의 나이 특징점과, S404단계에서 추출된 9개의 주름 영역 보조점을 이용하여 4개의 주름 영역을 추출한다(S406). 즉, 도 14에 도시된 8개의 나이 특징점과 도 15에 도시된 9개의 주름 영역 보조점, 미리 설정된 주름영역 위치를 활용하여 도 17에 도시된 바와 같이 SE L (Side of Left Eye), SE R (Side of Right Eye), SN L (Left Side of Nose), SN R (Right Side of Nose)의 총 4 개의 주름 영역을 추출한다.
이어, S406단계에서 추출된 4개의 주름 영역에 대한 주름 밀도(Wrinkle Densities)를 상기한 수학식 14를 이용하여 각각 측정한다(S407).
상기 4개의 주름 밀도는 나이 특징점과 마찬가지로, 실시간 시스템의 특성으로 인해, 좌우측의 주름 영역 크기에 큰 차이가 발생할 수 있다. 주름의 경우 좌우측이 대칭적으로 존재하지 않을 수도 있으며, 사람의 생활환경, 습관 등으로 인해 실제 연령대와 판이하게 다른 주름 밀도를 보일수도 있기 때문에, 얼굴 특징 비율과 같이 교정을 수행하는 것은 불가능하다. 본 제안 시스템은 검출한 얼굴을 화면에서 사라질 때까지 지속적으로 추적하고 있기 때문에, 좌우측 각 주름 영역의 가로 길이가 2배 이상 차이가 나는 경우, 올바른 비율의 주름 영역을 추출할 수 있는 시점까지 얼굴 검출을 다시 수행한다.
상기한 바와 같이 4개의 주름 밀도가 측정되면, 측정된 4개의 주름 밀도 및 상기 S405단계에서 추출된 7개의 얼굴 특징 비율값 그리고 데이터베이스에 저장된 나이 그룹 분류 데이터를 이용하여 입력 영상에 대한 얼굴의 나이대를 분류하게 된다(S408). 여기서, 나이 분류 방법는 도 19에 도시된 바와 같은 신경망 방법을 이용하게 되는데 구체적인 방법에 대해서는 상술하였기에 생략하기로 한다.
이어, 상기 S304단계에서 추적된 객체 정보와 상기 S408단계에서 분류된 입장객의 나이 그룹 별로 입장객의 수를 카운팅하여 데이터베이스(700)에 나이 그룹별 입장 카운팅 데이터로서 저장하고(S501), 퇴장객의 수는 데이터베이스(700)에 퇴장 카운팅 데이터로서 저장한다(S502).
여기서, 상기 S501단계에서의 입장 카운팅 동작에 대하여 좀 더 구체적으로 살펴보면, 먼저 상단 카메라의 해상도를 640 *480 픽셀을 기준으로 영상의 상단 및 하단으로부터 30 픽셀 위치에 도 21에 도신 바와 같이 2개의 가상 기준선 A(내부), B(외부)을 생성하고, S304단계에서 추적된 객체가 기준선 B를 먼저 통과하고 A를 통과한 경우 해당 객체를 입장객으로 카운팅하게 되는데, 입장객의 카운팅시 상기 입장객에 대한 객체의 나이를 상기 S408단계에서 분류한 나이별 그룹으로 구분하여 데이터베이스의 나이 그룹별 입장 카운팅 데이터 저장 영역에 저장한다.
그러나, 상기 추적한 객체가 만약, 도 21에 도시된 가상 기준선 A를 먼저 통과하여 기준선 B를 통과한 경우 해당 객체를 최장객에 대한 객체로 판단하여 계수한 후, 계수 데이터를 데이터베이스의 퇴장 카운팅 데이터 저장영역에 저장한다.
위에서 본 발명의 실시예들이 설명되었으며, 당해 기술 분야에 속한 통상의 지식을 가진 자는 이러한 실시예들은 발명을 한정하기 위한 것이 아니라 단지 예시적인 것임을 인식할 수 있고, 본 발명의 범위 또는 사상을 벗어나지 않고 변형, 수정 등이 가능함을 인식할 것이다.
키워드에 대한 정보 피플 카운팅
다음은 Bing에서 피플 카운팅 주제에 대한 검색 결과입니다. 필요한 경우 더 읽을 수 있습니다.
이 기사는 인터넷의 다양한 출처에서 편집되었습니다. 이 기사가 유용했기를 바랍니다. 이 기사가 유용하다고 생각되면 공유하십시오. 매우 감사합니다!
사람들이 주제에 대해 자주 검색하는 키워드 듀얼 렌즈 피플 카운팅 카메라
- 피플카운팅
- 피플카운터
- 무인계수기
- 보행빅데이터
- 유동인구조사
- 무인인원계수기
- 아이데이터
- IDATA
- 스마트카운터
- 피플카운트
- IoT
듀얼 #렌즈 #피플 #카운팅 #카메라
YouTube에서 피플 카운팅 주제의 다른 동영상 보기
주제에 대한 기사를 시청해 주셔서 감사합니다 듀얼 렌즈 피플 카운팅 카메라 | 피플 카운팅, 이 기사가 유용하다고 생각되면 공유하십시오, 매우 감사합니다.