딥러닝 기반 얼굴 특징점(랜드마크) 검출 및 특징점-경계 매칭을 통한 얼굴 이미지 합성(콘텐츠 합성)
기술분류
AI·딥러닝·컴퓨터비전·얼굴 특징점 기반 이미지 합성 SW 알고리즘
◆ 기술 설명
기술개요
이 기술은 얼굴 이미지를 포함하는 제1 이미지에서 미리 훈련된 심층 신경망 모델(CNN 등)로 얼굴 특징점(랜드마크)을 검출·정교화한 뒤, 합성 대상인 제2 이미지의 경계(윤곽)를 추출하고, 특징점 좌표와 경계 좌표를 매칭하여 제2 이미지를 적정 크기/위치로 스케일링한 다음, 제1 이미지와 병합(merging)하여 자연스러운 합성 결과를 출력하는 이미지 합성 방법 및 장치이다.
수요설명
기존 이미지 합성(특히 얼굴 기반 합성) 소프트웨어는 촬영 환경(조명, 자세, 해상도 등)에 따라 얼굴 인식·특징점 검출 성능이 저하되기 쉽고, 얼굴의 위치·크기·방향을 충분히 고려하지 않은 채 고정된 위치/크기로 합성하여 얼굴과 합성 이미지가 부자연스럽게 어긋나는 문제가 발생한다. 따라서 실제 환경에서도 안정적으로 얼굴 특징점을 검출하고, 얼굴 구조에 맞춰 합성 이미지의 위치·스케일을 정밀하게 맞춰 “조화로운 합성”을 구현하는 기술 수요가 존재한다.
해결방안
본 발명은 먼저 얼굴 이미지를 포함하는 제1 이미지를 획득한 뒤, 미리 훈련된 심층 신경망 모델을 적용하여 눈·코·입 등 이목구비 중심을 시작점으로 복수의 1차 특징점을 검출한다. 이후 1차 특징점 주변의 인접 화소들을 대상으로 화소값 분포를 정규분포와 비교·평가하여 윈도우 크기를 확정하고, 분포 그래프의 정점 위치를 2차 특징점으로 결정함으로써 특징점 좌표를 정교화한다. 다음으로 제1 이미지에 합성할 제2 이미지를 획득하고, 제2 이미지를 그레이스케일 변환 및 중간값 기반 필터링/이진화 등을 통해 경계(윤곽)를 추출한다. 이후 제1 이미지의 2차 특징점 좌표값과 제2 이미지 경계 좌표값을 기반으로 (i) 합성될 이미지 크기 비율을 산출하고 (ii) 특징점-경계 간 벡터의 길이·방향을 계산하여 제2 이미지를 축소 또는 확대(스케일링)한 뒤, 제1 이미지에서 합성 위치에 대응하는 좌표에 제2 이미지를 병합하여 최종 합성 이미지를 출력한다. 추가적으로 얼굴 영역을 인식하고 나이·성별·피부 타입·이목구비 특징·감정 상태 중 2 이상을 포함하는 얼굴 정보를 검출하여, 그 결과에 기반해 합성할 제2 이미지를 설정하는 구성도 포함한다.
적용분야 및 장점
본 기술은 모바일/카메라 앱, SNS 콘텐츠 제작, AR 필터·스티커, 얼굴 기반 개인화 콘텐츠 생성, 범죄자 변신 추정 등 얼굴 특징점 기반 합성이 필요한 서비스 전반에 적용 가능하다. 딥러닝 기반 특징점 검출로 환경 변화에 대한 강건성을 높이고, 특징점-경계 매칭 및 스케일링을 통해 합성 이미지의 위치·크기를 얼굴 구조에 맞게 정렬하여 자연스러운 합성 품질을 개선하는 점이 핵심 장점이다.
개발단계 및 TRL
특허 문서에 CNN 기반 특징점 검출/정교화, 경계 추출, 좌표 매칭 및 스케일링·병합 절차와 장치 블록 구성이 구체적으로 제시되어 있어 알고리즘/시스템 설계는 확립된 상태로 정리 가능하다. 다만 상용 서비스 탑재/현장 실증 및 대규모 벤치마크 성능지표는 별도 확인되지 않는 구성으로, TRL 3 수준(개념 검증 및 알고리즘 설계 확립 단계)으로 정리하는 구성이 적절하다.
◆ 기술 설명
◆ 기술이전 조건
◆ 첨부문서