[IT][조선대학교 산학협력단] 앙상블 기반의 신경망을 이용한 행동 인식 방법

행동 인식은 객체 오버랩, 외형 변화, 비강체 움직임, 정적/동적 정보 혼재 등으로 인해 신뢰성 확보가 어렵고, 단일 CNN 기반 방식은 특정 프레임 중심 분석에 머물러 연속 동작(시계열) 반영에 한계가 있으며 높은 성능을 위해 방대한 학습 데이터가 요구된다는 문제가 있다. 따라서 서로 다른 특징을 갖는 데이터(RGB 영상·스켈레톤)를 동시에 활용하고, 시계열성을 반영하면서도 안정적으로 성능을 끌어올리는 앙상블 구조에 대한 수요가 존재한다.

본 발명은 먼저 RGB 영상과 RGB 영상 내 인체의 스켈레톤 데이터를 획득하고, 제1 스트림에서는 RGB 영상의 연속 프레임 묶음을 3D-CNN에 입력하여 시공간 특징 기반의 제1 분류 스코어를 산출한다. 이어서 제2 스트림에서는 RGB 영상의 각 프레임을 2D-CNN에 입력해 프레임별 공간 특징을 추출하고, 이 특징 시퀀스를 순환신경망(RNN)으로 입력하여 시계열 정보를 반영한 제2 분류 스코어를 획득하며, 이때 장기 의존성 저하를 완화하기 위해 LSTM을 적용할 수 있다. 또한 제3 스트림에서는 스켈레톤 데이터(관절의 x,y,z 좌표 시퀀스)를 그대로 쓰지 않고, 좌표값을 정규화한 뒤 R,G,B 색상값에 매핑하는 방식 등으로 스켈레톤을 RGB 이미지로 변환하여 2D-CNN에 입력함으로써 제3 분류 스코어를 산출한다. 마지막으로 제1~제3 분류 스코어를 평균하거나 요소별 곱(elementwise) 등으로 레이트 퓨전하여 최종 분류 스코어를 만들고, 최대 성분에 해당하는 행동 클래스를 최종 행동으로 결정한다.

본 기술은 RGB 비디오 기반의 사람 행동 분석이 필요한 지능형 감시, 스마트공간/스마트팩토리 안전 모니터링, HCI, 로봇 상호작용, 스포츠 동작 분석 등 다양한 비전 AI 응용에 적용 가능하다. 특히 (1) RGB 영상의 시공간 특징(3D-CNN) + (2) 프레임 기반 시계열 특징(2D-CNN+RNN/LSTM) + (3) 스켈레톤 기반 특징(스켈레톤 이미지화 2D-CNN)을 병렬로 추출해 결합함으로써, 단일 신경망 대비 행동 인식의 신뢰성/강건성을 높이는 구성이 장점으로 정리된다.

특허에는 3-스트림 입력 구성, 스켈레톤의 이미지 변환 로직, 3D-CNN/2D-CNN/RNN(LSTM) 결합 및 레이트 퓨전 방식이 구체적으로 제시되어 알고리즘/시스템 설계는 확립된 수준으로 정리 가능하다. 다만 공보 내에서 제품 탑재, 현장 PoC, 표준 벤치마크 기반 정량 성능지표가 체계적으로 제시된 형태는 제한적이므로, TRL 3 수준(실험적 개념검증/알고리즘 설계 확립 단계)으로 정리하는 구성이 무난하다.