[논문정리] Efficient Online Multi-Person 2D Pose Tracking withRecurrent Spatio-Temporal Affinity Fields

본 논문은 2d카메라를 통해 사람의 skeleton을 따는, 즉 3d pose와 motion을 잡아내는법에 대한 논문이다.

 

 

online tracking 에서 충족되어야 하는 3가지 사항이 있다.

1. occlusion, proximity, contact 문제를 극복해야 한다. 즉, 사람간의 근접, 접촉문제와 사람으로 인한 관절 가려짐 현상에 대한 극복을 말한다.
2. 사람 수가 늘어도 런타임에 문제가 안생기고 실시간성이 보장되어야 한다. 즉, 연산량이 적어야한다는 뜻
3. 카메라의 큰 모션, frame간의 동작흐림효과에 대해서도 강한 성능을 보여야 한다.

TAF, PAF개념

이 논문은 TAF(Temporal Affinity Fields)방식를 제안하는데 TAF는 PAF방식에 근간한다. PAF란 Part affinity fields의 준말이다.

affinity fields란 2차원 벡터공간인데 이 벡터공간은 위치정보, 방향정보로 구성된다. 즉 affinity fields는 위치정보와 방향정보로 구성된 모션을 표현하는 2차원 좌표계라는 뜻이다. 

여기서 PAF란 이미지를 affinity fields에 매핑함으로써 body keypoint 간의 연결을 벡터로 표현하는 방법이다.

PAF

위 사진의 남자의 오른팔을 보면 어깨와 팔뚝이라는 keypoint를 주황색으로 이은것을 볼 수 있는데 주황선을 확대해 보면 오른쪽 사진과 같이 벡터로 표현이 된다. 이 방법론을 PAF라고 생각하면 된다.

 

이 논문에서 제안하는 TAF란 PAF에서 더 나아가 다른 방법으로 keypoint를 연결하는 것을 제안하는데 아래 사진과 함께 설명 하도록 한다.

파란선이 TAF를 적용한 결과이고 초록색 선이 PAF를 적용한 결과이다. 간단하게 생각해보면 PAF는 keypoint를 이으면서 skeleton을 구성하는 부분만 표시한 것이고 TAF는 주변 keypoint들을 그래프 처럼 연결하여 연결성을 강화한 것이다.

 

TAF의 우수성

논문에 의하면 TAF는 모션의 없어짐(걷던 사람이 갑자기 멈춤)이나 새로운 사람의 등장으로 인한 어려움에 대해서도 pose detection에 강하다고 한다.

(여기서 모션 없어짐과 새로운 사람의 등장으로 인한 어려움 극복은 연속된 프레임에서의 pose 해석에 영향을 미치니까 굉장한 어려움이지 않았을까 하는 생각이 들었다.)

 

TAF의 우수성은 연산량 감소에서도 볼 수 있는데 이전 시간까지 얻은 정보들의 유용한 정보를 가져와 활용하는 방식으로 인해 계산량 감소에 성공하여 실시간성이 갖추어진 pose detection이 가능하다고 한다.