프레임 이미지를 224x224로 강제 리사이즈 → 종횡비(가로:세로) 깨짐

이로 인해 yaw, pitch 값이 왜곡된 상태로 추출됨.

• yawDD 640 x 480 (종횡비 4:3)

• DMD 1180 x 720 (종횡비 16:9)(DMD 데이터의 왜곡이 더 심했을 것)

→ 1:1로 맞춰지면서 원본 영상과 비교했을 때 가로 방향이 압축되고 세로 방향이 늘어나는 왜곡이 발생

→ 검은색 패딩(상하 여백)을 추가하여, 종횡비를 맞춘 상태에서 원본 영상의 움직임 특성을 왜곡 없이 유지할 수 있도록 조정

• 재추출 전

• 재추출 후

얼굴 탐지를 더 잘함

• 재추출 전

• 재추출 후

대부분 프레임 중 1 프레임 정도가 얼굴 탐지를 실패

• 이 중 5 클립을 뽑아서 확인해봤는데, 4 클립에서 손이 카메라를 가리고 있어서 실패한 경우였음

• 12 프레임 얼굴 탐지 실패한 경우

normal, gZ-34(File28)_s2_face_2019-04-08-16;46;54_34_0.avi

• 5 프레임 얼굴 탐지 실패한 경우

normal, gE-26(File16)_s1_face_2019-03-15-09;25;24_26_32.avi

• phonecall 에서 얼굴 탐지 실패한 경우

phonecall, gE-28(File18)_s2_face_2019-03-15-10;12;30_28_1.avi

빨간색 - before, 파란색 - after

왼쪽 - absolute yaw (degree), 오른쪽 - absolute pitch (degree)

• dmd

• 시선의 움직임 정도가 전체적으로 감소함

• yawDD

• DMD 만큼 왜곡이 크지 않았기 때문에 dash 카메라데이터에서 변화가 가장 작음

• mirror 카메라는 운전자 얼굴 측면에 설치되었기 때문에 yaw(수평 각도)가 큰데, 비율 왜곡 전후로 yaw 값에서 변화가 가장 큼

• yaw

• pitch

• yaw

• pitch

비율 왜곡으로 세로 비율이 길어진 문제로, 비율 원상복구 후 pitch 값 감소가 확인됨

yaw, pitch 중 text 행동을 구분하는 데 더 큰 역할을 하는 건 pitch

yaw는 -160도에서 160도까지의 각도 분포를 갖는 반면, pitch는 -80도에서 40도까지로 각도 범위가 yaw보다 좁다. pitch가 -60도 정도인 데이터들을 살펴보면, 운전에 방해가 될 정도로 아래 쪽을 쳐다보는 게 확인된다. 연속적으로 pitch가 -60도 정도까지 내려가는 게 관찰되면 주의를 주는 것도 괜찮을 것 같다.

클립 12 frame별로 yaw, pitch 분산 계산 → label 별로 분포 시각화(outlier는 시각화하지 않음)

재추출 전, 후 모두 text의 yaw, pitch 범위는 다른 라벨의 범위와 구분됨.

• 재추출 전

• 재추출 후

비율 왜곡으로 인해 yaw, pitch 값의 변화는 관찰되었지만, mar, ear처럼 드라마틱한 변화는 나타나지 않음

• mar, ear은 특정 부위(입, 눈)의 거리를 직접 계산하는 지표

  → 세로 방향 왜곡이 생기면 입과 눈의 세로 거리가 실제보다 길어져 값이 크게 왜곡됨.

• yaw, pitch는 얼굴 전체의 방향성(눈, 코, 입 위치 패턴, 얼굴 기울기 등)을 기반으로 계산됨

  → 비율 왜곡이 일부 있더라도, 모델은 landmark 간 상대적인 구조를 학습했기 때문에, 전체적인 얼굴 방향 인식에는 덜 민감한 것으로 이해됨