Driver’s Distraction Detection via Hybrid CNN-LSTM

allenai_orgDriver's Distraction Detection via Hybrid CNN-LSTM | Semantic Scholar

데이터의 공간적 특징과 시간적 패턴을 동시에 분석

• temporal modeling + spatial feature extraction

System Architecture

• CNN : 공간적 특징 추출 (Spatial Feature Extraction)

입력	차량 내부 카메라에서 촬영한 영상
주요 분석 요소	- 스마트폰을 보고 있는지? - 졸고 있는지?
컨볼루션 계층이 수행하는 역할	edge 및 shape 인식을 통해 입력 데이터 내 미묘한 변화를 구별하는데 도움

📌 CNN이 공간적 특징을 추출한 후, 이 정보를 2D 특징 맵(Feature Map)으로 생성

• 특징 벡터 변환(Flattening Feature Map to 1D Vector)

이 과정이 필요한 이유

- CNN은 한 순간의 이미지를 분석하지만, LSTM은 시간 흐름을 분석 - CNN의 결과(2D 특징 맵)을 1D 벡터로 변환

2D Feature Map : Height x Width x Channels

• LSTM: 시간 흐름 분석(Temporal Pattern Recognition)

하는 일	- 운전자의 행동이 단순한 순간적 움직임인지, 지속적인 주의 분산인지 분석 - CNN이 제공한 1D 벡터를 입력받아 시간적인 변화를 학습

Data Preprocessing and Preprocessing

• size adjustments

• data augmentation methods such as rotation, scaling, and inversion

• pixel values are normalized

the efficacy of the dataset in detecting distractions is dependent on the labeling methodology

• DistractNet classified as Distracted, Not Distracted → 라벨 필요

Model Creation

• CNN
• Each Convolutional layer → Activation Function
• Convolutional layers → Pooling Layer

• LSTM
• memory cells + gates

메모리 셀: 과거 정보를 저장하고, 필요하면 다시 활용하는 역할

• 일반 RNN에서 발생하는 정보 소실 문제를 극복하는 데 중요한 역할을 함

게이트:

• forget gate - 어떤 정보를 버릴지 결정하는 게이트

• input gate - 새로운 정보를 메모리 셀에 추가할지 결정하는 게이트

• output gate - 메모리 셀에서 어떤 정보를 출력할지 결정하는 게이트