소식

Mar 18, 2024

다중 스펙트럼 얼굴 비디오를 이용한 경피 심혈관 시공간 얼굴 패턴을 통한 감정 상태 분류

Scientific Reports 12권, 기사 번호: 11188(2022) 이 기사 인용 1829 액세스 1 인용 18 Altmetric Metrics 세부 정보 이 기사에 대한 저자 수정은 2022년 8월 19일에 출판되었습니다.

Scientific Reports 12권, 기사 번호: 11188(2022) 이 기사 인용

1829 액세스

1 인용

18 알트메트릭

측정항목 세부정보

이 기사에 대한 저자 수정 사항은 2022년 8월 19일에 게시되었습니다.

이 기사가 업데이트되었습니다.

우리는 다중 스펙트럼 얼굴 비디오를 사용하여 원격 감정 상태를 평가하는 새로운 방법을 설명하고 다양한 감정 상태와 관련된 고유한 경피, 심혈관 및 시공간 얼굴 패턴이라는 결과를 제시합니다. 이 방법은 전형적인 얼굴 표정에 의존하지 않고 다양한 파장 감도(가시 스펙트럼, 근적외선, 장파 적외선)를 활용하여 인간 얼굴 전체에 공간적, 시간적으로 분포된 자율신경계 활동(예: 혈류, 헤모글로빈 농도 및 온도). 우리는 110명의 참가자가 150개의 짧은 감정 유발 비디오를 보고 그들의 감정 경험을 보고하는 실험을 수행했으며, 3대의 카메라는 다양한 파장의 얼굴 비디오를 녹화했습니다. 다중 스펙트럼 비디오의 시공간 다중 스펙트럼 특징은 참가자의 감정 상태(예: 즐거움, 혐오감, 두려움, 성적 각성 또는 감정 없음)를 분류할 수 있는 기계 학습 모델에 대한 입력으로 사용되었으며 만족스러운 결과(평균 ROC AUC 점수) 0.75), 감정 상태별로 얼굴 발생을 조사할 수 있는 특징 중요도 분석을 제공합니다. 우리는 다양한 감정 상태와 관련된 다양한 시공간 패턴과 감정 감지에 대한 기존 접근 방식에 비해 현재 방법의 다양한 장점에 관한 연구 결과를 논의합니다.

감정은 인간 경험과 기능의 중심이므로 기초 심리학 연구, 임상 실습 및 응용 환경에서 주요 관심 대상입니다. 감정에는 주로 주관적이고 쉽게 관찰할 수 없는 측면이 포함되어 있기 때문에 이러한 주관적인 측면을 객관적이고 신뢰할 수 있는 방식으로 측정하는 데는 상당한 어려움이 있습니다.

최근에는 정확한 감정인식 기술을 개발하기 위한 많은 연구가 이루어지고 있다. 감정 탐지 연구의 주요 목표는 사람들의 감정적 경험을 원격으로 측정하는 데 중점을 둡니다(즉, fMRI 또는 ​​뇌파검사[EEG]와 같은 접촉 기반 장비에 의존하지 않음). 감정 상태를 분류한다고 주장하는 대부분의 최신 기술은 실제로 참가자의 주관적인 감정 상태를 추정하기보다는 명백한 얼굴 표정을 측정합니다1,2,3. 얼굴 표정은 알려진 외모와 다양한 감정 표현 간의 상당한 공간적 차이 덕분에 알고리즘을 사용하여 감지하고 분류하기가 상대적으로 쉽습니다. 실제로 이 접근 방식을 기반으로 한 방법은 일반적으로 식 인식에 있어 90% 이상의 성공률을 산출합니다1,2. 눈에 보이는 얼굴 표정은 개인의 감정 상태에 관한 유용한 정보를 제공하는 경우가 많습니다. 그러나 심리학 분야의 많은 연구에 따르면 얼굴 표정은 주로 의사소통 목적으로 사용됩니다. 얼굴 표정은 사람들의 내부 상태를 반영하기보다는 전달하고 싶은 내용을 나타냅니다3.

이에 따라, 정형화된 얼굴 표정에 의존하지 않는 원격 감정 인식 방법을 개발하려는 여러 시도가 이루어졌다. 이러한 단서 중 하나에는 미세 표현으로 알려진 미묘하고 빠르고 자발적인 안면 근육 움직임이 포함되며, 이는 수십에서 수백 밀리초4,5 범위의 짧은 지속 시간이 특징입니다. 눈에 보이는 얼굴 표정의 경우와 마찬가지로 미세한 표정도 감정 감지에 유용한 정보를 제공할 수 있습니다. 그러나 미세 표현이 참가자의 실제 감정 상태를 진단할 수 있는 정도에 관한 신뢰할 수 있는 증거는 없습니다6.

감정 인식을 위한 또 다른 접근 방식은 개인의 주관적인 감정 상태와 관련이 있는 것으로 알려진 자율신경계(ANS)의 활동을 측정하는 것입니다7. 그러나 감정과 관련된 생리적 변화(예: 광용적맥파측정[PPG]8, EEG9,10, 혈압, 피부 전도도 및 심전도[ECG]11)를 감지하기 위한 대부분의 최신 방법은 직접적인 접촉(즉, 개인을 측정 장치에 연결)을 수반합니다. .