Figure 2.
그림 2. 다중양식 사회적 행위 처리 모델
이 그림은 대화 참여자가 상대방의 발화 의도를 이해하고 자신의 응답을 준비하는 인지 과정을 설명하는 개념적 프레임워크(conceptual framework)를 제시한다.
1. 그림의 구조적 사실 (Conceptual Framework)
이 모델은 시간의 흐름(가로축)에 따라 진행되는 대화(A의 질문 → B의 응답)에서, B가 A의 의도를 파악하는 데 두 가지 인지 처리 경로가 관여함을 보여준다.
• 핵심 경로 (빠른 경로): 화자 A의 발화 초기에 나타나는 '얼굴 신호(Early facial signals)'는 청자 B가 A의 '사회적 행위(social action)'를 귀속하고, 이에 맞는 응답을 계획하는 과정에 직접적으로 영향을 미친다. 이 경로는 학습된 '통계적 규칙성(statistical regularities)'에 기반한 '저비용의 휴리스틱 기반 처리(Low-cost, heuristic-based processing)' 방식으로, 신속하고 효율적인 의도 파악을 가능하게 한다.
• 보조 경로 (느린 경로): 더 많은 인지 자원을 필요로 하는 '정신 상태 모델링(mental state modelling)'은 더 복잡하고 심층적인 추론이 필요할 때 사용된다. 이 경로는 점선으로 표시되어 있으며, 더 느린 응답으로 이어질 수 있음을 암시한다.
• 경로 간 상호작용: 두 경로는 분리되어 있지 않다. 고비용의 정신 상태 모델링 과정에서 얻은 정보가 저비용의 휴리스틱 처리 과정에 영향을 미치며(아래에서 위로 향하는 점선 화살표들), 상호 보완적으로 작동할 수 있음을 보여준다.
2. 저자의 사회/행동적 의미 해석
• 대화 이해의 이중 처리(Dual-Process): 저자는 인간이 대화에서 상대방의 의도를 파악할 때, 항상 복잡하고 에너지가 많이 드는 '마음 읽기(mind-reading)'에만 의존하는 것이 아니라고 주장한다. 대신, 얼굴 표정과 같은 비언어적 단서를 활용한 빠르고 효율적인 휴리스틱을 기본 경로로 사용하여 대화의 빠른 속도에 대응한다는 것이다.
• '말(Speech)'을 넘어선 '다중양식(Multimodal)' 소통: 이 모델은 전통적인 '화행(speech acts)' 개념을 넘어, 얼굴 신호와 같은 시각적 정보가 언어와 통합되어 의도를 구성하는 '사회적 행위(social action)'라는 확장된 개념의 필요성을 강조한다. 즉, 의도 전달은 본질적으로 다중양식적이다.
• 예측적 처리(Predictive Processing)의 중요성: 발화 초기의 얼굴 신호가 후속 발화 내용의 해석 방향을 미리 제시하고 응답 계획을 촉진한다는 점은, 대화 이해가 수동적 정보 처리가 아닌 능동적 예측 과정임을 시사한다.
3. 실천적 함의
이 모델은 인간과 더 자연스럽게 상호작용하는 대화형 AI나 소셜 로봇 개발에 중요한 시사점을 제공한다. 단순히 언어적 명령을 분석하는 것을 넘어, 사용자의 얼굴 표정과 같은 비언어적 신호를 실시간으로 포착하여 사회적 의도를 더 정확하게 예측하고 대응하는 시스템을 설계하는 데 기여할 수 있다.