22、面对面交互研究与情感倾听系统探索

面对面交互研究与情感倾听系统探索

1. 面对面交互研究

在研究人类面对面交互时，其对于语音使用的基础研究至关重要，因为这可能是最常见且最古老的语言使用形式。同时，它对语音技术的发展也同样重要，特别是当我们致力于创建类人对话系统时。

面对面交互本质上是多模态的，但目前缺乏大量的多模态数据集。仅依靠音频和视频可能不足以详细研究手势、语音和面部表情之间的关系。而添加动作捕捉可以提供三维的精确数据，这在这方面具有重要价值。

研究人员分享了使用音频、视频和动作捕捉记录面对面交互的经验。一个正在进行的瑞典大型多模态数据库项目（Spontal）的技术设置，为涉及动作捕捉的大规模对话记录的可能性和陷阱提供了见解。一个学生使用音频和动作捕捉分析创建自动主动倾听者的教程表明，当前的动作捕捉设备相对便携，可用于小型临时场景的演示、教学和探索性研究。初步的数据可视化展示了动作捕捉数据如何用于产生有趣且有用的测量结果，为分析对话行为提供新方法。

不过，教程记录设置可能不符合研究要求，可能会产生主观偏差和异常对话情况的人为因素。同步分析也未包含统计数据，数据初步且未经验证，任何发现的统计显著性可能无效。尽管如此，鉴于关于动作捕捉在语音研究中应用的文献较少，这些早期记录仍具有启发性和价值。

例如，在分析对话时，研究人员绘制了Z归一化的每个说话者平均标记移动随时间的变化图（图7）。还使用了一个20帧（200ms）长、步长为10帧的第20百分位滤波器处理对话，得到去除了非常短暂峰值的10Hz数据。在这个视角下，微观层面上能看到更多的同步性，但图表过于详细和杂乱，这里仅展示了对话开始11.5分钟后的1分钟小部分。

2. 情感倾听系统概述