情感计算作为自然语言处理领域的一个重要研究方向，近年来取得了显著的发展。在细粒度情感分析（ABSA）和多模态情感分析等领域，研究者们不断探索新的方法和基准。近日，新加坡国立大学联合武汉大学、奥克兰大学等团队提出了一种全新的全景式细粒度多模态对话情感分析基准——PanoSent，为情感计算领域开辟了新的篇章。
研究背景
在人工智能领域，让机器理解人类情感是迈向真正智能化的重要一步。情感分析在自然语言处理领域的发展，已从传统的粗粒度分析发展到细粒度分析，并从纯文本内容扩展到多模态内容。然而，现有研究在定义上仍存在不足，无法提供一个完整且详细的情感画面。
PanoSent：全景式细粒度多模态对话情感分析基准
为了填补这一空白，新加坡国立大学团队提出了PanoSent。该基准涵盖了全面的细粒度、多模态、丰富场景和认知导向的情感分析任务，包括全景情感六元组提取和情感翻转分析。
全景情感六元组提取
PanoSent将现有的ABSA四元组提取定义扩展到六元组提取，包括持有者、目标、方面、观点、情感和理由。这一扩展全面覆盖了更细粒度的情感元素，提供了情感的全景视图。
情感翻转分析
PanoSent还定义了一个子任务，监控同一持有者在对话中针对同一目标和方面的情感动态变化，并识别导致情感翻转的触发因素。这一任务有助于深入理解情感变化的背后原因。
数据集构建
为了对这一新任务进行基准测试，研究团队构建了一个大规模高质量的数据集——PanoSent。该数据集涵盖了100多个常见的领域和场景，基于多轮、多方的对话情境。数据集中的元素可以来自文本和非文本（音频或视觉）模态，确保了基准的通用性。
模型构建
研究团队构建了一个主干多模态大型语言模型（MLLM）系统——Sentica，用于编码和理解多模态对话内容。受人类情感分析过程的启发，团队还开发了一个情感链推理框架（CoS），将任务分解为四个渐进推理步骤，以更有效地提取情感六元组的元素，并识别情感翻转。
结论
PanoSent的提出，为情感计算领域带来了全新的研究视角和方法。该基准的全面性和认知导向性，有望引领未来的研究方向，并为开发更智能的语音助手、更好的临床诊断和治疗辅助以及更具人性化的客户服务系统提供有力支持。这一工作已被ACM MM 2024录用为Oral paper，标志着我国在情感计算领域的研究取得了重要突破。
Views: 0