导语： 在科学研究中，寻找并分析因果关系至关重要。然而，现实世界中，结构化的高级变量往往稀缺，这给传统的因果发现算法带来了挑战。近日，香港浸会大学等机构合作发表论文，提出名为COAT的新型框架，利用大型语言模型（LLM）的优势，突破传统因果发现方法的局限性，更有效地在现实世界中定义高级变量、理解因果关系。该论文已在NeurIPS 2024发表，为因果发现领域带来了新的思路。
因果发现的现实挑战：稀缺的高级变量
因果关系是理解世界的重要基石，而因果发现算法则是揭示这些关系的关键工具。然而，现有的因果发现算法往往依赖于由专家预先定义的结构化高级变量。在理想情况下，研究者可以获得清晰、明确的数据，例如，关于患者的详细病史、实验室检查结果等。但现实世界的数据往往是图片、文本等高维非结构化数据，例如，用户评论、医学图像等。这些数据难以直接用于因果发现，结构化的高级变量的稀缺性，成为了制约因果发现算法广泛应用的瓶颈。
例如，一位亚马逊卖家想要分析影响用户评分的因素，但他们只能获得用户撰写的原始评论。这些评论可能涉及到用户对产品特征的潜在偏好，但这些偏好并没有被明确地结构化。如何从这些非结构化数据中提取有用的信息，成为了一个难题。
COAT框架：LLM赋能因果发现
为了解决上述问题，香港浸会大学与MBZUAI、卡内基梅隆大学、香港中文大学、悉尼大学以及墨尔本大学的研究人员合作，提出了一个名为COAT (Causal representatiOn AssistanT) 的新型框架。该框架旨在利用大型语言模型和因果发现方法的优势，突破传统因果发现方法的局限性。
COAT框架的核心思想是利用LLM作为表征助理，为非结构化数据设计并提供结构化的表征。具体来说，用户只需提供一个感兴趣的目标变量，例如，消费者对商品的评分，COAT将迭代地找寻一组高级变量，构成目标变量的马尔可夫毯 (Markov Blanket)。在此基础上，任何合适的因果发现算法均可用于进一步的因果结构识别，加深对目标变量的理解。
COAT框架主要包含以下几个步骤：
- 变量提出： 利用LLM对数据进行理解，并提出一系列可能的高级变量。例如，在分析用户对苹果的评论时，LLM可能会提出“甜度”、“大小”、“气味”等高级变量。
- 变量定义： 将每个高级变量映射到一个预定义的值空间。例如，“甜度”可以被定义为“满意”、“失望”、“未提及”三个值。
- 变量评估： 评估每个高级变量与目标变量的相关性，选择与目标变量最相关的变量。
- 迭代优化： 重复上述步骤，直到找到一组能够有效解释目标变量的高级变量。
COAT框架的优势
COAT框架具有以下几个显著优势：
- 可解释性： COAT框架中的高级变量由LLM通过自然语言定义，具有良好的可解释性。例如，“甜度：1: 此消费者对苹果甜度感到满意；-1: 此消费者对苹果甜度感到失望；0: 没有提及 / 无法判断”这样的定义，使得每个变量的含义都非常明确。
- 灵活性： COAT框架可以应用于各种非结构化数据，例如文本、图像等。
- 可扩展性： COAT框架可以与其他因果发现算法相结合，进一步挖掘数据中的因果关系。
未来展望
COAT框架的提出，为因果发现领域带来了新的思路。它利用LLM的强大能力，有效地解决了高级变量稀缺的问题，使得因果发现算法能够应用于更广泛的现实场景。未来，我们可以期待看到更多基于LLM的因果发现方法涌现，为科学研究和实际应用带来更多突破。
参考文献
- [1]
- [2]
- [3]
- [4]
- [5]
- [6]
- [7]
- [8]
- [9]
- [10]
- [11]
- [12]
- [13]
- [14]
- [15]
- [16]
- [17]
- [18]
- [19]
- [20]
- [21]
- [22]
项目地址： https://causalcoat.github.io/
项目代码： https://github.com/tmlr-group/CausalCOAT
Views: 0