今天和大家分享神经符号认知推理方面的研究工作。人工智能（AI）已经历了第一代符号智能，第二代感知智能以及当前的认知智能。认知智能是一种融合的状态，强调表示学习与复杂知识推理的有机结合是人工智能进步的阶梯。

实际上，在自然语言处理（NLP）领域，预训练模型规模以每年约10倍的速度增长，模型的通用智能水平显著增强。如上图，无论是计算的复杂度、参数以及训练时间，随着时间的推移，都有跨越性的发展，也促使模型性能大幅度提升。

同时，预训练语言模型还有很大的发展空间。例如询问GPT-3：烤箱和铅笔哪个更重？脚有几只眼睛？等问题，它的回答的结果差强人意。根本原因是缺少对知识的推理的能力，以及对推理结果的可解释性。

如何解决？我认为需要开发新的计算范式，即将基于感知的深度学习和基于认知的符号计算，进行融合。

传统基于符号的表示，例如在NLP领域，对于句子的处理是分词，文本中有1万个词就对应1万维。

现在分布式的表示方法是基于神经网络，需要学习出每个词的向量，此向量维度不高，也不会那么稀疏，它是低维稠密的实数值向量，很容易捕获文本的语义信息。

利用符号系统和利用上下文表示的系统有什么区别？首先对于词汇的理解，一定离不开上下文的语义的理解。例如：小明离开星巴克和乔布斯离开苹果公司，同样是离开一词，前者可能表示消费完了，离开某个商店，后者可能表示辞职。因此，两种语义是截然不同的。

传统的NLP任务从语料中提取特征，利用统计关系学习建模语义结构，属于符号系统处理方法。给定若干个任务，例如共旨消解、语义角色标注、依存分析或者NER等等任务，传统方法是手工提取一些特征，然后把特征输入到一些统计模型当中，然后得出分类结果、预测结果。

传统的 NLP的处理方式，提取特征可以认为是符号系统，即手工提取的特征本身就可以用来解释最后的预测结果，这是典型的可解释的方式。

基于神经网络的分布式的语义表示，在处理各种NLP任务时，“省略”了特征提取步骤，有几个特点：1. 单词用稠密的低维向量表示；2.上下文语义表示是单词语义表示的组合；3.表示向量与组合方式需要在大量的数据上进行训练；4.能够得到词的任务特异表示。

虽然运用神经网络能够得到远超以前的性能，但也有“需要大量训练数据”、“可解释性差”、“推理基于表面特征”等缺点。

神经方法和符号方法各有哪些优缺点？符号AI对于规则、知识，能够可程序化，可以用编程的方式直接把规则编写到程序当中，然后可以进行精确、严格的匹配、推理，得到的结果也是符合规则的，因此解释性强。缺点是构造成本太高，覆盖率低，稳定性也不太够。

神经方法的优点是表示能力非常强，任务的适应性很强，无论生成任务，还是分类任务，亦或回归任务都能“拿下”。缺点是学习最简单的模式，距离人的智慧还有很大的距离，以及一直被诟病的黑盒、不可解释性等等。

显然，如果有方法将神经与符号相融合就能优势互补。目前，有三种方法可供参考：

1.神经网络方法执行符号推理任务，神经网络在此过程当中可能帮助我们把词进行泛化。

2. 符号知识注入神经网络。进行损失函数设计，或者进行一些正则化的约束，或者进行数据增广等操作。

3. 神经网络与符号系统相融合。即不以符号为主，也不以神经为主，而是进行有机融合。

在NLP处理领域，如果想获得以“类人”方式学习和思考的机器，需要在语义合成、推理、常识学习，学会学习等四个方面努力。NLP中的推理是指文本推理能够推动另外三个任务不断的进步。

文本推理是指给定文本形式的前提(Premise)与前提相关的某一假设(Hypothesis)，建模文本语义与文本结构，以判断前提与假设之间的关系。具体的例子如下图所示：

文本推理有三个典型的任务，文本蕴含、因果推理以及故事结尾预测。结合认知的文本推理，其实来源于认知科学当中的双过程的理论。

双过程理论是指人的思考和学习是有两个系统：直觉系统和逻辑系统。直觉系统帮助我们进行一些直觉的无思决策，快速回答问题；逻辑系统要调用大脑当中存储的知识进行逻辑的推理。

下面介绍实现刚才提到的三种不同认知推理任务的方法。

神经网络方法执行符号推理任务

符号推理的任务有很多，自动定理证明、多项选择问答、逻辑规则归纳。由于时间有限，主要介绍多项选择问答任务。

在去年的EMNLP 2021一篇论文中，我们采用自然逻辑，帮助完成多项式选择的问答任务。

自然逻辑是一种语义单调性的逻辑系统，它主要是定义了7种单词之间的语义关系，包括等价、前向蕴含、反向蕴含、前向蕴含、反义、并列、覆盖、独立等等。然后我们要在遵循自然逻辑的前提下，在文本上进行推理，例如把句子进行增删改操作，然后保持语义的不变性，进行替换。

例如：

给定句子：所有的动物需要水

自然逻辑：动物 ⊒ (反向蕴含) 狗

替换操作后：所有的动物需要水 ⊑ 所有的狗需要水

推理中的换词对NLP中的多项选择问答任务非常有必要。例如上图中的任务形式：给定问题：啮齿动物吃植物？知识库当中有一条知识是：松鼠吃松子。

第一步需要进行单词的替换，将啮齿动物替换成仓鼠，然后把植物替换成果实，或者把植物可以替换成庄稼。

接下来不断替换，把植物替换成谷物，把果实替换成坚果，把啮齿动物替换成田鼠，经过一步一步的的替换，最终替换到了知识库当中的某一条知识。因此，基于自然逻辑进行多项选择问答这条路径就是可解释的。其实，不仅是可以替换，也可以增加词、删除词、修改词。

问题在于是基于语义词典进行词的替换，而语义词典是非常有限的。再者没有考虑上下文的语义关系。

引入神经网络的方法，可以将词的替换直接进行神经化。具体过程可以分为4步：

1. 利用预训练语言模型生成候选单词

2. 判断原单词和候选单词之间的语义关系

3. 根据上下文的单调性将词级别的语义关系映射到句子级别

4. 保留满足恒等和反向蕴含关系的候选句

符号知识注入神经网络

符号知识注入神经网络的方式有很多，可以利用逻辑规则约束神经网络的模型；可以利用基于逻辑规则进行数据增强的任务。

例如数据增强，给定三元组 B的首都是A（A,首都,B），可以扩展出A位于B。具体一些，知识库总已经有: （北京，首都，中国），则基于该规则可以补充额外的三元组（北京，位于，中国）。

如何利用逻辑规则，约束神经模型？上图是事件时间常识知识预测任务，其中预测为对应的时间单元：给定事件起床，推测频率、持续时间以及典型发生时间。

这些事件的常识知识有什么用？可以把事件的常识知识注入到预训练语言模型当中，让模型对事件时间的常识知识能够掌握，会让模型在进行时间相关的推理的工作中更加高效。

存在的问题在于，从文本中无监督抽取的时间常识可能存在报告偏差（Reporting Bias）。例如常见的情况的在文本中并未显式提及：自然文本中几乎不会有“睡醒之后，我一般要花几分钟的时间起床”等类似的表达！在文本表达中会对非寻常现象加以强调：我每天都得花一个小时才能起床！。

如何解决？利用不同维度间的时间常识知识之间的约束关系，减缓报告误差。对于“我是在妈妈准备早餐期间起床的”，利用事件间时序关系可以得出：起床的持续时间短于准备早餐；“自己在家准备早餐，十分钟就可以搞定” 可以得出：准备早餐的持续时间大概约为10分钟。

下表详细总结了类似于上述所有的可能的互补关系：

此规则怎样利用？我们设计了基于软逻辑规则的时间的常识预测。给定输入：我是在妈妈<e2>准备早餐</e2>期间<e1>起床</e1>的，得到原子式：<HRCHY((e1,e2),during>，然后将原子式概括成概率软逻辑规则，如下图。

将概率软逻辑规则放到神经网络模型当中，将其制作成损失函数。这一步是在交叉熵损失函数的基础上，添加了概率软逻辑的约束损失，使得模型在做的时间推理的过程当中，既考虑概率软逻辑的规则，同时考虑对于语义理解之后的的推理结果。

融合神经与符号的推理系统

融合神经和符号的推理系统，在进行数值运算，因果逻辑推理，一阶谓词逻辑规则等方面具有优势。它可以利用神经网络模块，显式建模符号规则。

传统的因果推理模型多数以黑盒方式，直接从标注的因果事件对中学习因果知识。因此可能利用部分与标签存在相关关系的统计特征做出判断，致推理结果的不稳定，不可靠，不可解释。

如何还原背后的因果决策机制？我们提出引入中间证据事件，还原背后的因果逻辑链条。这种因果逻辑链条提供了更强的可解释性。在ACL 2021上，我们的工作ExCAR: 事理图谱知识增强的因果推理框架，能够从预先构建的事理图谱中获取中间证据事件。

具体而言是使用条件马尔可夫神经逻辑网络(CMNLN)，其中逻辑网络具有较强的可解释性与可靠性。神经逻辑网络是指利用神经网络表示规则，并赋予每个因果规则以权重(因果强度)，以应对规则集合中可能存在的噪音与统计关系的复杂性。条件马尔可夫还能支持因果叠加效应，即对于同一规则，不同的前件可能对因果强度带来不同的影响。基本逻辑是：证据事件→逻辑规则→因果逻辑图。

机器学习：人与机器之间的信息交互

下面从人机交互的角度，思考机器学习。当前的机器学习过程：极度依赖静态的标注数据集。例如标签蕴含的信息有限，这导致学习效率低下、对于复杂任务，标注尤为昂贵、数据过时导致模型无法使用。