在自然语言处理任务中，我们经常需要判断两篇文档是否相似、计算两篇文档的相似程度。比如，基于聚类算法发现微博热点话题时，我们需要度量各篇文本的内容相似度，然后让内容足够相似的微博聚成一个簇；在问答系统中，我们会准备一些经典问题和对应的答案，当用户的问题和经典问题很相似时，系统直接返回准备好的答案；在监控新闻稿件在互联网中的传播情况时，我们可以把所有和原创稿件相似的文章ai写论文续写，都看作转发ai写论文续写，进而刻画原创稿件的传播范围；在对语料进行预处理时，我们需要基于文本的相似度，把重复的文本给挑出来并删掉……总之，文本相似度是一种非常有用的工具，可以帮助我们解决很多问题。

　　一般来说，文本相似度计算任务的输入，是两篇文档，比如表1-1的前两个句子；输出是两篇文档的相似程度，通常用[0,1]区间内的小数来表示。作为一个懂人线的内容是一样的节约水资源措施，并认为计算二者的相似性非常简单。

　　假如说，我们要判断1万对文档的相似性，或者在1秒内判断100对文档的相似度呢？那我就不行了，需要上机器。

　　大家在生活里和可能已经用到了文本相似度计算支持的东西。很多产品(APP,网站，导游机器人等等)配备了问答系统，允许用户用自然语言向系统发出各种请求。系统会理解用户的语言，然后返回一定形式的内容并展示在终端展里，作为对用户的回答。有些问题比较经典，大家经常问到。工程师或者领域专家会把这些问题和对应的答案收集并存储起来——当用户再次问到类似的问题时，直接返回现成的答案即可。“类似”与否的判断，需要使用文本相似度计算来支持。

　　使用这个菜单里的选项，我们可以组合出非常多的文本相似度计算方案。那么，每一种方案都可以用来解决什么样的任务呢？要回答这个问题，需要了解一下每一个组件的原理和特点。后面会从有无监督、文本切分粒度、特征构建、距离计算方法4个维度介绍文本相似度计算方法。

　　有监督方法，就是用朴素贝叶斯分类器之类的有监督模型来判断文本相似性或者计算相似度。这类方法要求有一定数量的标注语料，构建的代价比较高；由于训练语料通常无法做得很大，模型的泛化性不够，实际用起来会有点麻烦；距离计算环节的复杂度会比较高。

　　无监督方法，就是用欧氏距离等方法，直接计算文本之间的距离或者相似度。这类方法的特点是：不需要标注语料，特征工程或者参数估计可以使用很大的数据；很多方法对语言的依赖比较小，可以应对多语种混杂的场景；距离计算环节复杂度较低。

　　我们常说的“n-gram语言模型“，指的是一类使用相同文本切分方式的语言模型。这种切分方式非常简单：使用一个长度为n的窗口，从左到右、逐字符滑过文本；每一步，会框到一个字符串，就是一个gram；文本里所有的gram就是该文本的切分结果。如表3-1所示节约水资源措施，是几种常见的n-gram切分结果。

　　n-gram越长，词表越大。一份中文语料的Trigram词表可以达到上百万的规模。要是来个quadgram，由于内存消耗较大、特征很稀疏，我们的工作会很难开展。一般来说，bigram的效果就挺好了。

　　在NLP进入深度学习时代之前，分词是中文信息处理的基础任务。语言这种序列数据，具有很强的时间/空间相关性。在一段文本序列的某些位置，会出现相关性特别高的若干连续字符，比如“我爱北京”里的“”，这3个字符内部之间的相关性明显高于它们同其他字符的相关性。

　　相比n-gram，分词的优势是ai写论文续写，在字符相关性较小的位置进行切分、造成的信息损失比较小。由于分词降低了文本的相关性，可以提升一些带有独立性假设的模型。

　　可以使用主题模型来提取文本的主题，用主题词来表示文本。常见的主题模型有PLSA、LDA以及它们的变种(LSA适用于教学场景；还有很多优秀的主题模型，所知甚少，不多介绍)。主题模型在训练的过程中，学习到了语料的全局信息，因此具有一定的“联想”或者说“推理”能力，可以基于文档内容推测出文档字面没有明说的一些信息。因此，主题模型可以处理一些需要关注隐藏信息的场景。

　　词袋模型(bag of words)假设，文本里的term（虽然名字里是”words”，实际上我们也可以用n-gram之类的切分方式）之间相互独立，也就是词语A的出现和词语B的出现没有关系。

　　我们可以用独热编码表示所有的term，然后对文本中的term去重，最后把得到的term的编码加起来,就得到了TF向量。

　　Simhash是敏感哈希算法在文本特征提取任务中的应用。它会把一篇文档映射为一个长度为64、元素值为0或1的一维向量。这样我们就可以使用某种距离计算方式，计算两篇文本的距离和相似度了。一般来说节约水资源措施，与simhash配合的是海明距离。

　　Simhash的特点是，对文本的“相同”与否特别敏感：当两篇文档相同时，相似度为1；当其中一篇略有不同，相似度会有明显降低。因此非常适合用来判断两篇文档内容是否相同。

　　当初写文章时，我把把Lp范数和L2范数混淆了，写了一个错误的公式。L2范数，即欧氏距离，应该这样计算:

　　欧式距离是最符合我们直觉的一种距离度量方式。它认为事物的所有特征都是平等的。两个实例在所有维度上的差异的总和，就是二者的距离。

　　这个计算方式是可以推导出来的——由于形式简单，我们可以把它当做勾股定理这样的知名定理来对待。如图5-2，是二维平面上，两个向量之间夹角的示意图，我们可以基于勾股定理凑出上面的式子。

　　向量的夹角余弦值可以体现两个向量在方向上的差异，因此我们可以用它来度量某些事物的差异或者说距离。

　　在文本相似度计算任务中，为了让数据适合余弦夹角的概念，人们假想：语义空间中存在一个“原点”；以原点为起点、文本特征数组(这里为了避免与“语义向量”混淆，借用了“数组”这个名称)表示的点为终点 ，构成了一个向量，这就是代表了文本语义的“语义向量”。语义向量的方向，描述了文本的语义。因此，我们可以用两篇文档的语义向量的夹角余弦值来表示它们的差异。这个余弦值通常被称为“余弦距离”。

　　-de-xiao-zhu的提醒。此处取值范围原来写的是[0,1]，可能是当时我误以为分子取值大于0.实际上分子是可以小于0的）节约水资源措施，我们可以用一个简单的方式得到余弦相似度:>

　　当文本特征维度比较高的时候，在余弦距离的视角下，文本之间的区分度越来越小。

　　杰卡德距离的思想非常简单:两个集合共有的元素越多，二者越相似；为了控制距离的取值范围，我们可以增加一个分母，也就是两个集合拥有的所有元素。

　　我们比较两篇文档的特征向量的每一个维度，判断各个维度上取值是否相等。不相等的维度越多，两篇文档差异越大。海明距离的计算方式如下:

　　最小编辑距离是一种经典的距离计算方法，用来度量字符串之间的差异。它认为，将字符串A不断修改(增删改)、直至成为字符串B，所需要的修改次数代表了字符串A和B的差异大小。当然了，将A修改为B的方案非常多，选哪一种呢？我们可以用动态规划找到修改次数最小的方案，然后用对应的次数来表示A和B的距离。计算方法见:

　　从定义上可以看出，最小编辑距离比较适合判断字面上的相似性，对文本字语义上的相似性无能为力。

　　相似度计算不光在文本数据处理里经常用到，在图像、音频、生物信息等等类型数据的处理中也有很高的出场率。对应地，相似度计算可以帮助我们解决生产活动里的很多具体问题。因此，它是一种非常有用的方法，值得我们仔细琢磨。