首页 >法律

用LDA和LSA两种方法来降维和做Top

2019-04-11 05:42:35 | 来源: 法律

本文为 AI 研习社编译的技术博客,原标题 2 latent methods for dimension reduction and topic modeling,作者为 Edward Ma。

翻译 | dudubear、机智的工人 校对 | 余杭 审核 | 余杭

图片链接:

在的词嵌入方法出现之前,潜在语义分析模型(LSA)和文档主题生成模型(LDA)都是解决自然语言问题的好方法。LSA模型和LDA模型有相同矩阵形式的词袋表示输入。不过,LSA模型专注于降维,而LDA模型专注于解决主题建模问题。

由于有很多资料介绍这两个模型的数学细节,本篇文章就不深入介绍了。如果感兴趣,请自行阅读参考资料。为了让大家更好地理解,我不会做去停用词这样的预处理操作。但这是在使用LSA、LSI和LDA模型时非常关键的部分。阅读以下文章程控交换机
,你会了解以下内容:

潜在语义分析模型(LSA)

文档主题生成模型(LDA)

主旨概要

潜在语义分析(LSA)

2005年Jerome Bellegarda将LSA模型引入自然语言处理任务。LSA模型的目的是对分类任务降维。其主要思想是具有相似语义的词会出现在相似的文本片段中。在自然语言处理领域,我们经常用潜在语义索引(LSI)作为其别名。

首先,我们用m个文档和n个词作为模型的输入。这样我们就能构建一个以文档为行、以词为列的m*n矩阵。我们可以使用计数或TF-IDF得分。然而化妆品生产厂家
,用TF-IDF得分比计数更好,因为大部分情况下高频并不意味着更好的分类。

图片来源:

TF-IDF的主要思想是高频的词有可能不代表着很多的信息。换句话说,就是出现频率小的词在模型中有更高的权重。字词的重要性与它在同一文件中出现的次数成正比,但同时与其在语料库中出现的次数成反比。更详细的内容,请参考此博客()。

该模型的挑战是矩阵很稀疏(或维数很高),同时有噪声(包括许多高频词)。因此,使用分解SVD来降维。

SVD 的思想在于找到有价值的信息并使用低维的t来表达这一信息。

输出

可以看到维度从 130 K 降到了 50

输出

文档主题生成模型(LDA)

2003年,David Blei, Andrew Ng和Michael O. Jordan提出了LDA模型。这属于无监督学习,而主题模型是其个中典型。它建立的假设在于每份文档都使用多个主题混合生成,同样每个主题也是由多个单词混合生成。

不同话题下的不同词汇

显然,你可以想象出两层聚合。层是类别的分布。打个比方,类似我们有金融、天气和政治。第二层则是类中的单词分布。比如,我们可以在天气中找到类似“晴朗的”和“云”这样的单词,在金融中找到“钱”和“股票”这样的单词。

然而, a , with , can 这样的单词对主题建模问题没有帮助。这样的单词存在于各个文档,并且在类别之间概率大致相同。因此,想要得到更好的效果柑橘溃疡病
,消除停用词是关键一步。

对特定的文档d,我们得到了其主题分布θ。则主题t可以根据这个分布(θ)从ϕ中选出相应的单词。

输出

主旨概要

要获取完整代码,请访问我的github仓库

......

想要继续阅读,请移步至我们的AI研习社社区:

更多精彩内容尽在 AI 研习社。

不同领域包括计算机视觉,语音语义,区块链,自动驾驶,数据挖掘,智能控制,编程语言等每日更新。

雷锋雷锋(公众号:雷锋(公众号:雷锋))

猜你喜欢