文章作者邮箱:yugongshiye@sina.cn 地址:广东惠州
▲ 本章节目的
⚪ 了解Spark的TF-IDF算法概念;
⚪ 了解Spark的TF-IDF算法定义;
⚪ 了解Spark的TF-IDF算法案例;
一、TF-IDF算法概述
TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术。TF意思是词频(Term Frequency),IDF意思是逆文本频率指数(Inverse Document Frequency)。用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级。文章来源:https://www.toymoban.com/news/detail-688458.html
Term Frequency (tf):即此文章来源地址https://www.toymoban.com/news/detail-688458.html
到了这里,关于大数据课程K15——Spark的TF-IDF计算Term权重的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!