推荐系统
-
系统职能:头条/抖音/快手,都是以推荐系统作为流量的分发的主要手段;
-
职业发展:大数据处理/流式计算/数据挖掘/机器学习/高并发服务等领域。
-
更具用户的离十信息和行为,向用户推荐他感兴趣的内容
-
基于行为的协同过滤
-
基于内容相似推荐
-
推荐系统 - 包括那些环节
挑战:怎么从海量的内容中,挑选出用户感兴趣的条目,并且满足系统的50ms~300ms的低延迟要求
找回路径
推荐系统中常见的名词:i2i/u2i/u2i2i/u2u2i/u2tag2i,这些叫做推荐的召回路径。
- U2I:来源于用户的直接行为,比如播放/点击/购买等
- I2I:内容相似,协同过滤关联规则挖掘等
- U2I2I:基于item的协同过滤货先到先用户的行为列表,然后查找I2I做扩展
- U2U2I:基于用户的协同过滤,用户画像相似然后推荐,用户聚类推荐
- U2Tag2I:先算出用户的tag偏好,然后匹配item列表
Netflix 经典的推荐系统架构
- 挑战:架构既能处理海量数据,又能及时响应用户交互
- 在线层:
- 特点:快速响应,使用最新的数据输入,比如200ms
- 缺点:不能使用复杂的算法,只能读取少量数据
- 离线层:
- 特点:大部分数据包括模型训练都在这一层
- 优点:可以采用复杂的算法,扫描海量的数据
- 缺点:不能对最新的情景和新数据做响应,比如天粒度
- 近线层:
- 特点:离线和在线的折中,一般将结果存入高速缓存
- 优点:能使用几乎最新的数据计算,延迟10秒~1分钟级别;允许更复杂的算法处理,加载查询耕更多数据
- 组合使用的例子
1、天粒度:离线层做矩阵分解,得到用户向量和物品向量做数据存储到Mysql
2、10秒钟:近线层根据用户行为,查询TopN相似的物品列表,存入Cassandra
3、200毫秒:在线层查询的第儿步骤的结果,更新推荐列表
如何实现一个基于内容的推荐系统(Content-Based Recommendations)
协同过滤的推荐系统
使用行为数据,利用集体智慧推荐
推荐系统如何实现多路找回融合排序
如何实现AB测试
如何实现内容的相似推荐
这里有好东西!这里有好东西!这里有好东西! 中文英文的embedding向量
https://ai.tencent.com/ailab/nlp/zh/index.html
https://ai.tencent.com/ailab/nlp/en/embedding.html
矩阵分解的协同过滤
Python 使用Faiss实现向量的近邻搜索
文章来源:https://www.toymoban.com/news/detail-499399.html
文章来源地址https://www.toymoban.com/news/detail-499399.html
到了这里,关于推荐系统学习的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!