大模型学习笔记04——新的模型架构
1、混合专家模型
核心思想:创建一组专家,每个输入只激活一小部分专家
混合专家模型方法:
注意
- 通过门控控制使用不同种类和数量的专家
- 所有专家的概率分布和为1,可以取其中概率较大的几个专家,而忽略概率较小的专家
- 需要确保所有专家都能被输入使用,如果只有一个专家活跃既是浪费,其他专家也得不到梯度改善
- 混合专家非常有利于并行,不同专家放置在不同的机器上,在中心节点上计算门控函数
2、基于检索的模型
核心思想:根据输入,从数据库中检索到相关的部分,通过检索到的信息对输入进行预测文章来源:https://www.toymoban.com/news/detail-808340.html
注
更多详细内容见:添加链接描述文章来源地址https://www.toymoban.com/news/detail-808340.html
到了这里,关于大模型学习笔记04——新的模型架构的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!