2.3 四种组合文档链方式在LangChain开发中的作用及源码分析
假设阅读一本书,作者和智华合作写的一本关于Spark方面的书籍,一共1300多页,如果从第一页开始,逐渐去遍历检索信息,无论从速度、还是从性价比的角度,这是一个问题,LangChain给我们提供了一些比较经典的方式,例如map_reduce、map_rerank、refine、stuff等四种方式。
Map Reduce方式把一个很大的文件分成多个文件,如果大家做Hadoop、Spark或Flink,对这个概念应该很清楚,这是一种分而治之的思想。
map_reduce.py的代码实现:文章来源地址https://www.toymoban.com/news/detail-495001.html
1. """通过先在文档上映射一个链来组合文档,然后再组合结果."""
2.
3. from __future__ import annotations
4.
5. from typing import Any, Callable
文章来源:https://www.toymoban.com/news/detail-495001.html
到了这里,关于企业级ChatGPT开发的三大核心内幕及案例实战(四)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!