LLM大语言模型(三):使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器

这篇具有很好参考价值的文章主要介绍了LLM大语言模型(三):使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

ChatGLM3-6B的函数调用模式示例

本地启动ChatGLM3-6B工具模式

如何在ChatGLM3-6B里新增一个自定义函数呢?

get_weather基于Python的装饰器实现

函数注解@register_tool

现在我们来自定义一个kuakuawo()函数


ChatGLM3-6B的函数调用模式示例

ChatGLM3-6B目前有三种使用模式:

  1. 对话模式
  2. 工具模式(也就是本文要介绍的函数调用)
  3. 代码解释器模式

函数调用模式示例:

chatglm3如何使用工具,调用天气函数,LLM工程,LLM,大模型,chatglm,装饰器,python,语言模型,人工智能

函数调用模式介绍:

  • 首先进入Tool工具模式
  • 询问“北京今天的天气”
  • 大模型自动识别出,要调用get_weather工具(函数),且参数是“北京”
  • 大模型接着调用get_weather,入参=北京,获取到函数执行的结果
  • <|Observation|>展示的是函数的执行结果
  • 紧接着大模型根据上述内容,继续生成回答“根据APIxxxxxxxxxxxx”

本地启动ChatGLM3-6B工具模式

进入conda对应的环境

conda activate chatglm

进入composite_demo目录

cd composite_demo

修改为使用本地模型,参考LLM大语言模型(一):ChatGLM3-6B本地部署-CSDN博客

# 修改client.py
MODEL_PATH = os.environ.get('MODEL_PATH', '====你的本地模型的绝对路径====')

启动模型

# 在composite_demo目录下
streamlit run main.py

然后在页面选择Tool模式即可。

如何在ChatGLM3-6B里新增一个自定义函数呢?

首先我们看下get_weather函数是如何实现的。

在composite_demo目录下有个tool_registry.py文件,里面包含两个已经定义好的函数:

  • random_number_generator

  • get_weather

其中get_weather就是上文对话中用到的函数。

get_weather基于Python的装饰器实现

@register_tool
def get_weather(
    city_name: Annotated[str, 'The name of the city to be queried', True],
) -> str:
    """
    Get the current weather for `city_name`
    """

    if not isinstance(city_name, str):
        raise TypeError("City name must be a string")

    key_selection = {
        "current_condition": ["temp_C", "FeelsLikeC", "humidity", "weatherDesc",  "observation_time"],
    }
    import requests
    try:
        resp = requests.get(f"https://wttr.in/{city_name}?format=j1")
        resp.raise_for_status()
        resp = resp.json()
        ret = {k: {_v: resp[k][0][_v] for _v in v} for k, v in key_selection.items()}
    except:
        import traceback
        ret = "Error encountered while fetching weather data!\n" + traceback.format_exc() 

    return str(ret)

get_weather功能很简洁,最终是从

https://wttr.in/{city_name}?format=j1

获取天气信息(https://wttr.in/%E5%8C%97%E4%BA%AC?format=j1)

函数注解@register_tool

register_tool的功能是将自定义的函数,转化为大模型需要的格式。 

def register_tool(func: callable):
    tool_name = func.__name__
    tool_description = inspect.getdoc(func).strip()
    python_params = inspect.signature(func).parameters
    tool_params = []

    # 解析param的Annotation

    for name, param in python_params.items():
        annotation = param.annotation
        if annotation is inspect.Parameter.empty:
            raise TypeError(f"Parameter `{name}` missing type annotation")
        if get_origin(annotation) != Annotated:
            raise TypeError(f"Annotation type for `{name}` must be typing.Annotated")
        
        typ, (description, required) = annotation.__origin__, annotation.__metadata__
        typ: str = str(typ) if isinstance(typ, GenericAlias) else typ.__name__
        if not isinstance(description, str):
            raise TypeError(f"Description for `{name}` must be a string")
        if not isinstance(required, bool):
            raise TypeError(f"Required for `{name}` must be a bool")

        tool_params.append({
            "name": name,
            "description": description,
            "type": typ,
            "required": required
        })
    tool_def = {
        "name": tool_name,
        "description": tool_description,
        "params": tool_params
    }

    print("[registered tool] " + pformat(tool_def))
    _TOOL_HOOKS[tool_name] = func
    _TOOL_DESCRIPTIONS[tool_name] = tool_def

    return func

register_tool函数实现了装饰器,它将自定义的函数转换为tool_def dict,其中自动生成了name,description,params等信息

{
    'name': 'get_weather', 
    'description': 'Get the current weather for `city_name`', 
    'params': [
        {
            'name': 'city_name', 
            'description': 'The name of the city to be queried', 
            'type': 'str', 
            'required': True
        }
    ]
}

最终通过get_tools()将自定义的函数都暴露出去。

在上述demo中,其实是demo_tool.py里调用了get_tools()获取到所有的自定义函数。


def get_tools() -> dict:
    return copy.deepcopy(_TOOL_DESCRIPTIONS)

现在我们来自定义一个kuakuawo()函数


@register_tool
def kuakuawo(
    name: Annotated[str, 'The name of the user', True], 
) -> str:
    """
    Generates a awesome praise for user
    """

    return f"{name} 你真的太棒了"

看看效果

chatglm3如何使用工具,调用天气函数,LLM工程,LLM,大模型,chatglm,装饰器,python,语言模型,人工智能

 参考:文章来源地址https://www.toymoban.com/news/detail-823734.html

  1. LLM大语言模型(一):ChatGLM3-6B本地部署-CSDN博客
  2. LLM大语言模型(二):Streamlit 无需前端经验也能画web页面-CSDN博客

到了这里,关于LLM大语言模型(三):使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 开源模型应用落地-chatglm3-6b模型小试-入门篇(一)

         刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。      在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然

    2024年04月10日
    浏览(53)
  • 开源模型应用落地-chatglm3-6b模型小试-入门篇(三)

         刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。      在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然

    2024年04月12日
    浏览(45)
  • 关于大模型ChatGLM3-6B在CPU下运行

            最近在调研市场上语言大模型,为公司的产品上虚拟人的推出做准备。各厂提供语言模型都很丰富,使用上也很方便,有API接口可以调用。但唯一的不足,对于提供给百万用户使用的产品,相比价格都比较贵。所以对ChatGLM3-6B的使用做了深入了解,特别只有CPU没有

    2024年02月04日
    浏览(46)
  • mac M系列芯片安装chatGLM3-6b模型

    下载miniconda,并安装 创建名为chatglm3的虚拟环境,python版本为3.10.2 激活环境(后续要在这个环境安装pytorch及依赖包) 1 下载地址,git地址:https://github.com/THUDM/ChatGLM3 2 进入代码中,安装依赖包 推荐使用方式3下载,可以下载任意开源大模型,且速度飞快,没有墙限制 https:/

    2024年02月02日
    浏览(63)
  • ChatGLM2-6B_ An Open Bilingual Chat LLM _ 开源双语对话语言模型

    更强大的性能 :基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 [GLM]的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BB

    2024年04月14日
    浏览(41)
  • 开源模型应用落地-chatglm3-6b-批量推理-入门篇(四)

         刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。      在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然

    2024年04月17日
    浏览(40)
  • 开源模型应用落地-chatglm3-6b-gradio-入门篇(七)

        早前的文章,我们都是通过输入命令的方式来使用Chatglm3-6b模型。现在,我们可以通过使用gradio,通过一个界面与模型进行交互。这样做可以减少重复加载模型和修改代码的麻烦, 让我们更方便地体验模型的效果。     是一个用于构建交互式界面的Python库。它使得在Py

    2024年04月26日
    浏览(43)
  • 使用vLLM和ChatGLM3-6b批量推理

    当数据量大的时候,比如百万级别,使用 ChatGLM3-6b 推理的速度是很慢的。发现使用 vLLM 和 ChatGLM3-6b 批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。 除了 Python(本文使用 3.11)、CUDA(本文使用 11.8)外,还要安装 vllm、pytorch、xformers 等库,特别注意

    2024年02月04日
    浏览(54)
  • 【LLM】chatglm-6B模型训练和推理

    本篇文章记录下 chatglm-6B 训练和推理过程 环境:Ubuntu 20.04 + 1.13.0+cu116 chatglm-6B 源代码仓库:链接 chatglm-6B 模型权重:链接 这里使用的是 THUDM 在 hugging face 开源的模型。 因为模型比较大,仓库保存模式使用的是 git lfs 模式,再 clone 之后再使用 git lfs pull 去 download 大文件。 c

    2024年02月10日
    浏览(50)
  • 从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库(二)

    接上文:从零开始部署ubuntu+Anaconda3+langchain-chatchat+chatglm3-6b大模型,本地知识库 Langchain-chatchat 0.2.10 推荐使用python3.11.7,通过下面命令进行python环境创建。 如下图 安装完毕后,通过以下命令激活python虚拟环境 如下图,shell命令行前面会出现(langchain)这个虚拟环境名。 转到

    2024年03月21日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包