聊聊基于AI模型MGeo实现行政区识别

这篇具有很好参考价值的文章主要介绍了聊聊基于AI模型MGeo实现行政区识别。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

从现今与今后的发展来看,单一的业务不再仅仅依靠于传统的技术开发,而是应该结合AI模型来应用、实践。只有这样,才能更数智化,更高效化,更贴合时代的发展。

魔塔 社区就类似国外的Hugging Face,是一个模型即服务的运行平台。在这个平台上运行着很多的大模型示例,网站直接提供了试运行的环境,也可以下载代码到本地部署运行或是在阿里云的PAI平台运行。

pytorch环境搭建

我是跟着 Pytorch-Gpu环境配置 博文一步一步搭建起来的。唯一不同的是,我不是基于Anaconda虚拟环境搭建,而是直接在本地环境部署pytorch与CUDA。

开着西部世界的VPN,下载pytorch与CUDA会快一些,在本地下载好了pytorch的whl文件后,直接在下载目录中打开cmd窗口,使用pip install xxxx.whl安装pytorch即可。

RaNER 模型搭建与运行

进入魔塔官网,找到MGeo模型,首先必须要下载modelscope包。在MGeo的模型介绍中,以及有详细的命令说明,如下:

# GPU版本
conda create -n py37testmaas python=3.7
pip install cryptography==3.4.8  tensorflow-gpu==1.15.5  torch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0
pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

但是对于我来说,并没有用到conda虚拟环境,所以我只是运行了最后的pip命令,如下:

pip install "modelscope[nlp]" -f https://modelscope.oss-cn-beijing.aliyuncs.com/releases/repo.html

命令输出内容如下:

最好是开着VPN执行命令,否则会很慢。下载完后有一个报错,可以忽略,最后我成功安装的组件有:

如此,便完成了modelscope包的安装。然后拷贝示例代码在本地运行即可,示例代码如下:

from modelscope.pipelines import pipeline
from modelscope.utils.constant import Tasks

task = Tasks.token_classification
model = 'damo/mgeo_geographic_elements_tagging_chinese_base'
inputs = '浙江省杭州市余杭区阿里巴巴西溪园区'
pipeline_ins = pipeline(
    task=task, model=model)
print(pipeline_ins(input=inputs))
# 输出
# {'output': [{'type': 'prov', 'start': 0, 'end': 3, 'span': '浙江省'}, {'type': 'city', 'start': 3, 'end': 6, 'span': '杭州市'}, {'type': 'district', 'start': 6, 'end': 9, 'span': '余杭区'}, {'type': 'poi', 'start': 9, 'end': 17, 'span': '阿里巴巴西溪园区'}]}

运行过程中,也会有一些提示,还是很有意思的,可以看看.

最后的结果也是正常的输出了,对于输出结果的解释,我就不多说,可以看API文档解释。我换成其它地址继续测试:

总结

最后说一下自己的实际感受。首先这个MGEO的AI模型,在我上家公司我主导做的项目就用到了,当时是花钱在阿里云的 地址标准化 产品上购买使用,用于在实际的项目中根据客户输入的地址提取省市区并再次输入到目标网站。当时一开始想的是自己找开源的库来实现,后来发现有点难,因为客户输入的辨识度太低,可能性太多,而且我们不能规范客户的输入(主要是历史数据太多)。因此当时找了好多方案,最后发现阿里云有这个支持,就花钱购买调用解决问题。

从现在来看,其实整个模型与应用完全可以自己搭建部署起来,作为基础设施层,省钱又能自我管控,而且还能二次开发,毕竟现在以及前几年做AI算法的人还是不少的(当时我们公司也有少数做AI相关的人,自己现在也算是个半吊子水平,看得懂也能改一点),唉,总的来说还是当时的能力限制了,还是得多学多思考多了解,尤其是现在AI模型的普遍性与高速发展,程序猿学习成本与门槛降低很多很多。文章来源地址https://www.toymoban.com/news/detail-750460.html

到了这里,关于聊聊基于AI模型MGeo实现行政区识别的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 聊聊神经网络模型流程与卷积神经网络的实现

    神经网络模型的搭建流程,整理下自己的思路,这个过程不会细分出来,而是主流程。 在这里我主要是把整个流程分为两个主流程,即预训练与推理。预训练过程主要是生成超参数文件与搭设神经网络结构;而推理过程就是在应用超参数与神经网络。 在 聊聊卷积神经网络

    2024年02月05日
    浏览(36)
  • 无缝集成:基于FastAPI实现AI模型服务与nacos的完美融合

    当我们使用python构建AI模型算法的过程中,经常会遇到如下的问题: 这个模型如何提供给其他微服务调用(比如JAVA构建的微服务)? 这个模型如何做到多个服务节点的负载均衡? 这个模型如何做到服务的备份与故障转移? 本项目通过一个实际的例子,展示如何基于FastAPI实

    2024年02月02日
    浏览(32)
  • 基于so-vits-svc语音模型实现AI翻唱歌曲

    目录 获取数据集 开始训练 开始推理(翻唱) 工具整合包来源 【AI翻唱/SoVITS 4.0】手把手教你老婆唱歌给你听~无需配置环境的本地训练/推理教程[懒人整合包]_哔哩哔哩_bilibili https://www.bilibili.com/video/BV1H24y187Ko/?spm_id_from=333.1007.top_right_bar_window_custom_collection.content.clickvd_source=b

    2023年04月20日
    浏览(27)
  • 聊聊神经网络模型搭建流程与卷积神经网络的实现

    神经网络模型的搭建流程,整理下自己的思路,这个过程不会细分出来,而是主流程。 在这里我主要是把整个流程分为两个主流程,即预训练与推理。预训练过程主要是生成超参数文件与搭设神经网络结构;而推理过程就是在应用超参数与神经网络。 在 聊聊卷积神经网络

    2024年02月05日
    浏览(36)
  • 基于AI大模型实现自然语言转SQL、SQL解释、SQL优化和SQL转换

    目录 基于AI大模型实现自然语言转SQL、SQL解释、SQL优化和SQL转换 1. 自然语言转SQL (Natural Language to SQL) 原理说明

    2024年02月16日
    浏览(41)
  • 【阿里云PAI】基于阿里云使用Stable Diffusion XL Turbo模型和DiffSynth UI实现AI作画

    在本教程中,您将学习如何在阿里云交互式建模(PAI-DSW)中,使用Stable Diffusion XL Turbo模型和DiffSynth UI实现AI作画,涂鸦也能生成精美画作。 基于开源Stable Diffusion XL Turbo模型和DiffSynth UI,我们支持文图生成的基础上,也支持交互式的图像到图像生成,实现图像编辑功能,用户

    2024年04月13日
    浏览(32)
  • 基于AI大模型(LLM)In-Context Learning 实现自然语言转DSL的详细技术方案设计和具体代码实例说明

    自然语言处理(NLP)和领域特定语言(DSL)是两个不同的领域,但它们都涉及到语言的处理和转换。在本文中,我们将探讨如何

    2024年02月12日
    浏览(32)
  • 聊聊大模型的屏蔽词工程

    转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote 在做微调训练时,鉴于业务场景的需要,可能会存在微调数据集中含有敏感词汇,譬如:自杀、跳楼等。而开源模型可能没有做敏感词汇的屏蔽工程。因此可能就会出现不可预控的现象,而我遇到的是,当我输入敏感词汇时,模

    2024年04月16日
    浏览(34)
  • Tabby - 基于AI大模型的编程助手

    Tabby是一个自托管 AI 编码助手。 GitHub Copilot 的开源/本地替代方案。 推荐:用 NSDT场景设计器 快速搭建3D场景。 自包含,不需要 DBMS 或云服务 用于可视化、配置模型和 MLOps 的 Web UI。 OpenAPI 接口,易于与现有基础架构(例如 Cloud IDE)集成。 消费级 GPU 支持(具有各种优化的

    2024年02月16日
    浏览(27)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包