- 准备工具
1、开发语言:Python3
2、数据库:MongoDB
3、开源框架:Chatterbot
4、依赖类库:
- pip3 install chatterbot
- pip3 install spacy
- # 需要手动编译安装 en_core_web_sm(使用2.1版本)
- pip3 install jieba
- pip3 install colorama
- pip3 install pymongo
- Chatterbot 介绍
About ChatterBot — ChatterBot 1.0.8 documentation 简单来说就是一个对话机器人框架
1、预处理器
对输入的文本作预处理,比如去掉一些不必要的空格
2、逻辑适配器
1)最佳匹配适配器
使用函数将输入语句与已知语句进行比较。一旦找到与输入语句最接近的匹配,它就使用另一个函数来选择该语句的一个已知响应。
2)时间适配器
询问关于当前时间的问题的语句
User: What time is it?
Bot: The current time is 4:45PM.
3)数学适配器
检查给定的语句,以查看它是否包含可以计算的数学表达式。如果存在,则返回包含结果的响应。这个适配器能够处理字和数字运算符的任意组合。
User: What is four plus four?
Bot: (4 + 4) = 8
4)特定响应适配器
如果聊天机器人接收到的输入与为此适配器指定的输入文本匹配,则将返回指定的响应。
如果出现低置信度,则直接返回具体的文本
比如输入人工客服,返回特定的响应:
- >>> 人工客服
- Robot (1) :
- 您好,正在转接人工客服,请稍后。
3、存储适配器
简单来说,存储适配器提供了一个接口,允许ChatterBot连接到不同的存储技术,不指定默认使用 SQLite 数据库存储聊天记录,会在执行程序的目录生成一个db.sqlite3文件
推荐是使用mongoDB作为存储适配器
还可以使用mysql:
4、过滤器
可以通过过滤器过滤一些非法的输入语句
5、比较算法
可以自定义一个比较算法,最后返回一个0-1之间的得分值
三、Chattbot算法与文本相似度
1、Chatterbot使用的算法
在对话生成方面,ChatterBot 使用了一种基于深度学习的序列到序列模型来生成回答。具体来说,它使用了一种叫做 LSTM(长短时记忆)的神经网络模型,将对话历史和用户输入转化为一个序列,然后根据先前的对话历史来预测下一个可能的回复。
2、文本相似度计算
将问句表示成一个高维向量,因为一段自然语言文本可能包含很多不同的词汇,每个词汇都对应一个维度。
假设我们有以下两句话:
可以请问你多大了吗?
你今年几岁了?
我们已经将它们表示为以下向量:
v1 = [1, 1, 0, 0, 1, 0, 0, 1, 0]
v2 = [0, 1, 1, 1, 1, 0, 0, 1, 0]
可以通过如下公式计算这两个向量的余弦相似度:
cos_sim(v1, v2) = (v1 • v2) / (||v1|| * ||v2||)
其中,“•”表示两个向量的点积,表示对应元素相乘之和。而“||v||”表示一个向量的模,即该向量的所有元素平方和的非负平方根。
按照上述公式计算得到两个向量的余弦相似度为 0.5,这说明这两句话在意义上比较相似。当用户输入一句与 v1 向量比较相似的话时,ChatterBot 可以将回答设置为“我的年龄是……”。
余弦相似度的取值范围是 [-1, 1],其中 1 表示两个向量完全相同,-1 表示两个向量方向完全相反,0 表示两个向量互相垂直。
四、利用chatterbot打造AI客服问答机器人
1)准备语料库
第一行为Question,第二行为answer。它支持json,txt,yml各种格式文件,以txt为例子:
比如有以下的一段对话:
Q:我不知道如何安装游戏。
A:您可以在我们的网站上找到安装说明,或者尝试卸载并重新安装游戏。
Q:我忘记了我的游戏账号密码。
A:请尝试通过我们的密码恢复选项重置您的密码。
存为txt格式直接就是:
我不知道如何安装游戏。
您可以在我们的网站上找到安装说明,或者尝试卸载并重新安装游戏。
我忘记了我的游戏账号密码。
请尝试通过我们的密码恢复选项重置您的密码。
这里记录为 corpus.txt 待会用到
2)利用jieba分词工具进行分词
# -*- coding: utf-8 -*-
import jieba
file_path = "corpus.txt" # 将 your_file_path.txt 替换成您的文件路径
with open(file_path, "r", encoding="utf-8") as f:
lines = f.readlines()
new_lines = []
for line in lines:
if line.strip(): # 判断是否为空行
new_lines.append(line)
text = ''.join(new_lines)
word_list = jieba.cut(text) # 进行分词
result = " ".join(word_list) # 将分词结果合并为字符串,以空格隔开
file_path = 'corpus_cut.txt' # 将 your_file_path.txt 替换成您的文件路径
with open(file_path, mode='a', encoding='utf-8') as f:
# 写入数据
f.write(result+'\n')
官网文档并没有推荐使用jieba分词进行拟合度的优化,为什么要用jieba进行中文分词?
这也是我自己探索出来的,之前没用分词工具的时候,发现拟合度很差,后面猜测是框架的计算对中文不准确,对中文的分词效果很差,导致计算出来的词向量其实是误差很大的。中文没有像英文一样的明显的单词边界,因此需要使用专门的中文分词工具将中文文本分成有意义的词语,这样计算出来的词向量才是比较精准的。
Jieba 分词工具利用了统计算法和规则引擎的结合,通过分析中文文本中每个汉字与周围汉字的关系,来确定最可能的分词结果。这样可以大大提高分词的准确性,从而更好地反映出中文句子的含义。
3)训练数据
# -*- coding: utf-8 -*-
from chatterbot import ChatBot
from chatterbot.trainers import ListTrainer
import chatterbot.comparisons as comparisons
import chatterbot.response_selection as response_selection
import logging
logging.basicConfig(level=logging.INFO)
chatbot = ChatBot("Ron", logic_adapters=[
{
'import_path': 'chatterbot.logic.BestMatch',
"statement_comparison_function": comparisons.LevenshteinDistance,
"response_selection_method": response_selection.get_first_response,
'default_response': 'I am sorry, but I do not understand.',
'maximum_similarity_threshold': 0.90
},
{
'import_path': 'chatterbot.logic.SpecificResponseAdapter',
'input_text': '人工客服',
'output_text': 'Ok, here is a link: http://chatterbot.rtfd.org'
}
],
storage_adapter='chatterbot.storage.MongoDatabaseAdapter',
database_uri='mongodb://127.0.0.1:xxxx/chatbot'
)
# 打开并读取 TXT 文件内容
with open('corpus_cut.txt', 'r', encoding='utf-8') as file:
conversation = file.readlines()
# 创建训练器实例并迭代训练
trainer = ListTrainer(chatbot)
trainer.train(conversation)
ChatterBot 提供了多种存储适配器(Storage Adapter),可以将训练好的模型数据保存到不同的存储介质中,如文本文件、SQLite 数据库、MongoDB 数据库、Redis 队列等。其中,最常用的存储适配器是 JSON 文件和 SQLite 数据库。
如果你使用 SQLite 存储适配器,那么训练好的模型数据就会被保存在 SQLite 数据库文件中;如果你使用 JSON 存储适配器,那么训练好的模型数据就会被保存在 JSON 文件中。在每次启动机器人时,ChatterBot 会自动从指定的存储介质中加载模型数据。
4)通过命令行进行测试
注意要把输入的问句进行分词,然后丢给模型去匹配才能更精准文章来源:https://www.toymoban.com/news/detail-498189.html
# -*- coding: utf-8 -*-
from chatterbot import ChatBot
import chatterbot.comparisons as comparisons
import chatterbot.response_selection as response_selection
import jieba
import time
import colorama
from colorama import Fore,Style
import logging
logging.basicConfig(level=logging.INFO)
colorama.init() # 初始化 colorama,必须先执行
chatbot = ChatBot("Ron", logic_adapters=[
{
'import_path': 'chatterbot.logic.BestMatch',
"statement_comparison_function": comparisons.LevenshteinDistance,
"response_selection_method": response_selection.get_first_response,
'default_response': '无法识别您的问题,可以联系人工客服,请输入"人工客服"四个字',
'maximum_similarity_threshold': 0.9
},
{
'import_path': 'chatterbot.logic.SpecificResponseAdapter',
'input_text': '人工客服',
'output_text': '您好,正在转接人工客服,请稍后。'
},
{
'import_path': 'chatterbot.logic.SpecificResponseAdapter',
'input_text': '你好',
'output_text': '你好,我是智能问答机器人,能问有什么可以帮到你?'
}
],
storage_adapter='chatterbot.storage.MongoDatabaseAdapter',
database_uri='mongodb://127.0.0.1:27017/chatbot',
)
# 轮询对话
while True:
try:
# 等待用户输入
user_input = input('>>> ')
if user_input:
if user_input != '人工客服':
# 获取 chatbot 响应
word_list = jieba.cut(user_input) # 进行分词
result = " ".join(word_list) # 将分词结果合并为字符串,以空格隔开
else:
result = user_input
bot_response = chatbot.get_response(result)
score = bot_response.confidence
resp = bot_response.text
resp = resp.replace(" ", "")
print(Style.BRIGHT + Fore.BLUE + "Robot " + "("+str(score)+ ") : "+ Fore.RESET+ Style.RESET_ALL)
for i in range(len(resp)):
print(Fore.YELLOW + resp[:i+1]+ Fore.RESET, end='\r')
time.sleep(0.1)
print() # 输出换行符以保证控制台输出完整
except (KeyboardInterrupt, EOFError, SystemExit):
break
5) 启动mongoDB并查看相关的数据文章来源地址https://www.toymoban.com/news/detail-498189.html
use chatbot
show collections
db.statements.find()
到了这里,关于Chatterbot 打造游戏AI客服机器人的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!