1. 智能呼叫流程
用户与机器人对话通常都是以文本的形式进行,但是借助 ASR 和 TTS 技术,以语音电话为载体的智能呼叫系统成为可能。智能呼叫系统涉及到多种不同类型的应用,以 FreeSWITCH 为交互核心的一种简要实现如下图所示,关键点为以下几个步骤:
- esl 客户端通过内连向 FreeSWITCH 实例下发 originate 命令,呼叫目标用户
- FreeSWITCH 进行呼叫动作,等待用户接通
- 呼叫后会话状态流转,FreeSWITCH 根据呼叫字符串确定这个 channel 上路由命中的拨号计划,执行拨号计划上配置的 socket APP 外连目标服务器
- esl 客户端接收 FreeSWITCH 外连连接后订阅该 channel 上的相应事件,并与 AI 机器人对话获取开场白
- 获得开场白文本后 esl 客户端下发命令,在用户 channel 上执行 play_and_detect_speech APP,实现开场白放音并开启 ASR 识别用户语音
- FreeSWITCH 与外部集成的 MRCP 服务器交互,使用其 TTS 和 ASR 功能
- 用户说话后,esl 客户端监听相应事件获取 ASR 的识别结果,然后使用识别到的文本与 AI 机器人进行对话,得到响应后从步骤5重新开始执行,直到用户挂机
2. 细节处理
1. 呼叫字符串指定拨号计划
呼叫外部用户的命令示例如下,该例子中通过拨号字符串指定了以下信息:
- 通过网关 10086 呼叫目标用户 1008611
- 在用户会话
CS_ROUTING
阶段使用 10008611 作为destination_number
去路由匹配 XML 拨号计划配置,进而确定在这个 channel 上的执行动作
originate {originate_timeout=10,origination_uuid=888888,origination_caller_id_number=1008611,origination_caller_id_name=1008611}sofia/gateway/10086/1008611 1008611 XML default
2. 外呼的拨号计划
呼叫用户的拨号计划配置示例如下,需注意以下几点:文章来源:https://www.toymoban.com/news/detail-503250.html
- 通过 tts_engine 指定默认使用的 tts 引擎,该参数候选值为安装目录下 conf/mrcp_profiles 文件夹中的 XML 文件配置的 profile 名称
- 使用 tts_voice 指定默认音色
- 通过 play_and_detect_speech_close_asr 参数指定 play_and_detect_speech APP 执行完毕后自动关闭 ASR
<extension name="outbound">
<condition field="destination_number" expression="^1008611">
<action application="ring_ready"/>
<action application="answer"/>
<action application="set" data="tts_engine=unimrcp:unimrcp-mrcp2"/>
<action application="set" data="tts_voice=aixia"/>
<action application="set" data="play_and_detect_speech_close_asr=true"/>
<action application="socket" data="127.0.0.1:9000 async full"/>
</condition>
</extension>
3. 语音打断的支持
play_and_detect_speech APP 会先打开 ASR 识别用户语音然后才放音,放音时会被用户的语音流打断。如果要实现不可打断的特性,可通过将放音和 ASR 识别拆成两个步骤达到目的,具体处理如下:文章来源地址https://www.toymoban.com/news/detail-503250.html
- 与用户交互时不使用 play_and_detect_speech,而是在 channel 上直接调用 speak 等 APP 放音
- esl 监听到放音 APP 执行完毕,再下发 detect_speech APP 打开 ASR 识别用户语音
到了这里,关于FreeSWITCH 智能呼叫流程设计的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!